Миграция с MySQL на Apache Spark

MySQL — самая популярная реляционная СУБД MySQL — это открытая реляционная система управления базами данных, созданная в 1995 году шведской компанией MySQL AB. В 2010 году MySQL приобрела Oracle. Сегодня MySQL является частью стека LAMP (Linux, Apache, MySQL, PHP) и остаётся самой широко используемой базой данных в веб-разработке. Крупнейшие интернет-компании мира — Facebook, YouTube, Twitter, Wikipedia — используют или использовали MySQL в своей инфраструктуре. Сообществом также активно развивается форк MariaDB. Для каких проектов подходит MySQL Веб-сайты и приложения любого масштаба на стеке LAMP/LEMP Интернет-магазины, каталоги, порталы Системы управления контентом (WordPress, Drupal, Joomla) Read-heavy приложения с большим количеством чтений Проекты, где важна широкая совместимость и доступность специалистов Ключевые преимущества для бизнеса Широкая доступность специалистов — MySQL знают практически все backend-разработчики, что упрощает найм и не создаёт зависимости от узких специалистов. Высокая производительность чтения — движок InnoDB с пулом буферов и оптимизированным кешированием обеспечивает отличную скорость для read-heavy нагрузок. Простота администрирования — phpMyAdmin, MySQL Workbench и обилие управляемых облачных решений делают работу с базой доступной без глубоких знаний DBA. Отличная репликация — встроенная master-slave и групповая репликация позволяет строить отказоустойчивые кластеры. Огромная экосистема — практически все фреймворки, ORM и инструменты имеют первоклассную поддержку MySQL. Managed-решения — AWS RDS, Google Cloud SQL, Yandex Managed MySQL берут на себя резервное копирование, обновления и мониторинг. Стоимость внедрения MySQL MySQL распространяется бесплатно под GPL. Managed MySQL в облаке стоит от 2 000 ₽/мес для небольших инстансов. Проектирование схемы данных и оптимизация запросов — 30 000–150 000 ₽. Настройка репликации и отказоустойчивого кластера — 80 000–250 000 ₽. Коммерческая лицензия MySQL Enterprise — от $5 000/год, но большинство проектов обходятся Community Edition. Когда MySQL не стоит выбирать Для сложной аналитики со сложными запросами, оконными функциями и рекурсивными CTE — PostgreSQL обгоняет MySQL по функциональности и производительности планировщика. Для геоинформационных систем или приложений с нативными JSON-операциями — PostgreSQL с PostGIS и JSONB будет значительно эффективнее.

Система распределённой обработки больших данных и ML-пайплайнов