Переход OpenMetadata на Apache Airflow 3 вызвал четырёхмесячные трудности

Команда, отвечающая за ingestion-контур OpenMetadata, столкнулась с серьёзными трудностями при обновлении своей инфраструктуры с Apache Airflow версии 2 до версии 3. Изначально предполагалось, что миграция будет быстрой и сведётся в основном к изменению импортов и параметров, согласно официальному гайду.

Однако на практике процесс затянулся на четыре месяца. Основные сложности возникли из-за нестандартных компонентов системы: плагина openmetadata-managed-apis, собственных утилит логирования и специально собранного Docker-образа со строго зафиксированными зависимостями. Эти элементы, работавшие стабильно на Airflow 2, требовали значительной адаптации к новой версии, что привело к многочисленным доработкам и отладкам.