Databricks Bundles теперь поддерживают таблицы Unity Catalog как код
Databricks улучшила свои инструменты для работы с данными, позволив определять таблицы Unity Catalog в виде кода, что упрощает управление и развёртывание через CI/CD процессы.
В платформе Databricks появилась возможность описывать таблицы Unity Catalog в виде кода. Это расширение функциональности Databricks Bundles (ранее Databricks Asset Bundles), которое позволяет разработчикам и инженерам по данным хранить определения таблиц в системах контроля версий, таких как Git.
Ранее в Databricks существовали два основных подхода к управлению таблицами Unity Catalog. Потоковые таблицы (Streaming Tables) и материализованные представления (Materialized Views) создавались и обновлялись автоматически в рамках пайплайнов, таких как DLT (Delta Live Tables). Эти пайплайны уже могли быть интегрированы с Git и CI/CD через Declarative Automation Bundles, обеспечивая автоматизированное развёртывание.
Однако для обычных таблиц (managed и external) этот подход был недоступен, их определения приходилось управлять иным образом. Новое изменение устраняет это ограничение, делая процесс унифицированным. Теперь определения обычных таблиц, включая их схемы и свойства, также могут храниться в репозиториях кода, проходить ревью и автоматически развёртываться в различных средах с помощью Databricks Bundles. Это значительно повышает прозрачность, воспроизводимость и управляемость инфраструктуры данных, интегрируя её в общие практики DevOps.
Часто задаваемые вопросы
Что такое Databricks Bundles?
Databricks Bundles — это механизм, позволяющий упаковывать и развёртывать ресурсы Databricks (включая ноутбуки, задания и теперь таблицы) в виде кода, обеспечивая автоматизацию процессов CI/CD.
Что изменилось в работе с таблицами Unity Catalog?
Теперь таблицы Unity Catalog, включая обычные управляемые и внешние таблицы, можно определять и управлять ими как кодом в рамках Databricks Bundles, что ранее было доступно только для потоковых таблиц и материализованных представлений.
Какие преимущества даёт определение таблиц как кода?
Определение таблиц как кода позволяет хранить их описания в Git, автоматизировать развёртывание через CI/CD, проводить ревью изменений, а также повышает воспроизводимость и управляемость инфраструктуры данных.
Источник: Habr · Rusability ИИ


Комментарии (0)
Без регистрации. Комментарии проверяются автоматически перед публикацией.
Пока нет комментариев. Будьте первым!