VK объединяет аналитические данные 35 подразделений

До этого каждое бизнес-направление VK самостоятельно развивало свои аналитические системы и инфраструктуру. Такой децентрализованный подход привёл к появлению множества разрозненных решений, дублированию функциональности и значительному росту числа физических кластеров.

К моменту, когда было принято решение о переходе к единой системе, а также о движении в сторону облачных решений, компания располагала более чем десятью отдельными аппаратными кластерами для таких технологий, как Airflow и Hadoop. Общий объём аналитических данных в системе превышал пол-эксабайта.