Lamoda столкнулась с массовым браком данных: более 500 млн строк пришлось возвращать
В Lamoda выявили серьёзную проблему с качеством данных, когда ежедневно более миллиона событий перестали проходить валидацию из-за изменения формата критического поля в источнике, что привело к необходимости обрабатывать 500 миллионов возвращённых строк.
Проблема обнаружилась полтора года назад, когда специалисты Lamoda заметили резкий рост числа отклоненных строк на дашборде. Оказалось, что источник данных в одностороннем порядке изменил формат ключевого поля, не уведомив об этом потребителей данных, включая аналитиков и дата-сайентистов. Это привело к тому, что огромный объем информации, используемой для продуктовой аналитики, оказался непригодным.


Комментарии (0)
Без регистрации. Комментарии проверяются автоматически перед публикацией.
Пока нет комментариев. Будьте первым!