«Окрест» решает проблему дублирования событий из разных афиш

Сервис «Окрест», агрегирующий информацию о культурных и развлекательных мероприятиях в 16 городах, столкнулся с вызовом обработки данных из различных афиш. Проблема возникает из-за того, что одни и те же события часто поступают из нескольких источников, таких как Яндекс Афиша, Afisha.ru, Timepad, KudaGo и Telegram-каналы самих площадок, но с разным написанием названий и деталей.

Например, один и тот же спектакль может быть указан как «Ленком» в одном источнике и «Ленком имени Марка Захарова» в другом, или вообще без указания площадки. Для конечного пользователя это выглядит как несколько отдельных мероприятий, хотя на деле речь идёт об одном и том же представлении. На данный момент база «Окреста» содержит свыше 23 тысяч активных событий, что значительно усложняет ручную модерацию.

Ключевая задача для разработчиков — эффективное удаление дубликатов, при этом процесс дедупликации должен быть оборотным. Это значит, что алгоритмы не должны необратимо удалять информацию, чтобы избежать потери потенциально уникальных данных или возможности восстановить их в случае ошибки. Такой подход позволяет сохранить полноту и точность информации для пользователей сервиса.