ИИ создает книги на заказ по запросам пользователя: эксперимент с 200 видео

Автор эксперимента использовал корпус из более чем двухсот видеозаписей, общая продолжительность которых превышает 160 часов, а транскрипты составили 2,15 миллиона слов. Целью было не просто получить краткие резюме (summary) для каждого видео, а построить систему, способную создавать уникальные документы, отвечающие на заданный вопрос пользователя, извлекая и компонуя информацию из всего массива данных.

Разработанный конвейер включает этапы выделения ключевых сущностей, объединения дублирующихся данных, отслеживания источников сделанных выводов и проверки важных утверждений. Такой подход позволяет не читать все исходные материалы подряд, а получать сфокусированную и проверенную информацию. Отличие от традиционных RAG-систем (Retrieval-Augmented Generation) заключается в глубокой проработке и верификации данных, а также в способности обнаруживать и объединять смысловые дубли, даже если они представлены под разными URL.

В ходе работы выяснилось, что до девяти различных ссылок могут вести к одному и тому же первоисточнику, а векторная кластеризация оказалась неэффективна для решения задачи смысловой дедупликации. Это подчёркивает сложность автоматизированного анализа больших объёмов информации и важность комплексного подхода к обработке данных для создания по-настоящему полезного контента на заказ.