LLMCOD улучшил сбор баз знаний из современных веб-сайтов
Разработчики LLMCOD внедрили новые возможности для своей системы, позволяющие собирать базы знаний не только из статических HTML-страниц, но и с сайтов, построенных на одностраничных приложениях (SPA) и использующих открытые API.
Традиционный подход к созданию баз знаний из веб-ресурсов, основанный на анализе только исходного HTML-кода, становится неэффективным для современных сайтов. Многие платформы, например онлайн-магазины или сервисы, загружают основной контент динамически через JavaScript и API после отрисовки страницы в браузере.
В ответ на эту проблему команда LLMCOD разработала решение, которое позволяет системе полноценно взаимодействовать с такими динамическими ресурсами. Теперь LLMCOD умеет выполнять JavaScript-код на странице и обращаться к API, чтобы извлекать необходимую информацию, такую как товары, услуги, цены и статьи, которые ранее были недоступны для автоматического сбора.
Это обновление значительно расширяет возможности LLMCOD по формированию актуальных и полных баз знаний для ИИ-систем, таких как RAG (Retrieval-Augmented Generation). Способность обрабатывать динамический контент делает систему более универсальной и пригодной для использования с широким спектром современных веб-приложений.
Часто задаваемые вопросы
Что нового в системе LLMCOD?
Система LLMCOD теперь умеет собирать базы знаний не только из статического HTML-кода, но и с одностраничных приложений (SPA) и сайтов, которые используют открытые API для динамической загрузки контента.
Почему потребовалось это обновление?
Многие современные веб-сайты загружают основной контент динамически через JavaScript и API, а не содержат его непосредственно в исходном HTML. Традиционные методы сбора данных не могли получить эту информацию.
Как это повлияет на создание баз знаний?
Новая функциональность значительно повысит точность и полноту баз знаний, собираемых LLMCOD, позволяя включать данные, которые ранее были невидимы для автоматического анализа, например, из онлайн-магазинов или сервисов.
Какие типы данных теперь может извлекать LLMCOD?
Теперь LLMCOD может извлекать широкий спектр динамически загружаемых данных, включая товары, услуги, цены, объекты и статьи, которые передаются через API или генерируются JavaScript.
Источник: Habr · Rusability ИИ
Комментарии (0)
Без регистрации. Комментарии проверяются автоматически перед публикацией.
Пока нет комментариев. Будьте первым!