Разработчики исследовали эффективность языковых моделей с разным числом инструментов

Специалисты Habr, разрабатывающие ИИ-оркестратор, провели исследование влияния количества доступных инструментов на эффективность работы языковых моделей. Изначально предполагалось, что ограничение выбора инструментов только теми, что релевантны текущему запросу, повысит производительность. Однако практические замеры показали обратное.

В ходе экспериментов было обнаружено, что модели, такие как Qwen3.6 27B, размещенные даже на потребительских видеокартах (например, RTX 3090 с 24 ГБ памяти), успешно справляются с выбором нужных инструментов из большого набора (более 90 штук). Эти инструменты включают работу с таблицами, документами, электронной почтой, веб-страницами и презентациями.

Результаты исследования имеют значение для оптимизации развертывания ИИ-решений в корпоративной среде. Они указывают на то, что нет необходимости искусственно ограничивать доступ модели к инструментам для повышения эффективности. Важнее обеспечить самой модели возможность делать оптимальный выбор.