Разработчик представил Ollivo: программу для запуска локальных нейросетей без сложных настроек

Ollivo разработан для упрощения взаимодействия с нейросетями, особенно для тех, кто не обладает глубокими техническими знаниями в области программирования. Программа автоматизирует процесс настройки и запуска моделей, делая их доступными широкому кругу пользователей. Это позволяет обойти сложности, связанные с установкой зависимостей и конфигурацией системных компонентов.

В процессе разработки Ollivo выяснились интересные факты о производительности. Например, на видеокартах NVIDIA серии GTX 1080 использование API Vulkan может ускорить генерацию в полтора раза по сравнению с CUDA. Также были отмечены нюансы работы некоторых моделей, такие как появление китайских слов в русском тексте при низкой «температуре» (параметре, влияющем на случайность ответов) у модели Qwen, или некорректная отчетность небольших моделей о выполненных операциях.