Разработчик запустил генерацию изображений по тексту на микроконтроллере ESP32-S3

Проект продемонстрировал, что даже устройства с ограниченными ресурсами, такие как ESP32-S3, могут выполнять сложные операции машинного обучения. Микроконтроллер с двумя ядрами по 240 МГц и без тензорных ядер смог генерировать изображение размером 64x64 пикселя по текстовому описанию всего за 5,4 секунды.

Обычно для подобных задач требуются мощные видеокарты с гигабайтами памяти, например, для Stable Diffusion нужно 4-8 ГБ, а для Flux — до 24 ГБ. Успех этого эксперимента показывает потенциал для внедрения нейросетевых функций в компактные и бюджетные устройства, открывая новые возможности для IoT и встраиваемых систем.

Разработчик использовал подход латентной диффузии с трансформером, оптимизированный для работы на микроконтроллере. Это достижение значительно расширяет представление о том, какие задачи могут быть решены на периферийных устройствах, уменьшая зависимость от облачных вычислений и мощного оборудования.