Эксперты оценили стоимость инференса крупных нейросетей на примере AliceAI-Foundation

По словам эксперта, для эффективной работы с новой моделью требуется как минимум четыре графических процессора A100. Возможно использование двух GPU с поддержкой CPU-offload, однако это считается компромиссом, снижающим производительность и точность вычислений, поэтому от такого подхода отказались. Отмечается, что для тестирования модели планируется аренда мощностей в облачном сервисе.