Cerebras показала развёртывание Kimi K3 с 3 трлн параметров на своих ИИ-ускорителях

Компания Cerebras, известная своими процессорами для искусственного интеллекта, подробно описала метод распределения крупной модели Kimi K3 между несколькими чипами WSE-3T. Это позволяет запускать LLM с многотриллионными параметрами на оборудовании, которое обычно имеет ограниченный объем встроенной памяти на одном чипе. Например, один WSE-3T оснащен 44 ГБ памяти.

Ключевая задача заключалась в том, чтобы преодолеть разрыв между объемом памяти одного ускорителя и огромными требованиями моделей с триллионами параметров, которым нужны терабайты для хранения весов. Решение Cerebras подразумевает эффективное распределение весов модели и вычислений по кластеру из нескольких WSE-3T.