AMD, стремясь усилить свое присутствие на рынке ИИ, не только выпускает соответствующее оборудование, но и приступила к разработке собственных языковых моделей. Результатом стала презентация первой малой языковой модели AMD-135M.

AMD-135M, новая малая языковая модель, принадлежащая к семейству Llama, предназначена для частного бизнеса. Пока неясно, связана ли новая ИИ-модель AMD с недавним приобретением стартапа Silo AI (сделка еще не завершена и требует одобрения регуляторов). Однако это четкий шаг в направлении удовлетворения потребностей клиентов с помощью предварительно обученной модели, разработанной AMD и использующей ее же оборудование.

Языковая модель AMD использует спекулятивное декодирование. Это означает, что сначала используется меньшая "черновая модель", которая генерирует несколько вариантов токенов за один проход. Затем токены передаются в более крупную, более точную "целевую модель", которая проверяет и корректирует их. Такой подход позволяет генерировать несколько токенов одновременно, но приводит к увеличению потребляемой мощности из-за увеличения объема передаваемых данных.

Компания AMD представила две версии своей языковой модели Llama-135M: базовую AMD-Llama-135M и специализированную AMD-Llama-135M-code. Обе версии оптимизированы для специфических задач с помощью технологии спекулятивного декодирования, повышающей эффективность вывода. AMD-Llama-135M была обучена с нуля на 670 миллиардах токенов общих данных за шесть дней на кластере из четырёх 8-канальных узлов с ускорителями AMD Instinct MI250. AMD-Llama-135M-code основана на базовой модели и дополнительно обучена на 20 миллиардах токенов, специализированных на генерации кода. Дообучение заняло четыре дня на том же оборудовании. AMD планирует продолжить оптимизацию своих моделей, стремясь к дальнейшему повышению их производительности и эффективности.