Q.ANT научила фотонный чип ускорять работу языковых моделей
Немецкая компания объединила оптический сопроцессор с ускорителем AMD, чтобы ускорить вычисления ИИ и снизить нагрузку на видеопамять.

Компания Q.ANT представила экспериментальную систему гибридного инференса, в которой часть вычислений языковой модели выполняется с помощью света. На конференции SC26 в Чикаго разработчики продемонстрировали совместную работу фотонного процессора NPU Gen 2+ и ускорителя AMD Instinct MI210.
Оптический чип выполняет дискретное преобразование Фурье, которое используется вместо традиционных операций механизма внимания (self-attention) в отдельных слоях нейросети. По замыслу разработчиков, такой подход позволит ускорить обработку запросов и сократить объём KV-кэша, занимающего значительную часть видеопамяти при работе с длинными контекстами.
В эксперименте использовалась языковая модель примерно с 1 млрд параметров. При этом остальные вычисления трансформера по-прежнему выполнялись на GPU.
Однако Q.ANT пока не раскрыла ключевые показатели испытаний: скорость генерации токенов, фактическую экономию памяти и качество ответов модели. Поэтому оценить реальную эффективность технологии пока невозможно.
Компания планирует вывести серийные системы на рынок во второй половине 2027 года. Разработчики также выпустили SDK с интерфейсами на C и Python, позволяющий экспериментировать с технологией без доступа к специализированному оборудованию.
При этом сама идея замены механизма внимания преобразованием Фурье не нова: похожий подход Google представила в архитектуре FNet ещё в 2021 году. Главный вопрос теперь заключается в том, удастся ли Q.ANT сохранить качество генерации, одновременно обеспечив заметный прирост производительности.



