Тайвань включається в боротьбу за штучний інтелект. Foxconn випускає власну LLM-модель

Тайванська компанія Foxconn, відома збиранням iPhone та інших продуктів Apple, анонсувала свою першу велику мовну модель під назвою FoxBrain. Як повідомляє Neowin, її було навчено за допомогою лише 120 графічних процесорів H100 від Nvidia.

Нова LLM-модель базується на архітектурі Meta Llama 3.1 та має 70 мільярдів параметрів, отриманих з використанням дистиляції. Дистиляція моделі передбачає використання батьківської моделі та навчання «дочірньої» моделі на основі її відповідей. 

Хоча Foxconn визнає, що її модель не така потужна, як китайська DeepSeek-R1, але її загальна продуктивність дуже близька до світових стандартів. Компанія вже пообіцяла, що в майбутньому FoxBrain стане «відкритою та доступною для всіх».

Доктор Юнг Ху-Лі, директор Дослідницького центру штучного інтелекту в Науково-дослідному інституті Хон Хай, заявив:

«Наша модель FoxBrain використала дуже ефективну стратегію, зосереджуючись на оптимізації процесу навчання, а не на сліпому накопиченні обчислювальної потужності. Завдяки ретельно розробленим методам навчання та оптимізації ресурсів ми успішно побудували локальну модель ШІ з потужними можливостями аргументації».

Навчання моделі FoxBrain на 120 графічних процесорів Nvidia H100 тривало приблизно чотири тижні. Для цього Foxconn змогла згенерувати 98 млрд токенів високоякісних даних попереднього навчання традиційною китайською мовою з довжиною контекстного вікна 128 тис. токенів.

Відомо, що компанія Foxconn не тільки збирає гаджети для Apple, але й виробляє сервери зі штучним інтелектом для Nvidia. Партнерство Foxconn і Nvidia не є новим: обидві компанії працюють і над іншими спільними проектами, включаючи будівництво найбільшого у світі заводу з виробництва графічних процесорів Blackwell.