Модель штучного інтелекту Llama 2 змогли запустити на 26-річному ПК з Windows 98

У EXO Labs провели експеримент, під час якого встановили та запустили велику мовну модель Llama 2 на 26-річному ПК з Windows 98. Як виявилось, Pentium II з тактовою частотою 350 МГц та 128 Мб оперативної пам’яті цілком достатньо для роботи штучного інтелекту, пише Tom’s Hardware.

Судячи по запису в блозі EXO Labs, найбільшу складність під час експерименту представляла несумісність портів між старим ПК та обладнанням дослідників. Крім того, USB-накопичувач на 4 ТБ був завеликим для FAT32. Проблему вирішили передачею файлів по Ethernet через FTP-сервер FileZilla.

Компіляція коду моделі теж виявилась непростою. Замість сучасної версії C++ довелось використати Borland C++ 5.02 , 26-річну IDE і компілятор, який працював безпосередньо на Windows 98. Код проекту вже викладено на GitHub.

Цікаво, що автором експерименту зі старим ПК був словацький програміст Андрей Карпати, який свого часу займав посаду директора напрямку штучного інтелекту в Tesla і входив до команди засновників OpenAI.

У підсумку запуск моделі пройшов успішно, хоча швидкість генерації при роботі Llama 2 з 15 мільйонами параметрів була трохи більша за 1 токен/секунда. Якщо ж параметри обмежити 260 тисячами, то швидкість становила 39,31 токенів/секунда. Для порівлення: на M1 MacBook Air модель з 15 млн параметрів працює на рівні ~110 токенів/секунда.

Експеримент довів, що при бажанні будь-яка людина може запускати модель штучного інтелекту «де завгодно», майже на будь-якому пристрої.