Vancouver, British Columbia - May 26, 2023: Microsoft logo on the side of a office building at sunset.
Microsoft оприлюднила код BitNet b1.58 — однієї з найбільш значущих розробок 2024 року. Про це повідомили DOU.ua.
Нова технологія дозволяє запускати великі мовні моделі (до 100 мільярдів параметрів) на локальних пристроях, зокрема на одному CPU, зі швидкістю 5-7 токенів в секунду.
BitNet b1.58 пропонує швидкість у 1.37-6.17 разів вищу на ARM і x86 процесорах та знижує енергоспоживання на 55-70%. Модель використовує тернарне кодування параметрів, забезпечуючи високу ефективність та продуктивність.
Це означає, що тепер можливий запуск великих мовних моделей (до 100B параметрів) на локальних пристроях без дорогих обчислювальних ресурсів. Це робить ШІ доступнішим для стартапів та індивідуальних розробників.
Значне зниження енергоспоживання та збільшення швидкості обробки також відкриває нові можливості для використання ШІ в мобільних пристроях і вбудованих системах. Крім того, нова архітектура стимулює розробку оптимізованого апаратного забезпечення для 1-бітних LLM.
Дослідницька компанія Check Point виявила, що деякі чат-боти, які підтримують перегляд веб-сторінок або отримання URL-адрес,…
Довгий серіал на тему блокування російською владою месенджера Telegram нарешті виходить на фінішну пряму. Після…
Джо Д., колишній інженер із забезпечення якості програмного забезпечення (SQA), який зараз перебуває на пенсії,…
Після скандальному зламу редактор коду Notepad++ вирішили захистити найбільш радикальним способом. Свіжа версія 8.9.2 отримала…
Anthropic представила Claude Sonnet 4.6 — найпотужнішу на сьогодні LLM цієї серії, яка тепер є…
Компанія Apple активно розробляє три нові пристрої: розумні окуляри, кулон, який можна прикріпити до сорочки…