PaLM 2 — це найпотужніша LLM вже зараз: стали відомі характеристики нової моделі Google

Нова велика мовна модель PaLM 2, яку Google анонсував минулого тижня, використовує майже в п’ять разів більше навчальних даних, ніж її попередниця. Це дозволяє їй виконувати більш просунуті завдання з кодування, математики та написання текстів.

Про це повідомив CNBC з посиланням на внутрішню документацію Google.

PaLM 2 — це поки найпотужніша LLM

Згідно з цією інформацією, PaLM 2 навчається на 3,6 трильйонах токенів.

Попередня версія Google PaLM, яка розшифровується як Pathways Language Model, була випущена в 2022 році та навчена на 780 мільярдах токенів.

На презентації PaLM 2 Google заявив, що нова модель менша за попередні LLM. Це означає, що технологія компанії стає ефективнішою, одночасно виконуючи більш складні завдання.

PaLM 2, згідно з внутрішніми документами, навчається на 340 мільярдах параметрів, що свідчить про складність моделі. Початковий PaLM був навчений за 540 мільярдами параметрів.

Спираючись на цю інформацію можна сказати, що PaLM 2 є потужнішою, ніж будь-яка існуюча модель.

Конкуренція по-тихому

Хоча Google прагнув продемонструвати потужність своєї технології штучного інтелекту та те, як її можна вбудувати в пошук, пошту та таблиці, компанія не публікувала розмір чи інші деталі своїх навчальних даних.

Компанія-розробник ChatGPT OpenAI також не розкрила специфіку своєї останньої LLM GPT-4.

Причиною нерозкриття інформації називають конкурентний характер бізнесу. Але в міру розгортання гонки озброєнь ШІ дослідницька спільнота вимагає більшої прозорості.

LLM від Facebook LLaMA, про яку було оголошено в лютому, навчається на 1,4 трильйона токенів. Востаннє OpenAI ділився розміром навчання ChatGPT з GPT-3, коли компанія заявила, що навчалася на 300 мільярдах токенів .

OpenAI випустив GPT-4 у березні та заявив, що він демонструє «продуктивність на людському рівні» у багатьох професійних тестах.

Нагадаємо, нещодавно Google презентував нову велику мовну модель PaLM 2. Вона працюватиме з оновленим чат-інструментом Google Bard.

Також Google планує впровадити генеративний штучний інтелект для допомоги в створенні коду. Він також працюватиме на PaLM 2.