Андрей Карпати виклав LLM Council — інструмент, де моделі штучного інтелекту сперечаються між собою

Відомий ентузіаст штучного інтелекту, співзасновник OpenAI та винахідник терміну «вайб-кодинг» Андрей Карпати виклав у відкритий доступ LLM Council — локальний веб-додаток, у якому кілька LLM-моделей відповідають на одне запитання, сперечаються між собою та обирають найбільш оптимальну кінцеву відповідь.

У документації репозиторію стверджується, що LLM Council — це веб-додаток, який схожий на ChatGPT, за винятком того, що він використовує OpenRouter для надсилання запиту кільком LLM. Потім він просить кожну модель переглянути та оцінити роботу інших моделей. У підсумку «головна LLM» надає користувачу остаточну відповідь.

За задумом Карпати, механізм LLM Council має показати, як різні моделі бачать одне й те саме завдання — і що вони думають про чужі відповіді. Процес визначення фінальної відповіді проходить кілька етапів:

• Кожна модель отримує запитання та генерує свою відповідь. В інтерфейсі вони відображаються в окремих вкладках, щоб можна було порівняти.
• Взаємні рев’ю. Моделі отримують анонімні відповіді від своїх колег. Кожна модель ранжує інші за точністю та корисністю.
• Фінальне рішення. Обраний «голова» — будь-яка з моделей, на яку вкаже користувач, — збирає думки інших моделей та свої висновки в підсумкову відповідь.

У README проекту описано досить мінімалістичний стек:

• Backend: FastAPI + Async httpx, робота через OpenRouter API.
• Frontend: React + Vite, рендеринг через react-markdown.
• Сховище: JSON-файли в data/conversations/.
• Управління проектом: uv для Python, npm для фронтенду.

Користувач додає свій OPENROUTER_API_KEY. За бажанням він може змінити «учасників наради». За замовчуванням в перелік моделей входять GPT-5.1, Gemini 3 Pro Preview, Claude Sonnet 4.5 і Grok-4.

Карпати пояснює, що створив цей проект для спільного з LLM читання книг та порівняння їхнього змісту. Але за фактом інструмент вийшов набагато цікавішим, адже завдяки йому можна швидко оцінити якість моделей і те, як кілька моделей можуть ухвалювати спільне рішення.