OpenAI додає в Codex функцію, яка слідкує за діями користувача на екрані

Розробники інструменту Codex представили функцію Chronicle, яка покликана змінити підхід до взаємодії штучного інтелекту з робочим процесом програміста. Головна інновація полягає в тому, що LLM-модель тепер не обмежується лише роботою з кодом у редакторі, а використовує вміст екрана для створення максимально повного контексту.

Наразі Chronicle перебуває в стадії попереднього перегляду. Скористатись нею можуть лише передплатників ChatGPT Pro на macOS.

Як працює Chronicle?

Нова функція працює як інтелектуальний шар пам’яті. Вона періодично аналізує те, що користувач бачить на своєму моніторі — від документації у браузері до макетів у Figma або термінала.

Ці дані стають частиною «короткострокової пам’яті» Codex. Коли розробник ставить запитання або просить написати функцію, LLM враховує не лише відкритий файл, а й нещодавні дії та візуальну інформацію. Це дозволяє системі «розуміти» проблему без необхідності вручну копіювати помилки з консолі чи описувати структуру API з документації.

OpenAI особливо підкреслює «фоновий» аспект можливостей Codex щодо використання комп’ютера. Оновлений Codex може використовувати програми на вашому Mac у фоновому режимі, поки ви активно працюєте над іншими завданнями.

«Кілька агентів можуть працювати паралельно, не втручаючись у вашу роботу в інших додатках», — каже OpenAI. «Для розробників це корисно для тестування та ітерацій змін у фронтенді, тестування додатків або роботи в додатках, які не надають доступ до API».

Ключові можливості:

• Наскрізний контекст: Codex бачить зв’язок між кодом та іншими відкритими додатками. Якщо ви щось шукали в Stack Overflow або переглядали специфікацію, асистент автоматично інтегрує ці знання у свої підказки.
• Інтеграція з macOS: Версія Codex для Mac максимально оптимізована під екосистему Apple, що забезпечує швидку обробку візуальних даних з мінімальним навантаженням на систему.
• Усунення прогалин у поясненнях: Тепер не потрібно витрачати час на те, щоб «ввести ШІ у курс справи». Chronicle знає, що ви робили хвилину тому, і може запропонувати рішення для багу, який ви щойно побачили у вікні перегляду браузера.

Питання конфіденційності

Оскільки Chronicle фактично має доступ до вмісту екрана, особлива увага приділена безпеці. За даними розробників:

• Локальний контроль: Користувач може чітко визначити, які додатки Chronicle може «бачити», а які — ні.
• Прозорість даних: Весь зібраний візуальний контекст має обмежений термін зберігання і використовується виключно для покращення точності відповідей асистента в конкретний момент часу.
• Керування режимами: Функцію можна миттєво призупинити, якщо ви переходите до роботи з конфіденційною інформацією.

Чому це важливо?

Поява Chronicle знаменує перехід від «чат-ботів для коду» до повноцінних контекстних агентів. Розуміння візуального оточення дозволяє Codex стати справжнім напарником, який бачить те саме, що й розробник, значно скорочуючи когнітивне навантаження при перемиканні між завданнями.

Нагадаємо, що розробники LLM-моделей зараз скуповують архіви компаній.

Підписуйтесь на нас у соцмережах: Telegram | Facebook | LinkedIn