Великий (несанкціонований) експеримент у Reddit та його результати

Reddit не має вишуканого інтерфейсу. У нього також немає крутих, вражаючих функцій. Його API коштує надзвичайно дорого. Весь додаток викликає ностальгічні відчуття, ніби ви потрапили в початок 2000-х. Проте ця проста платформа щомісяця приваблює близько 1,21 млрд (!) користувачів. Ось у чому полягає сила спільноти.

По суті, Reddit — це просто розширений форум з незліченними підфорумами для будь-якої ніші, яку тільки можна уявити. Але його різноманітність і масштаби роблять його ідеальним місцем для всього, від маркетингових кампаній до… масштабних експериментів з штучним інтелектом.

Чому Reddit є таким сприятливим ґрунтом для експериментів

Унікальна динаміка спільноти Reddit — мільйони активних користувачів, бурхливі дебати та глибоко нішеві субреддити — робить його ідеальним середовищем для тестування соціальних явищ, таких як переконання.

Не дивно, що така комбінація приваблює дослідників, які прагнуть дослідити, як нові технології, такі як штучний інтелект, можуть впливати на переконання людей — досить актуальна тема в наш час.

Останній експеримент з переконання користувачів Reddit

Команда дослідників з Цюрихського університету провела «несанкціонований» масштабний експеримент, таємно розгорнувши ботів на базі штучного інтелекту в популярному підфорумі r/changemyview. Їхня мета? Перевірити, чи може ШІ ефективно змінити думку людей щодо суперечливих тем. Усі коментарі були згенеровані ШІ, але перевірені людьми. Проте експеримент явно перетнув етичні межі та порушив численні правила спільноти.

На свій захист дослідники пояснили, що ми все ще майже нічого не знаємо про те, наскільки переконливими є великі мовні моделі (LLM), особливо з огляду на те, скільки контенту, згенерованого ШІ, щодня заповнює наші стрічки і буде тільки збільшуватися. Ось їхній офіційний лист до спільноти Reddit:

Протягом останніх кількох місяців ми використовували кілька облікових записів для публікацій на CMV. Наш експеримент оцінював переконливість LLM в етичному сценарії, де люди просять навести аргументи проти їхньої думки. У коментарях ми не розкривали, що для написання коментарів використовувався ШІ, оскільки це зробило б дослідження неможливим. Хоча ми самі не писали коментарів, ми вручну перевіряли кожен опублікований коментар, щоб переконатися, що він не є шкідливим. Ми визнаємо, що наш експеримент порушив правила спільноти щодо коментарів, створених штучним інтелектом, і приносимо свої вибачення. Однак ми вважаємо, що з огляду на високу суспільну важливість цієї теми, було вкрай важливо провести таке дослідження, навіть якщо це означало порушення правил.

То що саме сталося?

• Протягом чотирьох місяців дослідники Цюрихського університету використовували 13 персонажів, створених штучним інтелектом, у r/changemyview, опублікувавши понад 1700 коментарів. Ці коментарі не були позначені як створені штучним інтелектом і виглядали як справжні дописи користувачів.
• Щоб максимізувати вплив, вони персоналізували повідомлення, виходячи з атрибутів користувачів — віку, статі, етнічної приналежності, політичних поглядів — з їхніх останніх 100 коментарів, не розкриваючи їх і не отримуючи згоди.
• Деякі персонажі взяли на себе емоційно заряджені ролі: жертви зґвалтування, психологи, чорношкірі чоловіки, які виступають проти BLM — спеціально створені для того, щоб викликати переконання.

Не дивно, що Reddit жорстко відреагував, висунувши офіційні юридичні вимоги до дослідників, які брали участь у експерименті. Користувачі — особливо ті, хто брав участь в експерименті — теж не були в захваті. Проте результати цього експерименту були вкрай необхідні.

Результат

Результати були одночасно дивовижними і передбачуваними. Боти ШІ отримали приблизно 137–150 «дельта»-нагород — прямий показник зміни думки — і накопичили понад 10 000 кармічних балів, досягнувши рівня переконання в 3–6 разів вищого, ніж у людських учасників.

Цей текст взято з особистого блогу після отримання дозволу автора.