Українські розробники створили нейромережу, яка чистить інформацію про «прильоти»

Українські розробники Дмитро Вакуленко, Conversational Frontend Engineer, та Олександр Голуб, AI Trainer в Master of Code Global створили чат-бот в Telegram UA Anti Spam Bot, який самостійно шукає інформацію про «прильоти» і сам себе вдосконалює. Про роботу нейромережі розробники розповіли в колонці для AIN.ua.

Девелопери розповідають, що спочатку чат-бот базувався на простому алгоритмі порівняння коментарів користувачів з «підозрілою» комбінацією стоп-слова (горить, палає, приліт, танк, БТР тощо) та локації (Київ, Черкаси, заправка, парк, завод тощо). І автоматично видаляв такі коментарі.

Але потім виявилося, що не всі дані підходять для тренування нейромережі.

«Ми почали збирати ці коментарі з чатів у Telegram. Коли відбувалися повітряні тривоги, ми моніторили, що пишуть люди. Наприклад, що там пролетіло, де там був вибух, що сталось. І ми такі приклади виписували собі», – пояснюють розробники.

В подальшому Дмитро Вакуленко та Олександр Голуб оптимізували систему:

1. Почали відсіювати коментарі більше 30 слів, а також прибрали коментарі, де одне-два слова. Або редагували їх, додаючи ключові слова (наприклад, літак, ракета, гвинтокрил, танк, солдат, зброя тощо).
2. Використали сервіс Stemming для ідентифікації слів різного роду та відмінків та Lemmatization для часу дієслів.
3. Почали розвивати нейромережу задля врахування слів-синонімів

Система не повністю автоматична – девелоперу потрібно брати новий датасет і навчати його. Чат-бот має антишахрай-систему та може автоматично видаляти коментарі шахраїв з лінками на фейкові ресурси, що мімікрують під офіційні енергетичні сервіси (ДТЕК, Yasno та інші).

Наразі бот видаляє шкідливі коментарі у 2600 Telegram-каналах і групах, охоплюючи понад 420 000 користувачів.