Украинские разработчики создали нейросеть, которая чистит информацию о «прилетах»

Украинские разработчики Дмитрий Вакуленко, Conversational Frontend Engineer, и Александр Голуб, AI Trainer в Master of Code Global создали чат-бот в Telegram UA Anti Spam Bot, самостоятельно ищет информацию о «прилетах» и сам себя совершенствует. О работе нейросети девелоперы рассказали в колонке AIN.ua.

Девелоперы рассказывают, что сначала чат-бот базировался на простом алгоритме сравнения комментариев пользователей с «подозрительной» комбинацией стоп-слова (горит, пылает, прилет, танк, БТР и т.п.) и локации (Киев, Черкассы, заправка, парк, завод и т.д.). И автоматически удалял следующие комментарии.

Но потом оказалось, что не все данные подходят для тренировки нейросети.

«Мы начали собирать эти комментарии из чатов в Telegram. Когда происходили воздушные тревоги, мы мониторили, что пишут люди. Например, что там пролетело, где там был произошедший взрыв. И мы такие примеры выписывали себе», – объясняют разработчики.

В дальнейшем Дмитрий Вакуленко и Александр Голуб оптимизировали систему:

1. Начали отсеивать комментарии с более 30 слов, а также убрали комментарии, где одно-два слова. Или редактировали их, добавляя ключевые слова (например, самолет, ракета, вертолет, танк, солдат, оружие и т.д.).
2. Использовали сервис Stemming для идентификации слов разного рода и падежей и Lemmatization для определения времени глаголов.
3. Начали обучать нейросеть учетывать слова-синонимы

Система не полностью автоматическая – девелоперу нужно брать новый датасет и обучать его. Чат-бот имеет систему против мошенников и может автоматически удалять их комментарии с ссылками на фейковые ресурсы, мимикрируемые под официальные энергетические сервисы (ДТЭК, Yasno и другие).

В настоящее время бот удаляет вредоносные комментарии в 2600 Telegram-каналах и группах, охватывая более 420 000 пользователей.