Google видалив дані користувача Android-смартфону і помітив його як злочинця: що сталося

Google має автоматизований інструмент для виявлення злочинних зображень, у тому числі дітей. Одна помилка, і людина не просто попрощається зі своїми даними, а й матиме справу з правоохоронцями. Так і сталося з Марком (прізвище приховано з міркувань конфіденційності) із Сан-Франциско, пише NY Times.

Подробиці

Сорокарічний Марк із Сан-Франциско — батько. Одного дня він помітив, що з його маленьким сином щось не так: пеніс малюка виглядав опухлим і болів. Його дружина зателефонувала медсестрі-консультанту до лікарні, щоб призначити екстрену консультацію наступного ранку з відеозв’язку, бо був розпал пандемії. Медсестра сказала надіслати фотографії, щоб лікар міг їх переглянути заздалегідь.

Жінка схопила Android-смартфон чоловіка і відправила через електронну пошту кілька високоякісних крупних планів області паху їхнього сина на свій iPhone, щоб потім завантажити їх у систему обміну повідомленнями постачальника медичних послуг. На одному було видно руку Марка, що допомогло в пропорції краще показати розмір пухлини. Жінці не спало на думку, що технологічні гіганти відстежують обмін цифровими даними і можуть подумати по той бік екрану.

За допомогою фотографій лікар поставив діагноз та прописав антибіотики, які швидко допомогли. Але після цього епізоду у Марка виникла набагато серйозніша проблема, яка коштувала йому контактів, електронних листів та резервних копій фотографій, накопичених майже за 10 років, і зробила його об’єктом поліцейського розслідування. 

Google обіцяє мовчати

Технологічні компанії регулярно збирають неймовірну кількість даних і змушені діяти як наглядачі, перевіряючи, що проходить через їхні сервери, щоб виявляти та запобігати злочинам. Захисники прав дітей кажуть, що це необхідно для боротьби з безконтрольним розповсюдженням зображень сексуального насильства в Інтернеті. Зокрема, Google може зазирнути в цифрові фотоальбоми, якщо з фото відбувається якась дія (резервне копіювання, наприклад), через що безневинна поведінка людей була виставлена ​​у зловісному світлі принаймні у двох аналогічних випадках.

У компанії обіцяють, що інформація про більшість людей, несправедливо помічених через підозрілі фото, не буде оприлюднена. Щоб ви розуміли, зображення дітей, які гіпотетично піддаються експлуатації або сексуальному насильству, позначаються технологічними гігантами мільйони разів на рік. Досвід Марка — крапля в морі.

Але не гласність чи проблеми з поліцією більше турбували чоловіка, а втрачені дані. Марк — інженер-програміст. Він припускав, що йому повернуть його обліковий запис, як тільки він пояснить, що сталося.

«Я знав, що великі компанії стежать за нами, і що конфіденційність — це не те, слід розраховувати, — сказав Марк. — Але я не зробив нічого поганого».

Та навіть коли він розібрався з поліцією і надав Google звіт правоохоронців, що до Марка немає претензій, компанія не стала відновлювати обліковий запис — його видалено назавжди. Чоловік вирішив позиватися до корпорації.

Як відстежують дитячу порнографію

Першим інструментом індустрії високих технологій, який серйозно підірвав великий онлайн-обмін дитячою порнографією, стала PhotoDNA — база даних відомих зображень жорстокого поводження, перетворених на унікальні цифрові коди або хеші. Її можна використовувати для швидкого перегляду великої кількості зображень для виявлення збігів, навіть якщо фотографію було змінено незначно. Після того, як Microsoft випустила PhotoDNA в 2009 році, Facebook та інші технологічні компанії використовували його для обчислення користувачів, які розповсюджують незаконні та шкідливі зображення.

Більший прорив стався майже через десятиліття, в 2018 році, коли Google розробила інструмент зі штучним інтелектом для розпізнавання небачених раніше зображень експлуатації дітей. Це означало можливість пошуку не тільки відомих поліції зображень дітей, які зазнали насильства, але й виявлення зображень невідомих жертв, яких влада потенційно могла б врятувати. Google зробив свою технологію доступною для інших компаній.

Коли фотографії Марка автоматично завантажувалися з телефонів на сервери Google, ця технологія їх позначала. Модератор людського контенту для Google повинен переглянути фотографії після того, як штучний інтелект помітив їх, щоб підтвердити, що вони потрапляють під визначення матеріалів про сексуальне насильство над дітьми. Після позначки Google блокує обліковий запис користувача, шукає інші матеріали експлуатації і, як того вимагає федеральний закон, надсилає звіт до CyberTipline в Національному центрі зниклих безвісти та дітей, які експлуатуються.

Але… в цю організацію в середньому надходить близько 80 000 звітів на день, і є ймовірність, що мету фото неправильно інтерпретують. Феллон МакНалті, директор CyberTipline, сказав, що більшість із цих зображень — це зображення, про які повідомлялося раніше, і які постійно циркулюють у мережі. Тому штат із 40 аналітиків фокусується на потенційних нових жертвах, щоб розставити пріоритети у цих справах для правоохоронців. Тобто логіка така: якщо цю дитину ще не ідентифікували, то й не захистили і зараз вона в небезпеці.

Загалом, не враховуючи «незручну» ситуацію з видаленням облікового запису Марка, цей випадок є «прикладом того, що система Google працює належним чином», заявили в CyberTipline.