Google удалил данные пользователя Android-смартфона и пометил его как преступника: что случилось

У Google есть автоматизированный инструмент для обнаружения оскорбительных изображений, в том числе детей. Одна ошибка, и человек не просто распрощается со своими данными, но и будет иметь дело с правоохранителями. Так и случилось с Марком (фамилия скрыта по соображениям конфиденциальности) из Сан-Франциско, пишет NY Times.

Подробности

Сорокалетний Марк из Сан-Франциско — родитель. В один день он заметил, что с его маленьким сыном что-то не так: пенис ребенка выглядел опухшим и болел. Его жена позвонила медсестре-консультанту в больницу, чтобы назначить экстренную консультацию на следующее утро по видеосвязи, потому что был разгар пандемии. Медсестра сказала прислать фотографии, чтобы врач мог их просмотреть заранее.

Женщина схватила Android-смартфон мужа и отправила через электронную почту несколько высококачественных крупных планов области паха их сына на свой iPhone, чтобы затем загрузить их в систему обмена сообщениями поставщика медицинских услуг. На одном была видна рука Марка, что помогло в пропорции лучше показать размер опухоли. Женщине не пришло в голову, что технологические гиганты отслеживают обмен цифровыми данными и что могут подумать по ту сторону экрана.

С помощью фотографий врач поставил диагноз и прописал антибиотики, которые быстро помогли. Но после этого эпизода у Марка возникла гораздо более серьезная проблема, которая стоила ему контактов, электронных писем и резервных копий фотографий, накопленных почти за 10 лет, и сделала его объектом полицейского расследования. 

Google обещает молчать

Технологические компании регулярно собирают невероятное количество данных и вынуждены действовать в качестве надзирателей, проверяя, что проходит через их серверы, чтобы обнаруживать и предотвращать преступления. Защитники прав детей говорят, что это необходимо для борьбы с бесконтрольным распространением изображений сексуального насилия в интернете. В частности, Google может заглянуть в цифровые фотоальбомы, если с фото происходит какое-то действие (стоит резервное копирование, например), из-за чего невинное поведение людей было выставлено в зловещем свете по крайней мере в двух аналогичных случаях.

В компании обещают, что информация о большинстве людей, несправедливо помеченных из-за подозрительных фото, не будет предана гласности. Чтобы вы понимали, изображения детей, гипотетически подвергающихся эксплуатации или сексуальному насилию, помечаются технологическими гигантами миллионы раз в год. Опыт Марка — капля в море.

Но не гласность или проблемы с полицией больше беспокоили мужчину, а потерянные данные. Марк — инженер-программист. Он предполагал, что ему вернут его учетную запись, как только он объяснит, что произошло.

«Я знал, что большие компании следят за нами, и что конфиденциальность — это не то, на следует рассчитывать, — сказал Марк. — Но я не сделал ничего плохого».

Но даже когда он разобрался с полицией и предоставил Google отчет правоохранителей, что к Марку нет претензий, компания не стала восстанавливать аккаунт — он удален навсегда. Мужчина решил судиться с корпорацией.

Как отслеживают детскую порнографию

Первым инструментом индустрии высоких технологий, который серьезно подорвал обширный онлайн-обмен детской порнографией, стала PhotoDNA — база данных известных изображений жестокого обращения, преобразованных в уникальные цифровые коды или хэши. Ее можно использовать для быстрого просмотра большого количества изображений для обнаружения совпадений, даже если фотография была изменена незначительно. После того, как Microsoft выпустила PhotoDNA в 2009 году, Facebook и другие технологические компании использовали его для вычисления пользователей, распространяющих незаконные и вредоносные изображения.

Более крупный прорыв произошел почти десятилетие спустя, в 2018 году, когда Google разработала инструмент с ИИ для распознавания невиданных ранее изображений эксплуатации детей. Это значила возможность поиска не только известных полиции изображений детей, подвергшихся насилию, но и выявление изображений неизвестных жертв, которых власти потенциально могли бы спасти. Google сделал свою технологию доступной для других компаний.

Когда фотографии Марка автоматически загружались с их телефонов на серверы Google, эта технология их помечала. Модератор человеческого контента для Google обязан посмотреть фотографии после того, как искусственный интеллект пометил их, чтобы подтвердить, что они попадают под определение материалов о сексуальном насилии над детьми. После пометки Google блокирует учетную запись пользователя, ищет другие материалы эксплуатации и, как того требует федеральный закон, отправляет отчет в CyberTipline в Национальном центре пропавших без вести и эксплуатируемых детей.

Но… в эту организацию в среднем поступает около 80 000 отчетов в день, и есть вероятность, что цель фото неправильно интерпретируют. Фэллон МакНалти, управляющий CyberTipline, сказал, что большинство из этих изображений — это изображения, о которых сообщалось ранее, и которые по-прежнему постоянно циркулируют в сети. Поэтому штат из 40 аналитиков фокусируется на потенциальных новых жертвах, чтобы расставить приоритеты по этим делам для правоохранителей. То есть логика такая: если этого ребенка еще не идентифицировали, то не защитили и сейчас он в опасности.

В целом, не учитывая «неудобную» ситуацию с удалением аккаунта Марка, этот случай является «примером того, что система Google работает должным образом», заявили в CyberTipline.