Суд США разрешил парсить данные с LinkedIn: веб-скрейпинг теперь легален — что это значит

Согласно решению апелляционного суда США, веб-скрейпинг общедоступных интернет-данных отныне является законным. Многочисленные парсеры, пауки и боты, которые годами собирали данные в сети, впервые выходят из серой правовой зоны. Это важное решение для истории интернета, делает подобные сервисы легальными.

Что произошло?

 В США, по мере развития интернета и накопления в нем огромного массива публичной информации, регулярно вспыхивали баталии — можно ли парсить ботами информацию, которая и так публично доступна всем?

И вот на днях, в результате очередных судебных разборок на эту тему, произошло знаменательное событие, которое, видимо, ставит точку в этих долгих и ожесточенных спорах.

Решение Апелляционного суда девятого округа США стало последним в длительной судебной тяжбе, которую четвертый год ведет LinkedIn с целью остановить конкурирующую компанию от веб-скрейпинга личной информации из публичных профилей пользователей этой соцсети. В прошлом году дело дошло до Верховного суда США, но было возвращено для повторного рассмотрения дела апелляционным судом.

В своем втором решении этот суд подтвердил свое первоначальное видение и постановил, что веб-скрейпинг данных, находящихся в открытом доступе в интернете, не является нарушением Закона о компьютерном мошенничестве и злоупотреблении (CFAA), на который ссылались Linkedin и другие компании в аналогичных исках. CFAA регулирует, что именно является компьютерным взломом по американскому законодательству, а суд впервые дал четкую трактовку этому весьма общему закону применительно к узкой сфере автоматизированного сбора данных.

Это решение — крупная победа для ученых, программистов, журналистов и всех других, кто использует инструменты автоматизации для массового сбора информации, находящейся в открытом доступе в интернете. Без соответствующего постановления давно существующие проекты по архивированию веб-сайтов (например, знаменитый Wayback Machine), а также по сбору и архивированию общедоступных данных для академических и научных исследований оказывались в правовом тупике.

Учитывая прецедентное право США, многие считают, что вопрос с веб-скрейпингом закрыт навсегда.

Битва еще не закончена?

Кроме вполне понятного и общественно полезного применения у веб-скрейпинга есть и обратная, темная, сторона.

Недавно скандал вызвал небольшой стартап Clearview AI, занимающийся распознаванием лиц, который утверждает, что собрал миллиарды фотографий профилей в социальных сетях по всему миру, желая аккумулировать как можно больше реальных людей в своей базе. Проект не скрывает возможности своего потенциального сотрудничества с государственными органами (и любыми другими заинтересованными лицами), чтобы монетизировать возможности по идентификации личностей людей разных стран и народов. Этот случай побудил нескольких технологических гигантов подать против стартапа судебные иски.

 Один из инвесторов Clearview AI, Дэвид Шкалзо, так возражает своим оппонентам:

 «Я пришел к выводу, что, поскольку объемы публичной информации постоянно увеличиваются, былой приватности уже никогда не видать. Законы должны определять, что является законным, но нельзя запретить технологию. Конечно, это может привести к антиутопическому будущему или чему-то подобному, но все равно запретить это невозможно».

Что же касается Linkedin, то его топ-менеджер Грег Снаппер утверждает, что история еще не закончена:

 «Мы разочарованы решением суда. Это не окончательное решение, и дело далеко не закончено. Мы будем искать возможность продолжить борьбу за право наших пользователей контролировать информацию, которую они делают доступной на LinkedIn. Когда ваши данные берут без разрешения и используют так, как вы не соглашались, это не нормально. В LinkedIn наши пользователи доверяют нам свою информацию, поэтому мы запрещаем несанкционированный скрейпинг на нашей платформе».

Наша справка

Веб-скрейпинг — технология получения веб-данных путем извлечения их со страниц веб-ресурсов. Веб-скрейпинг может производить вручную пользователь компьютера, но термин обычно относится к автоматизированным процессам, реализованным с помощью кода, который выполняет GET-запросы на целевой сайт. Некоторые боты в поисках заданной информации мигрируют с сайта на сайт, автоматически выискивая и накапливая публичные данные согласно заданной тематической нише.