ИИ браузеры научились обходить блокировки и платный доступ на сайтах

Новое поколение браузеров с интегрированным искусственным интеллектом, таких как Atlas от OpenAI и Comet от Perplexity, демонстрирует способность получать доступ к контенту, защищенному пейволлом или заблокированному для стандартных веб-краулеров. Эти системы представляют собой новый вызов для издателей, стремящихся контролировать использование своих материалов.

В отличие от обычных поисковых систем, ИИ-агенты в этих браузерах могут выполнять сложные многоэтапные задачи. Журналисты из Columbia Journalism Review провели эксперимент, в ходе которого попросили Atlas и Comet предоставить полный текст эксклюзивной статьи для подписчиков в MIT Technology Review. Оба браузера успешно справились с задачей, в то время как стандартные интерфейсы ChatGPT и Perplexity сообщили о невозможности доступа к материалу из-за блокировки их краулеров.

Причина такого поведения заключается в том, что для сайтов активность этих ИИ-агентов выглядит так же, как действия обычного пользователя в браузере Chrome. Они не идентифицируют себя как боты, что делает их блокировку крайне затруднительной, поскольку это может ограничить доступ и для реальных читателей.

Кроме того, эти системы способны обходить так называемые клиентские пейволлы, при которых текст статьи загружается в браузер, но скрывается за всплывающим окном с предложением подписки. Искусственный интеллект может прочитать этот скрытый текст.

В случаях, когда прямой доступ к контенту заблокирован, например, на сайтах изданий, которые подали в суд на OpenAI, ИИ-агенты используют обходные пути. Например, при запросе на получение статьи с сайта PCMag, Atlas смог реконструировать ее содержание, собрав воедино информацию из социальных сетей, перепечаток и упоминаний на других ресурсах. Когда его попросили обобщить статью The New York Times, браузер сгенерировал сводку на основе публикаций других изданий, у которых есть лицензионные соглашения с OpenAI.