Perplexity обвиняют в обходе ограничений при скрапинге сайтов
Компания Perplexity снова оказалась в центре скандала, связанного с использованием веб-краулеров для скрапинга сайтов. Согласно новому отчету Cloudflare, боты Perplexity обходят ограничения, установленные файлами robots.txt и брандмауэрами веб-приложений (WAF).
Файл robots.txt используется сайтами для указания веб-краулерам, какие части контента можно скрапить, а какие нет. Официальные боты Perplexity, такие как «PerplexityBot» и «Perplexity-User», должны соблюдать эти правила. Однако, по данным Cloudflare, Perplexity продолжает скрапить контент даже тогда, когда эти боты заблокированы.
Cloudflare утверждает, что Perplexity использует «скрытые краулеры», которые маскируются под обычный браузер Google Chrome на macOS, чтобы обойти ограничения robots.txt. В ходе тестов Cloudflare обнаружило, что эти необъявленные краулеры могут менять IP-адреса, не указанные в официальном диапазоне Perplexity, и даже менять номера автономных систем (ASNs), чтобы обойти брандмауэры.
Engadget связался с Perplexity для комментариев по поводу отчета Cloudflare, но пока не получил ответа.
Актуальная информация с сайтов жизненно важна для компаний, обучающих модели ИИ, особенно если такие сервисы, как Perplexity, используются в качестве замены поисковым системам. Ранее, в 2024 году, несколько сайтов сообщали, что Perplexity продолжает скрапить их контент, несмотря на запреты в robots.txt. Тогда компания объяснила это поведением сторонних веб-краулеров, которые она использовала. Позже Perplexity заключила партнерские соглашения с несколькими издателями, чтобы делиться доходом от рекламы, отображаемой рядом с их контентом, видимо, компенсируя свое предыдущее поведение.
Проблема предотвращения скрапинга контента с сайтов, вероятно, останется постоянной борьбой. Тем временем Cloudflare удалила боты Perplexity из своего списка проверенных ботов и внедрила способ идентификации и блокировки скрытых краулеров Perplexity, чтобы защитить контент своих клиентов.
Источник: Engadget
Подпишитесь на новости в телеграм: https://t.me/itnewsros