کلودفلر می‌گوید هوش مصنوعی پرپلکسیتی با دور زدن قوانین ضد خزنده، محتوای سایت‌ها را به‌صورت مخفیانه جمع‌آوری می‌کند.
به گزارش تکراتو و به نقل از arstechnica، شرکت کلودفلر در گزارشی اعلام کرد که موتور جست‌وجوی مبتنی بر هوش مصنوعی پرپلکسیتی با استفاده از ربات‌های مخفی و روش‌هایی خاص، به‌صورت غیرمجاز محتوای سایت‌هایی را جمع‌آوری می‌کند که صراحتا خزیدن (Crawling) را برای آن ممنوع کرده‌اند.
در صورت صحت این ادعا، پرپلکسیتی یکی از مهم‌ترین اصول اخلاقی اینترنت که بیش از ۳۰ سال قدمت دارد را نقض کرده است.
بر اساس گفته‌های کلودفلر، مشتریان این شرکت که سایت‌هایشان روی بستر کلودفلر میزبانی می‌شوند، به‌صورت دستی دسترسی ربات‌های پرپلکسیتی را با تنظیم فایل robots.txt و فایروال مسدود کرده بودند. با این حال، پرپلکسی همچنان از راه‌های پنهانی به محتوای این سایت‌ها دسترسی داشته است.
کلودفلر برای بررسی این موضوع به‌صورت مستقل اقدام کرد و متوجه شد که وقتی ربات‌های شناخته‌شده پرپلکسیتی با محدودیت مواجه می‌شوند، این شرکت از یک خزنده مخفی استفاده می‌کند که با روش‌هایی مثل تغییر آدرس IP و پنهان‌سازی منبع درخواست، همچنان به خزیدن ادامه می‌دهد.
به گفته محققان، این خزنده پنهانی از هزاران IP مختلف استفاده کرده که در محدوده رسمی IP پرپلکسیتی نبوده‌اند. همچنین برای دور زدن فیلترها از سیستم‌های مستقل مختلف (ASN) بهره گرفته شده و این رفتار در بیش از ۱۰ هزار دامنه و میلیون‌ها درخواست روزانه دیده شده است.
پروتکل جلوگیری از خزیدن، نخستین بار در سال ۱۹۹۴ توسط مهندس مارتین کوستر طراحی شد. طبق این استاندارد، سایت‌ها می‌توانند با یک فایل ساده robots.txt اعلام کنند که چه بخش‌هایی از سایت برای خزنده‌ها ممنوع است.
این استاندارد در سال ۲۰۲۲ به شکل رسمی در کارگروه مهندسی اینترنت پذیرفته شد و رعایت آن یکی از اصول پذیرفته‌شده در وب است.
این نخستین باری نیست که پرپلکسیتی به چنین رفتارهایی متهم می‌شود. سال گذشته استیو هافمن، مدیرعامل ردیت، گفته بود مقابله با پرپلکسیتی و دو موتور دیگر از مایکروسافت و آنتروپیک بسیار دشوار بوده و این شرکت‌ها گویی معتقدند تمام محتوای اینترنت رایگان و در اختیار آن‌هاست.
نشریات مشهوری مثل فوربس و وایرد نیز پرپلکسیتی را به سرقت محتوای اختصاصی متهم کرده‌اند. فوربس گفته بود که یکی از مطالب پرپلکسی به‌شدت شبیه به مقاله‌ای اختصاصی بوده که فقط یک روز زودتر توسط این رسانه منتشر شده بود.
وایرد هم ردپاهایی از آدرس‌های IP مشکوک پیدا کرده که فایل robots.txt را نادیده گرفته‌اند و حتی شناسه ربات‌های پرپلکسیتی را برای فرار از فیلترها تغییر داده‌اند.
کلودفلر اعلام کرده که در واکنش به این یافته‌ها، پرپلکسیتی را از فهرست ربات‌های معتبر خود خارج کرده و قوانین حفاظتی جدیدی برای جلوگیری از خزیدن‌های مخفیانه آن اعمال کرده است.
به گفته کلودفلر، ربات‌ها باید شفاف، هدفمند و مطابق با ترجیحات اعلام‌شده سایت‌ها عمل کنند. اما رفتار پرپلکسیتی خلاف این اصول بوده و به همین دلیل جلوی دسترسی آن گرفته شده است. نمایندگان پرپلکسیتی هنوز پاسخی به این گزارش و ایمیل کلودفلر نداده‌اند.
