تشير معلومات جديدة من شركة Cloudflare إلى أن شركتي Anthropic وOpenAI يقومان بزحف مكثف على مواقع الويب، لكنهما في المقابل يرسلان عددًا محدودًا من الزيارات لتلك المواقع، وهذا يثير جدلًا حول علاقة شركات الذكاء الاصطناعي بمحتوى الإنترنت. وبحسب البيانات، فإن نسبة الزحف إلى الإحالة لدى الشركتين تدهورت مقارنة ببداية سبتمبر 2025، مما يعني أن روبوتات الذكاء الاصطناعي تجمع محتوى أكثر من الويب، بينما تعيد قيمة أقل للناشرين وأصحاب المواقع.
فيما يتعلق بالجانب الاقتصادي للبيانات، يعتبر هذا الموضوع من أقل الجوانب نقاشًا في ثورة الذكاء الاصطناعي، حيث تنفق شركات التقنية مليارات الدولارات على مراكز البيانات والرقائق واستقطاب المواهب، لكن نادرًا ما تتحدث عن العنصر الأساسي الآخر لنجاح نماذج الذكاء الاصطناعي وهو البيانات البشرية عالية الجودة. وبدلًا من شراء هذه البيانات أو تعويض منتجيها، تعتمد العديد من الشركات على روبوتات تقوم بزحف المواقع وجمع المحتوى المتاح، وغالبًا دون مقابل مباشر.
تقليديًا، كان أصحاب المواقع يسمحون لمحركات البحث ومنصات التقنية بالوصول إلى محتواهم مجانًا مقابل الحصول على زيارات من المستخدمين، والتي يمكن تحويلها إلى عائدات عبر الإعلانات أو الاشتراكات، وهذه المعادلة شكلت ما يُعرف بـ “الصفقة الكبرى” للويب. لكن مع ظهور الذكاء الاصطناعي التوليدي، بدأت هذه الصفقة تتفكك، حيث تقدم محركات الإجابة وروبوتات الدردشة إجابات مباشرة، مما يقلل حاجة المستخدمين لزيارة المواقع التي أنتجت المحتوى.
Cloudflare تدير خدمات لما يقارب 20% من مواقع الإنترنت عالميًا، وبدأت منذ عام 2025 بتتبع عدد طلبات الزحف التي ترسلها روبوتات شركات التقنية إلى المواقع وعدد الزيارات التي تعيدها هذه المنصات، وتُستخدم نسبة الزحف إلى الإحالة كمؤشر على مقدار ما تأخذه الشركات من الويب مقابل ما تعيده إليه، فمثلًا نسبة 100 إلى 1 تعني أن الشركة تزحف المواقع 100 مرة مقابل إحالة واحدة فقط.
في بيانات الأسبوع الأول من يناير، تُظهر أن Anthropic تتصدر القائمة بفارق واضح، حيث تزحف المواقع بمعدلات مرتفعة جدًا مقارنة بعدد الإحالات التي ترسلها، وهذا السلوك ازداد مقارنة ببداية سبتمبر 2025. وينطبق الاتجاه نفسه على OpenAI، حيث ساءت نسبة الزحف إلى الإحالة، مما يشير إلى اعتماد متزايد على محتوى الويب مع مساهمة أقل في إعادة حركة المرور إليه.
هذا الأمر يتقاطع مع تقارير سابقة لموقع بزنس إنسايدر، التي أفادت بأن روبوتات Anthropic وOpenAI كانت تزحف بعض المواقع بكثافة تسببت في ارتفاع كبير بتكاليف الاستضافة والحوسبة السحابية، وفي إحدى الحالات، تضاعفت تكاليف الحوسبة لأحد العملاء خلال بضعة أشهر فقط بسبب هذا النشاط.