Cloudflare تحدد موعدا في سبتمبر لحظر زواحف AI متعددة الاستخدام
تخطط Cloudflare لحظر زواحف الويب متعددة الاستخدام من الصفحات المدعومة بالإعلانات افتراضيا بدءا من 15 سبتمبر 2026، ما لم يغير مالك الموقع الإعداد. وتدفع السياسة شركات AI إلى فصل الوصول الخاص بالبحث عن استخدامات الوكلاء والتدريب، بينما توسع Cloudflare أدوات الدفع للناشرين.
Cloudflare تحدد موعدا لزواحف الويب في 15 سبتمبر
تخطط Cloudflare لتغيير قواعد الزحف الافتراضية في 15 سبتمبر 2026، مستهدفة الروبوتات التي تجمع بين الزحف التقليدي للبحث ونشاط وكلاء AI أو الوصول المستخدم في تدريب النماذج.
بموجب السياسة، سيتم حظر الزواحف متعددة الاستخدام افتراضيا من الصفحات التي تعرض إعلانات ما لم يختر مالك الموقع إعدادا آخر. وقالت Cloudflare إن التغيير سيطبق على العملاء الجدد، والمواقع الجديدة التي ينشئها العملاء الحاليون، وجميع العملاء المجانيين الحاليين.
تمنح القاعدة الناشرين نقطة تحكم أوضح في وصول AI إلى صفحات الويب. كما تجبر شركات AI على إظهار فواصل أوضح بين الزواحف التي تدعم الظهور في البحث والزواحف التي تدعم التدريب أو خدمات الوكلاء.
قدمت Cloudflare التغيير بوصفه مسألة تحكم للناشرين وليس حظرا شاملا على AI. وقالت الشركة إن مالكي المواقع غالبا يريدون الظهور في البحث وبعض الحضور في خدمات AI، لكنهم يريدون أيضا حماية المحتوى من الاستخدام من دون دفع.
Pay Per Use توسع نموذج الدفع للناشرين
توسع Cloudflare أيضا نموذج الدفع للناشرين من Pay Per Crawl إلى Pay Per Use. وقالت الشركة إن النموذج الجديد سيسمح للناشرين بفرض رسوم على شركات AI عندما يخلق المحتوى قيمة، وليس فقط عندما يجلبه زاحف.
سمت Cloudflare شركتي Ceramic.ai وYou.com كأول شريكين في هذا النهج. وعندما يختار الناشر المشاركة، قالت Cloudflare إن الدفع يمكن أن يحدث عندما يظهر المحتوى في نتائج بحث AI لدى Ceramic أو عندما تصل You.com إلى محتوى مميز.
وأشارت الشركة أيضا إلى الكفاءة كجزء من السياسة. وقالت Cloudflare إن بياناتها تشير إلى أن أكثر من 50% من حركة زواحف AI تذهب إلى جلب صفحات لم تتغير، ما يضيف تكاليف نطاق ترددي وحوسبة على الناشرين ومزودي النماذج.
حدود Google تبقى محل خلاف في البحث
يتحدى إعلان Cloudflare أيضا طريقة فصل مشغلي البحث الكبار بين الاكتشاف واستخدامات AI. وقالت الشركة إن أكبر محرك بحث في العالم لديه وصول إلى معلومات أكثر بنحو 2x من شركات AI الأخرى لأن الناشرين يجدون صعوبة في البقاء قابلين للاكتشاف من دون أن يستخدموا أيضا في AI.
أشارت Google سابقا إلى Google Extended، وهي أداة تحكم في الزحف تتيح لمالكي المواقع إلغاء استخدام محتواهم في التدريب ومنتجات AI مثل Gemini Apps وVertex API من دون التأثير في الظهور ضمن Google Search. وما زال Googlebot يزحف للبحث، بما في ذلك AI Overviews وAI Mode.
قال Matthew Prince، الشريك المؤسس والرئيس التنفيذي لـ Cloudflare، إن معظم حركة الإنترنت أصبحت غير بشرية، وإن وضوح نية الروبوتات يمكن أن يدعم منظومة ويب أكثر استدامة. ولم تكشف Cloudflare أسعار Pay Per Use أو شروط إيرادات الناشرين أو أسماء شركات AI الأخرى التي ستعتمد النموذج.
Summary version for Medium
Cloudflare Sets September Deadline For Mixed-Use AI Crawlers
Why Cloudflare Sets September Deadline matter now for cloud infrastructure teams
Quick Summary: Cloudflare plans to block mixed-use crawlers from ad-supported pages by default from September 15, 2026, unless site owners change the setting. The policy pushes AI companies to separate search access from agent and training uses while Cloudflare expands publisher payment tools.
Cloudflare Sets A September 15 Crawler Deadline
Cloudflare plans to change its default crawler rules on September 15, 2026, targeting bots that combine traditional search crawling with AI agent activity or model-training access. Under the policy, mixed-use crawlers will be blocked by default from pages that host ads unless the site owner chooses another setting.
Pay Per Use Expands The Publisher Payment Model
Cloudflare is also expanding its publisher-payment model from Pay Per Crawl to Pay Per Use.
- Point 1: The central topic is ai, with the announcement framed around concrete operating detail.
- Point 2: The company said the newer model would let publishers charge AI companies when content creates value, not only when a crawler fetches it.
The important shift is not the AI label, but the operating boundary it creates for teams.
Google Boundary Remains A Search Dispute
Cloudflare's announcement also challenges how large search operators separate discovery from AI use. The company said the world's largest search engine has access to about 2x more information than other AI companies because publishers find it difficult to stay discoverable without also being used for AI.
Read the Full Deep Dive
Want to explore the complete technical analysis, enterprise trade-offs, and detailed metrics?
Read the full article originally published at SendTech Times
