Cloudflare تحدد قواعد إذن جديدة لزواحف وكلاء الذكاء الاصطناعي في September 15
أفاد AI News بأن Cloudflare ستحظر افتراضيا حركة زواحف Agent وTraining على الصفحات المدعومة بالإعلانات اعتبارا من September 15 لعدة مجموعات من العملاء، مع بقاء Search مسموحة. وقال التقرير إن الإنفاذ ما زال يعتمد على تسميات سلوك الزواحف.
أفاد AI News بأن ضوابط Cloudflare للزواحف ستضع وكلاء الذكاء الاصطناعي الذين يعملون في الوقت الحقيقي خلف إعدادات إذن جديدة اعتبارا من September 15، عندما قال التقرير إن حركة Agent وTraining يتم حظرها افتراضيا على الصفحات المدعومة بالإعلانات لعدة مجموعات من العملاء.
أفاد AI News بأن Cloudflare أعلنت تغييرات الضوابط في July 1. وقال التقرير إن Cloudflare تفصل الآن سلوك الزواحف إلى فئات Search وAgent وTraining، بدلا من التعامل مع كل نشاط روبوتات الذكاء الاصطناعي كإعداد واحد.
Cloudflare تفصل زواحف Search وAgent وTraining
تشمل Search الروبوتات التي تفهرس الصفحات حتى تتمكن خدمة ما من الإجابة عن أسئلة بشأن الصفحة لاحقا. وتشمل Agent الأنظمة الآلية التي تجلب الصفحات في الوقت الحقيقي لمستخدم، بما في ذلك نشاط جلب ChatGPT والوكلاء الذين يقودون المتصفح. وتشمل Training الزواحف التي تجمع محتوى الويب لتدريب النماذج.
أفاد AI News بأن ضوابط July 1 طبقت على عملاء Cloudflare، بما في ذلك الفئة المجانية. وقال التقرير إن إعدادات September 15 الافتراضية تنطبق على النطاقات التي تنضم حديثا إلى Cloudflare، والمواقع الجديدة التي ينشئها عملاء قائمون، وعملاء الفئة المجانية الحاليين.
تبقى Search مسموحة ضمن تلك الإعدادات الافتراضية. ويتم حظر حركة Training وAgent على الصفحات التي تعرض إعلانات ما لم يغير العميل إعداد الأمان ذي الصلة قبل الموعد النهائي.
الصفحات المدعومة بالإعلانات تحصل على الحظر الافتراضي
قال التقرير إن Cloudflare تتعامل مع الإعلان كدليل على أن الصفحة بنيت لزائر بشري. ويمكن لزاحف البحث أن يعيد قارئا إلى الموقع، بينما يمكن للوكيل قراءة صفحة وإرجاع إجابة من دون زيارة.
تقوم كثير من الصفحات المفيدة للبحث والمراقبة وفحص الأسعار ومواصفات المنتجات والأخبار على نماذج نشر مدعومة بالإعلانات، وفق AI News. وإذا فقد الوكيل الوصول، فقد يظهر الإخفاق كتغطية ناقصة بدلا من خطأ واضح.
ينشئ نظام Cloudflare أيضا مشكلة للزواحف متعددة الاستخدامات. ونقل التقرير عن Matthew Prince الرئيس التنفيذي لـ Cloudflare قوله إن الشركة تأمل أن تشجع القواعد الزواحف التي تجمع البحث واستخدام الوكلاء والتدريب على فصل تلك الاستخدامات.
وقال التقرير إن التصنيف سلوكي، وليس خانة يختارها مشغل الوكيل في لوحة Cloudflare. وهذا يعني أن وكيل بحث في الوقت الحقيقي يمكن أن يعامل كحركة Agent حتى إذا وصفه مشغله كأداة تصفح أو مراقبة.
Pay Per Use يصبح مسار الوصول
أفاد AI News بأن Cloudflare تنقل Pay Per Crawl نحو Pay Per Use. وسمى التقرير Ceramic.ai كجهة تدفع للناشرين عندما يظهر محتواهم في نتائج بحث الذكاء الاصطناعي، وYou.com كجهة تدفع عندما يصل وكيل إلى محتوى مميز.
قالت Cloudflare إن أكثر من نصف حركة زواحف الذكاء الاصطناعي ينفق على جلب صفحات لم تتغير، وفق AI News. وقدم التقرير نموذج الدفع كطريقة لتسعير الوصول بدلا من الاعتماد فقط على الحظر.
ويواجه الناشرون أيضا مفاضلة ضمن القواعد التي وصفها AI News. وقال التقرير إن حظر حركة Training يمكن أن يؤثر في Googlebot عندما يجمع زاحف واحد بين سلوك البحث والتدريب، بينما يتعين على عملاء الفئة المجانية الذين لا يريدون الإعدادات الجديدة تغيير الإعدادات قبل September 15.
قال AI News إن Search وAgent وTraining تعتمد على سلوك الزاحف المعلن. ولم يحدد التقرير طريقة تحقق محددة أو عملية إنفاذ أو عقوبة تمنع مشغل زاحف من تجنب تصنيف Training عندما يؤدي ذلك التصنيف إلى حظر.
Summary version for Medium
Cloudflare Sets September 15 Permission Rules For AI Agent Crawlers
Why Cloudflare Sets September 15 matter now for cloud infrastructure teams
Quick Summary: AI News reported that Cloudflare will block Agent and Training crawler traffic by default on ad-supported pages from September 15 for several customer groups, while Search remains allowed. The report said enforcement still depends on crawler behaviour labels.
Cloudflare Separates Search, Agent And Training Crawlers
Search covers bots that index pages so a service can answer questions about the page later. Agent covers automated systems that fetch pages in real time for a user, including ChatGPT fetch activity and browser-driving agents.
Ad-Supported Pages Get The Default Block
The report said Cloudflare treats advertising as evidence that a page was built for a human visitor.
- Point 1: The central topic is capital-policy, with the announcement framed around concrete operating detail.
- Point 2: A search crawler can still send a reader back to the site, while an agent can read a page and return an answer without a visit.
The important shift is not the AI label, but the operating boundary it creates for teams.
Pay Per Use Becomes The Access Route
AI News reported that Cloudflare is moving Pay Per Crawl towards Pay Per Use. The report named Ceramic.ai as paying publishers when their content appears in AI search results and You.com as paying when an agent reaches premium content.
Read the Full Deep Dive
Want to explore the complete technical analysis, enterprise trade-offs, and detailed metrics?
Read the full article originally published at SendTech Times
