Microsoft تجد أن Sonnet 5 يمكن أن يرفع تكاليف وكلاء الذكاء الاصطناعي

وجد تقييم مطوري Microsoft أن بطاقة أسعار أرخص لنموذج ذكاء اصطناعي يمكن أن تنتج فواتير أعلى للوكلاء عندما يرتفع استهلاك الرموز أثناء مهام البرمجة المؤسسية. قارن الاختبار بين Claude Sonnet 4.6 وClaude Sonnet 5 داخل GitHub Copilot Chat في Visual Studio Code على Windows، باستخدام نتائج Microsoft حول تكلفة ترقية نماذج الذكاء الاصطناعي في أعمال البنية المعمارية وSharePoint Framework.

لم تكن النتيجة قصة ترقية بسيطة. وجدت Microsoft أن Sonnet 5 يملك أسعار رموز معلنة أقل، لكن النموذج استخدم أحيانا رموزا أكثر بكثير لإكمال المطالبات الهندسية نفسها. يمنح التقييم مديري التقنية وفرق أدوات المطورين تحذيرا عمليا: سعر النموذج وحده لا يوضح تكلفة وكيل البرمجة بالذكاء الاصطناعي في الإنتاج.

Microsoft اختبرت 150 مهمة وكلاء عبر 15 سيناريو

قالت Microsoft إن التقييم اختبر 150 مهمة وكلاء عبر 15 سيناريو تقنيا. وقالت الشركة إن المهندسين نفذوا خمس تشغيلات لكل نموذج في كل سيناريو، مع فحص كل تشغيل مقابل بوابة Select وأبعاد جودة سجلها حكم LLM مضبوط للاتساق.

غطى العمل مجموعتين من أعباء العمل. اختبرت Microsoft مهام تصميم بنية Azure المعتمدة بكثافة على وثائق Microsoft Learn، ومهام ترقية SharePoint Framework، بما في ذلك نقل نظام البناء من gulp إلى Heft وتحديث إعداد ESLint قديم إلى إعداد flat config.

قالت Microsoft إنها حسبت التكاليف من بيانات الرموز الفعلية لكل دورة باستخدام أسعار GitHub Copilot. ويعني ذلك أن فواتير وكلاء الذكاء الاصطناعي تنشأ من استهلاك الرموز أثناء التنفيذ، لا من السعر المعلن لكل مليون رمز فقط.

Sonnet 5 امتلك أسعارا أقل لكن تباينا أعلى في الرموز

قالت Microsoft إن Sonnet 5 حصل على خفض بنسبة 33 في المئة عبر فئات الرموز في مقارنة بطاقة الأسعار. وقالت Microsoft إن رموز الإدخال تكلف دولارين لكل مليون في Sonnet 5، مقارنة بثلاثة دولارات في Sonnet 4.6. كما أدرجت الإدخال المخزن مؤقتا عند 0.20 دولار بدلا من 0.30 دولار، ورموز الإخراج عند 10 دولارات لكل مليون بدلا من 15 دولارا؛ وهذه الأسعار المقدمة من البائع ليست معايير أداء مستقلة.

لم تزل تلك الخصومات مخاطر الاستخدام. في 12 سيناريو للبنية المعمارية، قالت Microsoft إن Sonnet 5 استخدم 12 ضعفا من الرموز عند الوسيط مقارنة بـSonnet 4.6. وقالت Microsoft إن تشغيلا واحدا في البنية المعمارية استهلك 47 ضعفا من حجم الرموز الأساسي المعتاد.

أفادت Microsoft بأن Sonnet 5 بلغ متوسطه 0.47 دولار لكل تشغيل في مهام البنية المعمارية، مقارنة بـ0.54 دولار في Sonnet 4.6، لأن خصم السعر كان كافيا لتعويض الرموز الإضافية في ذلك السياق.

لم تتحرك الجودة في الاتجاه نفسه. أفادت Microsoft بأن النموذجين أكملا مهام البنية المعمارية بمعدل نجاح 75 في المئة عند بوابة Select. وأفادت Microsoft بأن Sonnet 4.6 سجل 90 في المئة في بعد جودة Idiomatic عبر السيناريوهات التسعة التي أنتج فيها النموذجان مخرجات قابلة للاستخدام، بينما سجل Sonnet 5 نسبة 78 في المئة.

ترقيات SharePoint جعلت فجوة التكلفة أكبر

أظهرت اختبارات ترقية SharePoint Framework مفاضلة مختلفة. قالت Microsoft إن Sonnet 5 اجتاز بوابة Select في 100 في المئة من تشغيلات SharePoint، مقارنة بنسبة 60 في المئة لـSonnet 4.6. وفي ترقية من SPFx 1.21.1 إلى 1.22.0، قالت Microsoft إن Sonnet 4.6 فشل في المحاولات الخمس كلها لأنه تجاوز التعليمة واعتمد الإصدار 1.22.1 من سياق Microsoft Learn.

حمل تحسن الالتزام بالتعليمات تكلفة تنفيذ أعلى. أفادت Microsoft بأن استهلاك الرموز وصل إلى عامل 10 عبر 15 تشغيلا لترقية الكود لكل نموذج. وأفادت Microsoft بأن Sonnet 5 كلف 2.01 دولار لكل تشغيل في مهام الترقية، أي 3.7 مرة من التكلفة الوسيطة البالغة 0.55 دولار لـSonnet 4.6.

سجل التقييم أيضا حالة شاذة حادة. قالت Microsoft إن تشغيلا واحدا لـSonnet 5 استهلك 69 مليون رمز أثناء استخدام جلب واسع من الويب للعثور على خطوات ترحيل غير موثقة. ولبى التشغيل نفسه 21 من أصل 30 معيارا صارما للتقييم، لكن Microsoft قالت إن أربع تشغيلات من أصل خمس في كل سيناريو لم تصل إلى ذلك العمق.

ترك اختبار Microsoft أيضا قيدا صعبا على النموذجين. بقيت صحة الإعداد عند صفر في المئة عبر جميع سيناريوهات SharePoint Framework، ولم يكمل أي من النموذجين ترحيلات سلسلة الأدوات الهيكلية التي تشمل gulp أو Heft أو ESLint.

المؤسسات لا تزال تفتقر إلى دليل تكلفة يمكن توقعه لوكلاء الذكاء الاصطناعي

تشير النتائج إلى مشكلة مشتريات للشركات التي تعتمد وكلاء برمجة بالذكاء الاصطناعي. يمكن أن يكون النموذج أرخص لكل رمز، وأقوى في اتباع التعليمات، ومع ذلك أقل قابلية للتنبؤ في التكلفة التشغيلية الحقيقية. صاغت Microsoft المسألة من خلال تشغيلات وكلاء فعلية بدلا من درجات معيارية ثابتة، مما يجعل التقييم مفيدا للفرق التي تقارن ترقيات النماذج داخل أدوات المطورين.

لم يتضمن الاختبار المعلن بيانات نشر لدى العملاء، أو فواتير إنتاج مدققة، أو إرشادات معالجة لارتفاع الرموز، أو ضمانا بأن النتائج نفسها ستنطبق خارج إعداد GitHub Copilot وVisual Studio Code وWindows المختبر.