حوّل باب خلفي أُدخل في نموذج ذكاء اصطناعي مفتوح الأوزان بتكلفة تقل عن $100 مصدر النموذج إلى سؤال أمني في سلسلة التوريد للشركات التي تختبر أنظمة ذكاء اصطناعي محلية. وذكرت The Register أن Katie Paxton-Fear، وهي محاضرة في الأمن السيبراني بجامعة Manchester Metropolitan University ومدافعة أمنية في Semgrep، أنجزت التجربة خلال نحو ساعة.

عشرة أمثلة تدريبية أنتجت شيفرة قابلة للاستغلال

بدأ اختبار Paxton-Fear بضبط دقيق دفع النموذج إلى تغيير مخرجات JavaScript من camelCase إلى snake_case حتى عندما طلبت التعليمات استخدام camelCase. ثم انتقلت لاحقا إلى اختبار باب خلفي.

ووفقا لـ The Register، قالت Paxton-Fear إن عشرة أمثلة تدريبية كانت كافية لجعل مخرجات الشيفرة من النموذج قابلة بشكل موثوق للاستغلال عبر تنفيذ أوامر عن بعد، بما في ذلك مطالبات ومجالات لم تكن جزءا من الأمثلة الأصلية. وقال الحساب نفسه إن النماذج الأكبر كانت أسهل في التسميم.

منشور Semgrep وصف فجوة في الرصد

كتب Paxton-Fear وزميلاها في Semgrep، Isaac Evans وCris Thomas، الأسبوع الماضي أن أوزان النماذج العامة لا تمنح المستخدمين مستوى الرؤية السلوكية نفسه المتوقع من البرمجيات التقليدية. وقال منشورهم إن البرمجيات الثنائية يمكن فحصها بأدوات الهندسة العكسية، بينما لا يمكن بعد توقع سلوك النماذج بدرجة مماثلة من الاكتمال.

عرض الباحثون المشكلة بوصفها فجوة في الرصد. وكتبوا أن تبعية برمجية تحتوي على شيفرة خبيثة يمكن اكتشافها وتتبع مصدرها وتقليل أثرها عبر ممارسات ناضجة، لكن النموذج المتلاعب به قد يؤثر في القرارات من دون أن يتعطل بشكل واضح.

تجربة Origin استخدمت سيناريو لاكتشاف الأدوية

استشهدت The Register أيضا بتجربة منفصلة أجراها David Kaplan، رئيس أبحاث أمن الذكاء الاصطناعي في Origin، حيث أنشأ نموذجا مخترقا مصمما لسرقة البيانات. وفي المثال الذي وصفه Kaplan، يستطيع نموذج مستخدم في سياق اكتشاف الأدوية تسريب البيانات عبر استدعاء أداة send_email من دون تنبيه المستخدم.

قارن Kaplan الحالة بنموذج أمان الوكلاء المعروف باسم lethal trifecta، الذي يجمع بين بيانات خاصة ومدخلات غير موثوقة ومسار خروج. وقال حسابه إن تسميم النماذج يغير هذا الحد لأن العنصر غير الموثوق يمكن أن يكون داخل الأوزان قبل أن يتلقى النظام أي مطالبة.

تسميم النماذج المفتوحة الأوزان لا يزال يفتقر إلى أدلة حوادث

حذر باحثون أكاديميون من تخريب النماذج منذ عدة سنوات، وقالت The Register إن اهتمام مجتمع الأمن ازداد مع بدء ظهور هجمات على سلسلة توريد الذكاء الاصطناعي. كما تجاوز تشغيل النماذج المفتوحة الأوزان على العتاد المحلي مرحلة التجريب، ما يزيد عدد المؤسسات التي قد تعتمد على أوزان لا تستطيع فحصها بالكامل.

ولا تزال الأمثلة العامة التي أوردها التقرير لا تحدد نموذجا مفتوح الأوزان مسموما ومنتشرا على نطاق واسع، أو عملاء متأثرين، أو حجم حوادث مقاسا، أو اختبارا معياريا لاكتشاف هذا النوع من الأبواب الخلفية.