اختبار وكيل الذكاء الاصطناعي ليس اختبار برمجيات وليس اختبار نموذج. الوكيل يشغّل مسارًا يتغيّر من تشغيل إلى آخر، ولذلك فالمقياس الوحيد ذو الصلة هو التوزيع: المهمة نفسها، الظروف نفسها، عشرون تشغيلًا — كم منها انتهى صحيحًا. والحساب بسيط وقاسٍ: الوكيل الذي يصيب بنسبة 95% في كل خطوة سينهي بشكل صحيح 60% فقط من مهام مؤلّفة من عشر خطوات. ومنظومة evals العاملة تتألّف من أربعة أجزاء: مجموعة حالات من العالم الحقيقي، وقياس على أربعة مستويات، واختبار انحدار عند كل تغيير، ومراقبة في الإنتاج.
لماذا لا تصلح اختبارات البرمجيات المعتادة هنا
في البرمجيات العادية يفترض الاختبار الحتمية: المدخل نفسه ينتج المخرج نفسه، ولذلك تكفي تغطية المسارات. وفي الوكيل لا يتحقّق هذا الافتراض. فالمدخل نفسه قد ينتج مسارًا آخر، وترتيب أدوات آخر، ونتيجة أخرى — لا بسبب خلل بل بسبب طريقة عمل النموذج.
ولذلك يتغيّر سؤال الاختبار. فبدل «نجح أم أخفق»، السؤال هو: بأي تواتر ينجح، وكم يبعد أسوأ إخفاق عن المتوسّط. والفرق التي تحترق هي تلك التي رأت عرضًا ناجحًا، فاستنتجت أن المنظومة تعمل، ثم اكتشفت في الإنتاج أن العرض كان أفضل تشغيل من خمسة.
مقياس النجاح الشائع في الصناعة يفحص نجاحًا واحدًا في ظروف مثالية. أما في الإنتاج فالحاسم هو الثبات — المهمة نفسها، تشغيلات كثيرة. والفجوة بين الرقمين هي الفجوة بين عرض ومنظومة.
الحساب الذي يفسّر كل شيء تقريبًا
ينفّذ الوكيل المهمة كسلسلة خطوات. وإن كانت كل خطوة مستقلة، فمعدّل نجاح المهمة هو حاصل ضرب الاحتمالات. يبدو ذلك بديهيًا حتى نضع أرقامًا.
| الدقة للخطوة الواحدة | مهمة من 5 خطوات | 10 خطوات | 20 خطوة |
|---|---|---|---|
| 90% | 59% | 35% | 12% |
| 95% | 77% | 60% | 36% |
| 98% | 90% | 82% | 67% |
| 99% | 95% | 90% | 82% |
ومن هنا تنبثق نتيجتان تشغيليتان. الأولى: تقصير المهمة يساوي أكثر من تحسين النموذج. فالانتقال من عشرين خطوة إلى عشر بدقة 95% يضاعف معدّل النجاح من 36% إلى 60%. والثانية: في السلاسل الطويلة تلزم دقة للخطوة يصعب جدًا بلوغها، ولذلك تستوجب المهام الطويلة نقاط توقّف وتحقّق في المنتصف لا حلقة واحدة متّصلة.
وهذا أيضًا سبب إخفاق المهام البالغة الطول في معظم الحالات حتى مع أفضل النماذج. والتفكيك إلى مهام فرعية مع تحقّق بيني ليس تسوية هندسية — بل السبيل الوحيد الذي تتيحه الرياضيات.
كيف تُبنى مجموعة اختبارات تعلّم شيئًا فعلًا
مجموعة الاختبارات التي يكتبها من بنى الوكيل ستخفق في الإنتاج، لأنها تعكس ما تخيّله المطوّر. والمجموعة الصحيحة تأتي من ثلاثة مصادر.
| نوع الحالة | من أين تُؤخذ | كم |
|---|---|---|
| مسار سليم | آخر عشرين طلبًا عولجت يدويًا | نحو 40% من المجموعة |
| حواف حقيقية | شكاوى، ومرتجعات، وحالات استوجبت تصعيدًا | نحو 40% من المجموعة |
| حالات عدائية | محاولات حقن، ومدخل ناقص، وتناقضات، وطلبات خارج النطاق | نحو 20% من المجموعة |
ولكل حالة يجب أن يُعرَّف مسبقًا ما يُعدّ نجاحًا. لا درجة ذاتية بل شرط قابل للفحص: الحقل حُدِّث إلى القيمة الصحيحة، والبريد أُرسل إلى العنوان الصحيح، والمبلغ مطابق للحساب اليدوي، أو الوكيل رفض التنفيذ وصعّد. والحالة بلا شرط نجاح ليست حالة اختبار، بل انطباع.
حجم ابتدائي معقول: 40 إلى 80 حالة، وكل حالة تُشغَّل خمس إلى عشر مرات. يبدو ذلك كثيرًا، لكنه تشغيل من دقائق معدودة وكلفة بضعة دولارات — مقابل عميل واحد تلقّى إجابة خاطئة.
أربعة مستويات للقياس
قياس النتيجة وحدها يُخفي السبب. والمنظومة المفيدة تقيس على أربعة مستويات بالتوازي.
| المستوى | ما يُقاس | ما يكشفه |
|---|---|---|
| النتيجة | هل تحقّق شرط النجاح | هل تفي المنظومة بالعتبة التجارية |
| المسار | ترتيب الأدوات المختارة وعدد الخطوات | أين يبدأ الوكيل بالانحراف، قبل أن تنكسر النتيجة |
| الأداة | نسبة الاستدعاءات بوسيط خاطئ أو أداة غير مناسبة | أي أوصاف أدوات تحتاج تصحيحًا |
| الكلفة | الرموز والاستدعاءات والزمن لكل مهمة | هل الحل اقتصادي على نطاق |
مستوى المسار هو الأهم للتنقيح. فخطأ الوكيل يُكتشف عادةً بعيدًا عن موضع نشأته، ولذلك يستحيل بلا سجلّ كامل لكل استدعاء ونتيجة العثور على الخطوة التي بدأت الانحراف. والخلفية البنيوية لذلك مشروحة في تشريح وكيل الذكاء الاصطناعي في المؤسسة.
الانحدار: ما الذي يكسر وكيلًا دون أن تمسّوه
الوكيل من المنظومات القليلة التي يمكن أن تنكسر بينما لم يغيّر أحد فيها سطرًا. وثلاثة أسباب رئيسية لذلك.
- تحديث النموذج. يحدّث المزوّد إصدارًا فيتغيّر السلوك — غالبًا إلى الأفضل في المتوسّط وإلى الأسوأ في حالات بعينها كانت معايَرة على الإصدار السابق. ولذلك تستوجب كل ترقية نموذج تشغيلًا كاملًا للمجموعة قبل الانتقال.
- تغيير في مخطّط أداة. حقل أُضيف، أو اسم تغيّر، أو قيمة افتراضية جديدة. لن ينهار الوكيل؛ بل سيواصل استدعاء الأداة بالصورة التي كانت صحيحة أمس.
- انجراف البيانات. يتغيّر شكل الطلبات مع الوقت، وتدخل منتجات جديدة، وتتبدّل صياغات العملاء. ومجموعة اختبارات عمرها سنة تفحص عالمًا لم يعد قائمًا.
قاعدة عمل بسيطة: تُشغَّل المجموعة تلقائيًا عند كل تغيير في الموجّه أو الأدوات أو النموذج، وتُحدَّث كل ربع سنة من حركة حقيقية.
المراقبة في الإنتاج — الشيء الوحيد الذي يقيس الحقيقة
المجموعة تقيس ما ظننتم أنه يستحق الفحص. والإنتاج يقيس ما يحدث فعلًا. وأربعة مؤشّرات تكفي لالتقاط كل مشكلة تقريبًا في وقتها.
- معدّل الإنجاز. نسبة المهام التي انتهت بلا تدخّل بشري وبلا إخفاق.
- معدّل التصعيد. كم مرة توقّف الوكيل وطلب إنسانًا. الارتفاع المفاجئ يشير إلى تغيّر في المدخل، والانخفاض المفاجئ يشير إلى ثقة مفرطة.
- معدّل التصحيح. بأي تواتر غيّر إنسانٌ ما اقترحه الوكيل. وهذا أقرب المؤشّرات إلى الجودة الحقيقية.
- الكلفة لكل مهمة ناجحة. لا الكلفة لكل استدعاء. فالمهام التي تخفق وتُعاد هي الكلفة الحقيقية — والجانب المالي مفصَّل في دليل خفض تكلفة الاستدلال.
معدّل التصحيح هو أيضًا أوضح علامة على ما إذا كانت نقطة الموافقة في موضعها الصحيح. فإن كان أحد لا يصحّح تقريبًا، فقد صارت الموافقة توقيعًا آليًا — وهو موضوع مفصَّل في دليل الإنسان في الحلقة.
قائمة تحقّق قبل أن يمسّ الوكيل عميلًا
- لكل حالة في المجموعة شرط نجاح لا لبس فيه كُتب قبل التشغيل.
- كل حالة تُشغَّل خمس مرات على الأقل، والمؤشّر المُبلَّغ عنه هو الثبات لا أفضل تشغيل.
- تتضمّن المجموعة حالات عدائية، ومنها محاولة حقن عبر كل قناة مدخل — انظروا دليل الأذونات.
- يوجد سجلّ كامل لاستدعاءات الأدوات ونتائجها لكل تشغيل، محفوظ وقابل للبحث.
- عُرّفت عتبة تجارية رقمية للإطلاق، لا إحساس بأنه «جيد بما يكفي».
- عُرّف سيناريو تراجع: ماذا يحدث حين يخفق الوكيل، ومن يتسلّم المهمة.
ما هي evals لوكيل الذكاء الاصطناعي؟
منظومة اختبارات تقيس سلوك الوكيل على مجموعة حالات معرَّفة مسبقًا، كل حالة عبر تشغيلات متعدّدة، وتُبلّغ عن توزيع النتائج لا عن نجاح مفرد. وتشمل قياس النتيجة والمسار واستخدام الأدوات والكلفة.
كم حالة اختبار يلزم؟
مجموعة ابتدائية من 40 إلى 80 حالة تغطّي معظم سلوك وكيل ذي مهمة واحدة، شرط أن تُقسَّم بين مسار سليم وحواف حقيقية وحالات عدائية. والأهم من عدد الحالات هو عدد التشغيلات لكل حالة، وينبغي ألّا يقلّ عن خمسة.
لماذا يخفق في الإنتاج وكيلٌ نجح في العرض؟
لأن العرض قاس تشغيلًا واحدًا في ظروف مريحة. وفي الإنتاج تكون المهمة أطول، والمدخل أكثر اتساخًا، والأخطاء تتراكم عبر الخطوات. والوكيل بدقة 95% للخطوة ينهي بشكل صحيح نحو 60% فقط من مهام من عشر خطوات.
هل يمكن استخدام نموذج للحكم على الوكيل؟
يمكن، لكن كطبقة مكمّلة فقط. الحكم الآلي يناسب مؤشّرات نوعية كالنبرة أو اكتمال الإجابة، لا شروط نجاح قابلة للفحص الحتمي. وكل حالة يمكن فحصها بمقارنة قيم ينبغي فحصها هكذا.
متى تُشغَّل مجموعة الاختبارات؟
عند كل تغيير في الموجّه أو الأدوات أو إصدار النموذج، وكذلك في تحديث دوري للمجموعة من حركة حقيقية. فالوكيل قد ينكسر حتى دون أن يُمسّ، خصوصًا في أعقاب تحديث نموذج أو تغيير في مخطّط أداة.