منظومة مراقبة الذكاء الاصطناعي خلف كل نظام نبنيه
«إنه يعمل» ليس مقياساً. نراقب كل وكيل ننشره من حيث الدقة والتكلفة والانحراف، ونرسل تقريراً شهرياً يوضح بالضبط ما يفعله وما قيمته، لا مجرد فاتورة تطلب منكم الثقة بنا.
مؤشرات نتتبعها في كل وكيل: الدقة، والتكلفة، وزمن الاستجابة، والرضا، والانحراف
وتيرة التقارير، لتروا الاتجاه لا لقطة واحدة فقط
فريق واحد بنى الوكيل ويراقبه، دون تسليمه لطرف غريب
لماذا «إنه يعمل» لا يكفي للعمل
معظم موردي الذكاء الاصطناعي يسلمونكم بيانات الدخول ويختفون. ينطلق الوكيل، ويختبره أحدهم بضع مرات، فيبدو جيداً، وتلك آخر مرة يراجعه أحد حتى يشتكي عميل. تصبح «إنه يعمل» شعوراً لا حقيقة، قائماً على غياب الشكاوى لا على أي قياس فعلي لما يفعله الوكيل عبر مئات المحادثات التي لم يقرأها أحد.
هذه الفجوة هي حيث تتسرب معظم قيمة نظام الذكاء الاصطناعي بهدوء. وكيل بدقة ٩٥٪ يبدو جيداً حتى تدركوا أي ٥٪ يخطئ فيها. فإذا كان سؤال تسعير أو سياسة استرداد ضمن تلك الـ ٥٪، فتكلفة عدم المعرفة أعلى بكثير من تكلفة الاكتشاف. ودون مراقبة حقيقية، لا تختارون أي الأخطاء مهمة، بل تكتشفونها في النهاية، عادةً من شخص غير راضٍ.
بنينا منظومة المراقبة لأننا سئمنا من سؤال العملاء «هل يعمل فعلاً؟» دون إجابة واثقة سوى «لم يشتكِ أحد». كل وكيل ننشره يقدم تقريراً: ما تولاه، وما كلفه، وما أصاب فيه، وما أخطأ فيه، فيكون للسؤال إجابة حقيقية كل شهر، لا هزة كتف.
ما نراقبه
خمسة مؤشرات، تُفحص وفق جدول محدد، لا حين يتذكر أحدهم النظر.
الدقة ومعدل التصعيد
عينة من المحادثات الحقيقية تُراجع مقابل إجابات صحيحة معروفة، إضافة إلى عدد مرات تحويل الوكيل إلى شخص. ارتفاع معدل التصعيد عادةً أول علامة على أن شيئاً في معرفة الوكيل أو منطقه قد تقادم.
التكلفة لكل محادثة أو مهمة
إنفاق الرموز وتكلفة الواجهات البرمجية مفصلة لكل تفاعل، ومتتبعة عبر الزمن، فيظهر التوجيه المتضخم أو استدعاء الأداة الزائد كرقم محدد قابل للإصلاح بدلاً من بند غامض في فاتورة الشهر القادم.
زمن الاستجابة ووقت التشغيل
كم يستغرق الوكيل للرد، وهل يمكن الوصول إليه أصلاً. الوكيل البطيء يخسر العملاء بنفس فعالية الوكيل المخطئ، والتكامل الذي ينقطع بصمت يبقي الوكيل يتحدث وهو معطل فعلاً.
مؤشرات الرضا
حيث توجد: تقييمات الإعجاب وعدمه، والأسئلة المتكررة، والمحادثات التي تنتهي بإحباط أو انسحاب، تُقرأ كإشارة، لا كرقم في جدول بيانات لا يفتحه أحد.
الانحراف عبر الزمن
دقة هذا الشهر مقارنة بدقة شهر الإطلاق، على نفس مجموعة الاختبار. الانحراف بطيء وهادئ بطبيعته، والطريقة الوحيدة لالتقاطه مبكراً هي الاستمرار في قياس نفس الشيء بنفس الطريقة كل شهر.
مشمول بضمان الاسترداد ١٠٠٪
المراقبة مدمجة في كل نظام ننشره، لا تُباع كإضافة منفصلة بعد أن يكون شيء قد تعطل.
التقرير الشهري للعائد
ما يصل فعلاً إلى بريدكم مرة كل شهر، سواء حدث خطأ أم لا.
الحجم والنتائج
كم محادثة تولاها الوكيل، وكم منها حلها دون شخص، وكم صعّدها بشكل صحيح، لتروا ما يرفعه فعلاً عن كاهل فريقكم ذلك الشهر.
اتجاه التكلفة والدقة
تكلفة المحادثة ودرجة الدقة، مقارنة بالشهر الماضي، فيظهر الانحراف البطيء في أي اتجاه قبل أن يصبح مشكلة تسمعون بها من عميل بدلاً من تقرير.
ما غيرناه، ولماذا
الإصلاحات المحددة التي أُجريت ذلك الشهر، مثل تحديث توجيه، أو إضافة سؤال شائع جديد، أو إصلاح تكامل معطل، مربوطة بالمشكلة المحددة التي استدعت كلاً منها. لا «كل شيء جيد» عامة، بل قائمة فعلية.
التقاط الأعطال قبل أن يلاحظها عملاؤكم
تنبيهات وعتبات تُحدد قبل الإطلاق، لا تُرتجل بعد أول شكوى.
عتبات تُحدد معكم، لا نيابة عنكم
قبل إطلاق الوكيل، نتفق على ما يُعد عاجلاً لعملكم تحديداً: التوقف عاجل دائماً، والإجابة الخاطئة عن سؤال تسعير عاجلة، والرد الأبطأ قليلاً على سؤال شائع قليل الأهمية ليس عاجلاً عادةً. العتبات العامة تفوّت الأعطال التي تهمكم فعلاً.
استجابة محددة، لا تخبط
لكل تنبيه مسؤول وزمن استجابة محددان مسبقاً، فحين يتجاوز شيء عتبة ما، تكون هناك خطة جاهزة بدلاً من مجموعة محادثة تحاول معرفة من يُفترض أن ينظر في الأمر.
ما يتضمنه عقد الصيانة
المراقبة جزء من عقد صيانة أوسع يشمل أيضاً إصلاح الأخطاء، وضبط التوجيهات، وتحديثات النماذج، والدعم ذي الأولوية، وكلها يتولاها نفس الفريق الذي بنى الوكيل أصلاً. وإذا أردتم التفصيل الكامل لما هو مشمول وما ليس مشمولاً وتكلفة كل مستوى، فستجدونه في صفحة الصيانة.
شاهدوا ما يتضمنه عقد الصيانة الحقيقي ←الأدوات والتقنيات التي نستخدمها
طبقة المراقبة تعمل بجانب أي منصة يعمل عليها الوكيل نفسه، بأدوات تسجيل وتقييم وتنبيه تناسب حجم النظام ومستوى مخاطره، من تسجيل خفيف لروبوت واتساب واحد إلى مسار تقييم كامل لنظام متعدد الوكلاء يتعامل مع المدفوعات أو استقبال المرضى. نختار الأدوات لتناسب ما يفعله الوكيل فعلاً، لا العكس.
أسئلة حول مراقبة وكلاء الذكاء الاصطناعي
جولة مجانية
شاهدوا نموذجاً لتقرير المراقبة
سنستعرض معكم تقريراً شهرياً حقيقياً (مع حجب البيانات) لتروا بالضبط ما تنتجه المراقبة فعلاً قبل أن تقرروا إن كانت تستحق الدفع.
مكالمة ٣٠ دقيقة · دون ضغط بيعي