النموذج الذي يبدو صحيحًا على الورق ويخطئ في الاستخدام اليومي تعلّم في الغالب من وقائع لم يكن ممكنًا معرفتها في حينها.
نتائج الاختبار قوية، وأحيانًا على نحو مفاجئ. والنتائج في الاستخدام اليومي أضعف بوضوح، وإعادة التدريب لا تسد الفجوة. وكثيرًا ما يكون العملاء في أعلى القائمة قد بدأوا المغادرة أو التأخر في السداد قبل أن يتمكن أحد من التصرف. فتتوقف الفرق عن الثقة بالقائمة وتختار بنفسها من تتواصل معه، فيفقد النموذج التغذية الراجعة التي يحتاجها.
يسمي الباحثون ذلك تسرّب المعلومات: وصول معلومات عن النتيجة إلى النموذج عبر مدخلات ما كان ينبغي أن تتوفر له أصلًا. ويشير Kaufman وزملاؤه (2012)، نقلًا عن ممارسين سبقوهم، إلى أن النتائج التي تبدو أفضل من أن تكون حقيقية من أوضح علاماته.
الوقائع الأكثر دلالة على العميل تصل غالبًا بعد القرار. فطلب الاسترداد يُقدَّم بعد أسابيع من الدفعة. والشكوى أو ملاحظة التحصيل أو مراجعة الحساب تأتي عادة بعد قسط فائت. ومستودع البيانات يضم كل ذلك اليوم، والنموذج المدرَّب على مستودع اليوم يتعلم منه.
بعض حالات التسرب واضحة بمجرد تسميتها. يصف Kaufman وزملاؤه نموذجًا لتوقع فقدان العملاء استخدم اسم عضو الفريق الذي تحدث آخر مرة مع كل عميل. بدا الحقل غير مؤذٍ إلى أن تبيّن أن مندوب مبيعات بعينه كان يتولى العملاء الذين أعلنوا بالفعل أنهم سيغادرون. وحالات تسرب أخرى أخفى، مثل رصيد أو مؤشر مخاطر تُكتب قيمته الجديدة فوق القديمة، فتعكس القيمة المخزنة الأسبوع الماضي لا يوم القرار.
ووجد Kapoor و Narayanan (2023) حالات تسرب مُبلغًا عنها في 17 مجالًا من البحث المنشور، أثّرت في 294 ورقة، ويذكران البيانات الآتية من المستقبل بين أسبابه.
العلاج قاعدة صارمة بشأن الزمن. فلكل قرار سابق، يُعاد بناء كل مدخل كما كان في تلك اللحظة لا بعدها. فعدد الشكاوى يعني الشكاوى المسجلة في تلك اللحظة. والرصيد يعني الرصيد آنذاك. والأمر نفسه ينطبق على قوائم المراقبة، وسجل الأجهزة، ونتائج مكاتب الائتمان، وأي إجابة من خدمة خارجية.
وعمليًا يعني ذلك وضع طابع زمني على كل حدث وكل تغيير في السجل، بدلًا من تحديث السجلات في مكانها. ويسمي Kaufman وزملاؤه ذلك الفصل بين التعلم والتوقع: ضع على كل ملاحظة وسم الوقت الذي أصبحت فيه معروفة، ثم اقطع البيانات عند نقطة زمنية بحيث لا يستخدم التدريب إلا ما سبقها. وحيث كُتب فوق السجل التاريخي، سجّل ذلك واستبعد تلك المدخلات إلى أن يمكن إعادة بنائها.
أرشف المدخلات التي استخدمها كل قرار فعلي كما وصلت تمامًا، وقارنها بنسختك المعاد بناؤها للقرارات نفسها، عمودًا بعمود. وحيث تختلف، سجّل السبب، مثل ملف متأخر، أو تعريف تغيّر، أو منطقة زمنية، أو استعلام خارجي أجاب على نحو مختلف في ذلك اليوم. وتعامل مع أي اختلاف غير مفسَّر على أنه تسرّب إلى أن تثبت العكس.
تظل بلاغات الاحتيال وطلبات الاسترداد تصل لأسابيع بعد الدفعة، والقرض الذي سيتعثر قد يبدو سليمًا لأشهر. لذا تبدو الفترات الأخيرة أنظف مما ستكون عليه في النهاية. قارن النماذج والفترات فقط على العملاء الذين أُتيح لهم الوقت نفسه لوصول النتائج، وتعامل مع أحدث النتائج على أنها مؤقتة.
يعطي النموذج التنبؤي رقمًا يمكن التحقق منه. خذ كل المتقدمين الذين قدّر النموذج أن 7 من كل 100 منهم سيتعثرون في السداد: ينبغي أن يتعثر نحو 7 من كل 100 منهم فعلًا. وإذا تعثر 12، فالنموذج مخطئ، وأنت تعرف بأي قدر. أجرِ هذا التحقق لكل شريحة درجات ولكل مجموعة عملاء رئيسية.
اختبر على فترات لاحقة، ولا تختبر أبدًا على عينة عشوائية من الفترة نفسها. درّب على مدة زمنية، واختبر على الأشهر التي تليها، وكرر ذلك مع تقدم النافذة. فالتقسيم العشوائي يعرض على النموذج العملاء والظروف أنفسهم في التدريب والاختبار، مما يخفي المشكلة الموصوفة هنا.
ويتوقع المشرفون على البنوك الأمريكية الأمر نفسه. فإرشاداتهم بشأن مخاطر النماذج، المعدّلة في أبريل 2026 بوصفها SR 26-2، تصف تحليل النتائج بأنه مقارنة مخرجات النموذج بالنتائج الفعلية، بما في ذلك الاختبار الرجعي، وتقول إن إعادة المعايرة أو إعادة التطوير قد تكون مبررة حين تقع النتائج خارج الحدود المتفق عليها.
يتعلم نموذج الائتمان عن السداد من القروض التي مُنحت فقط، ويتعلم نموذج الاحتيال أساسًا من الدفعات التي مرت. أما العملاء المرفوضون فلا ينتجون أي نتيجة، فقد يرسّخ النموذج قرارات الأمس. ويبلغ الخطر ذروته حين تدخل جهة إقراض شريحة جديدة كانت قراراتها السابقة فيها حذرة، مثل المقترضين لأول مرة أو المقيمين الجدد في البلد، وهي حالة شائعة لدى جهات الإقراض في الخليج.
ثمة ممارستان تساعدان. أبقِ مجموعة ضابطة صغيرة على الإجراء السابق، كي يمكن قياس الأثر الحقيقي للنموذج. ثم وافق على نسبة صغيرة ومضبوطة من الحالات التي كان النموذج سيرفضها، ضمن حدود تقبّل المخاطر، كي يظل يتعلم عن عملاء ما كان ليراهم لولا ذلك. ويمكن لأساليب الاستدلال على المرفوضين أن تضيف إلى ذلك، لكنها لا تحل محل النتائج الحقيقية.
لكل مدخل في النموذج، متى عرفنا قيمته، وهل نستطيع إثبات ذلك؟
هل نؤرشف ما رآه كل قرار فعلي، ومتى قارنّاه آخر مرة ببيانات التدريب؟
هل اختُبر النموذج على فترة لاحقة، وكم من الوقت أُتيح لنتائج تلك الفترة كي تصل؟
في كل شريحة درجات، ما مدى قرب المعدل المتوقع مما حدث فعلًا؟
ماذا نعرف عن العملاء الذين رفضناهم، وكيف يتعلم النموذج عنهم؟
اختر النموذج الذي تعتمد عليه فرقك أكثر من غيره، وأجرِ عليه فحصين هذا الشهر: المعدلات المتوقعة مقابل الفعلية حسب الشريحة في أحدث فترة اكتملت نتائجها، وعينة من المدخلات المعاد بناؤها مقابل تلك التي سجلها النظام الفعلي. ويُظهر الفحصان معًا إن كانت المعرفة بأثر رجعي قد تسللت إلى البيانات، وأين تبحث أولًا.
تتعلم Mantika Tessera تاريخ كل عميل بترتيبه، أولًا بأول.
رُصد تسرّب المعلومات في 17 مجالًا، وأثّر في 294 ورقة، ومنه التسرب الزمني الذي تستخدم فيه النماذج بيانات من المستقبل.
تعريف تسرّب المعلومات، ومثال نموذج فقدان العملاء، والفصل بين التعلم والتوقع. ونُشرت نسخة سابقة في مؤتمر KDD 2011.
تحليل النتائج، والاختبار الرجعي، والمراقبة المستمرة. تحل محل SR 11-7 (2011).
