القاعدة التي تبدو صحيحة

ارمِ عملة مئة مرة. ستحصل على سلسلة من ستّ رميات متطابقة على الأرجح، وسلسلة من سبع ليست مستبعَدة. لو رأيت هذه السلسلة في بيانات شركتك — ستة أشهر متتالية يرتفع فيها مؤشّر، ستّ حالات ينجح فيها نموذج — فستبحث لها عن سبب. وغالباً ستجد واحداً، لأن البحث عن سبب لشيء حدث فعلاً عملية تنجح دائماً.

ما يتقارب فعلاً

الفكرة الشائعة عن العملة هي أن الرميات «تتوازن» على المدى الطويل. هذا صحيح بمعنى واحد فقط، وخاطئ بكل المعاني الأخرى. الذي يتقارب هو النسبة المُشاهَدة: عدد مرّات الصورة مقسوماً على عدد الرميات، يقترب من 0.5. أما احتمال كل رمية فكان 0.5 من البداية ولم يتغيّر، ولا يتغيّر بعد عشر صور متتالية.

والأهم: الفرق المطلق بين عدد الصور وعدد الكتابات لا يتقلّص أبداً. بل يكبر. متوسّطه يقارب 0.8 في الجذر التربيعي لعدد الرميات — أي أن ألف رمية تعطي فرقاً حول 25، ومليون رمية تعطي فرقاً حول 800. كل مرة تضرب عدد الرميات في مئة، يكبر الفرق عشرة أضعاف بينما ينكمش خطأ النسبة عشرة أضعاف. لا شيء «يصحّح» سلسلة سابقة؛ الفجوة تتّسع، ويغرقها مقامٌ أكبر منها.

وهذا الجذر التربيعي ليس صدفة. نظرية الحد المركزي تقول إن عدد الصور بعد عدد كبير من الرميات يتوزّع توزيعاً طبيعياً — منحنى الجرس — حول النصف، بانحرافٍ يتناسب مع جذر العدد. قانون الأعداد الكبيرة يعطيك المركز؛ ونظرية الحد المركزي تعطيك حجم الاهتزاز حوله. الأولى وحدها تُطمئن، والثانية هي التي تقول لك كم يجب أن تكون قليل الثقة.

أين تنهار القاعدة

منحنى الجرس يظهر حين تجمع كثيراً من التأثيرات الصغيرة المستقلّة: أطوال الناس، أخطاء القياس، هامش الخطأ في استطلاع. وهو يغيب — ويغيب بشكل خطر — في أربع حالات. حين تكون الأحداث مترابطة لا مستقلّة: نماذج 2008 افترضت أن تعثّر الرهون مستقلّ، فانهارت كلها معاً. وحين يكون التباين غير منتهٍ، فتزيد العيّنات ولا يتحسّن شيء. وحين يهيمن عنصر واحد على البقيّة. وحين تتضاعف العوامل بدل أن تتجمّع، فيكون التوزيع لوغاريتمياً طبيعياً لا طبيعياً.

ولهذا فإن الثروة وأحجام المدن ومبيعات الكتب وأسعار الأصول لا تُقرأ بمتوسّطاتها. ولهذا أيضاً فإن رقماً مثل «1% من الحالات تحمل 55% من النتيجة» قد يكون صحيحاً في وحدة قياس وخاطئاً تماماً في أخرى — وقد واجهنا هذا حرفياً في سجلّنا: الرقم صحيح بالنسبة المئوية، وخاطئ في الوحدة التي يُمسك بها السجل حساباته. الذيل السمين كان أثراً لوحدة القياس، لا خاصيّةً في النتيجة.

والآن، أنظمة الذكاء الاصطناعي

كل ما سبق ينطبق حرفياً على تقييم الأنظمة التي نبنيها اليوم. نموذج يصنّف مستندات، أو بوابة جودة تحكم على مخرجات، أو نموذج لغوي يُقيَّم بمجموعة اختبارات — كلها تُقاس بعدد محدود من الحالات، وكلها عرضة لأن يبدو أداؤها ممتازاً بالصدفة وحدها. والفرق أن عدد المحاولات هنا أكبر بكثير: تُغيّر الموجّه، وتُغيّر العتبة، وتُعيد التشغيل. ومع ما يكفي من المحاولات، ستجد دائماً إعداداً يبدو ناجحاً.

وأخطر أشكال هذا الفشل ليس أن يخطئ الفحص، بل أن يكون الفحص أعمى ويقول «نجح» على كل شيء. والفحص الذي يُمرّر كل ما يُعرض عليه لا يُميَّز عن فحص يعمل، ما دمت تُريه أعمالاً جيدة فقط. الطريقة الوحيدة لكشفه أن تسأله سؤالاً تعرف إجابته سلفاً: أعطه مادة لا يوجد فيها ما يُكتشف. في دراستنا على سوق الكريبتو لا يُقرأ ناتج نموذج تصنيف قبل أن يُشغَّل النموذج نفسه على تسميات مُبعثَرة عشوائياً؛ فإن وجد «ميزة» في العشوائي، فالمسار معطوب ولا معنى لأي رقم خرج منه.

ثلاثة أشياء تجعل النتيجة قابلة للتصديق

الأول: اكتب ما تتوقّعه قبل أن تُشغّل، ومعه الشرط الذي يُبطله. بلا هذا، أي نتيجة تُفسَّر بعد ظهورها، ولا يوجد نتيجة لا يمكن تفسيرها. والفرضية تُسجَّل زوجاً متعارضاً كلما أمكن، لأن ذراعاً واحدة تبدو جيدة لا يمكن دحضها أصلاً.

الثاني، وهو الأقل شيوعاً والأهم: شغّل النظام على ضجيج. اخلط التسميات، أو أعطه بيانات مبعثرة، وانظر ماذا يقول. مسارٌ يجد ميزة في الضجيج مسارٌ معطوب، ويجب أن يُكتشف قبل أن يكلّف مالاً لا بعده. الفحص الذي لا تعرف ما الذي يُفشِله ليس فحصاً — هو طقس.

الثالث: احجز عيّنة لا تلمسها. لا في التطوير، ولا في الضبط، ولا «نظرة سريعة». كل نظرة تُنفق منها، والعيّنة التي نُظر إليها مرّة صارت جزءاً من التطوير سواء اعترفت بذلك أو لا.

لا شيء في هذه الثلاثة يجعل نظامك أفضل. كلها تجعل ادّعاءك عنه أصدق — وهذا في النهاية هو الفرق الوحيد بين نظام يعمل ونظام يبدو أنه يعمل.