مراقبة ما بعد نشر الذكاء الاصطناعي: التحديات الناشئة في الإشراف والتقييم والمساءلة

نور سيف فارس المزروعي*

على مدى معظم العقد الماضي، ركزت نقاشات حوكمة الذكاء الاصطناعي على ما يحدث قبل وصول النظام إلى الجمهور، مثل كيفية تصميمه، والبيانات التي تم تدريبه عليها، وما إذا كان قد اجتاز اختبارات ما قبل النشر، وما إذا كان يفي بالمتطلبات التنظيمية أو الأخلاقية ذات الصلة. وتفترض هذه المخاوف المشروعة أن النظام الذي يعمل بشكل مقبول في ظروف خاضعة للرقابة سيستمر في التصرف بالطريقة نفسها عند تشغيله في العالم الواقعي.

لكن هذا الافتراض لم يعد صامدًا. فالأنظمة القائمة على نماذج اللغة الكبيرة أو هياكل التعلم الآلي التكيفية لا تتصرف ككيانات ثابتة؛ إذ تتفاعل مع مستخدمين تتغير احتياجاتهم وسلوكياتهم بمرور الوقت، وتُدمج في سير عمل مؤسسات لم تُصمَّم أساسًا لاستيعابها، كما تتلقى تحديثات وضبطًا دقيقًا وتغييرات في الإعدادات قد تؤثر في سلوكها بطرق غير مرئية فورًا للجهات التي تنشرها. وتعمل هذه الأنظمة عبر قطاعات متعددة مثل الرعاية الصحية والتمويل والعدالة الجنائية والإدارة العامة، حيث يمكن أن يؤدي تراجع الأداء أو تحيزه إلى أضرار بشرية مباشرة.

وقد سلطت الفترة 2025–2026 الضوء بشكل أكبر على هذه الإشكالية. فقد خصّص قانون الذكاء الاصطناعي للاتحاد الأوروبي فصلًا كاملًا لمراقبة ما بعد التسويق، والإبلاغ عن الحوادث الخطيرة، ومراقبة السوق، ما يعني قانونيًا أن الحوكمة لا تنتهي عند نقطة النشر. وبالمثل، يعتبر إطار إدارة مخاطر الذكاء الاصطناعي الصادر عن المعهد الوطني الأمريكي للمعايير والتكنولوجيا وملفه الخاص بالذكاء الاصطناعي التوليدي لعام 2024 أن المراقبة بعد النشر عنصرًا أساسيًا في الإدارة المسؤولة للذكاء الاصطناعي. كما تعمل منظمة التعاون الاقتصادي والتنمية، من خلال مرصد حوادث الذكاء الاصطناعي وورقتها الصادرة في فبراير 2025 حول أطر الإبلاغ المشتركة، على بناء بنية مفاهيمية ومؤسسية لتتبع ما قد يخطئ في تطبيقات الذكاء الاصطناعي عمليًا.

تشير هذه الأطر مجتمعة إلى أن مجتمع الحوكمة بدأ يدرك أن مخاطر أنظمة الذكاء الاصطناعي غالبًا ما تظهر فقط بعد النشر. فاختبارات ما قبل النشر يمكنها فقط تحديد أنماط الفشل المعروفة، لكنها لا تستطيع التنبؤ بجميع السياقات التي سيُستخدم فيها النظام، ولا بكل الفئات التي سيتأثر بها، ولا بجميع التغيرات البيئية. ومن هنا، فإن المراقبة بعد النشر هي المجال الذي ستتحقق فيه طموحات الحوكمة أو تتلاشى بصمت.

تتناول هذه الدراسة ثلاثة أبعاد لهذا التحدي، وهي الإشراف، أي الآليات التي يتم من خلالها متابعة أنظمة الذكاء الاصطناعي بعد تشغيلها، والتقييم، أي الأساليب والمعايير المستخدمة لقياس سلامة وعدالة وموثوقية الأنظمة بعد نشرها، والمساءلة، أي الأطر القانونية والتنظيمية والإجرائية التي تحدد المسؤولية عند حدوث أخطاء. وتشكل هذه الأبعاد مجتمعة جوهر الحوكمة الفعالة للذكاء الاصطناعي.

يشير الإشراف في سياق حوكمة الذكاء الاصطناعي إلى المتابعة المستمرة لأنظمة الذكاء الاصطناعي من قبل الجهات التنظيمية والمنظمات المنفذة والأطراف المسؤولة الأخرى لضمان التزامها بالحدود القانونية والأخلاقية. إلا أن ترجمة هذا المفهوم إلى ممارسة عملية بعد النشر تبقى صعبة.

أبرز التحديات يتمثل في الانتقال من الامتثال لمرة واحدة إلى الإشراف المستمر. فقد صُممت معظم الأطر التنظيمية وفق نموذج نقاط التفتيش، حيث يتم تقييم النظام والموافقة عليه، ثم يُفترض امتثاله ما لم يظهر خلل واضح. لكن هذا النموذج لا يناسب الأنظمة التي تتغير بمرور الوقت. وقد حاول قانون الاتحاد الأوروبي معالجة ذلك بفرض خطط مراقبة مستمرة للأنظمة عالية المخاطر طوال دورة حياتها. ومع ذلك، تفتقر العديد من المؤسسات إلى القدرة أو الثقافة المؤسسية التي تدعم الامتثال المستمر.

كما أن التغييرات التي تطرأ على الأنظمة، مثل التحديثات أو تعديل البيانات أو دمجها في سياقات جديدة، قد لا تؤدي إلى إعادة تقييم رسمية رغم تأثيرها على مستوى المخاطر. وعلى الرغم من أن القانون الأوروبي يطلب توثيق التعديلات الجوهرية، فإن تعريف التعديل الجوهري غير واضح ويُترك لتقدير الجهة المزودة. وهكذا يظهر فجوة واضحة بين نية التنظيم وواقعه العملي.

وتُظهر دراسة لعام 2025 أن أقل من نصف المؤسسات تراقب أنظمتها فعليًا بعد النشر من حيث الدقة والانحراف وسوء الاستخدام، وتنخفض النسبة إلى 9 في المئة فقط لدى الشركات الصغيرة. وإذا كانت الجهات المنفذة نفسها لا تراقب أنظمتها، فإن فرص الإشراف الخارجي الفعال تصبح محدودة.

كما أن توزيع المسؤوليات عبر سلسلة توريد الذكاء الاصطناعي يزيد من تعقيد الإشراف. ففي معظم الحالات، لا تكون الجهة التي طورت النظام هي نفسها التي تنشره أو تدمجه في سير العمل أو يستخدمه المستخدمون النهائيون يوميًا. ورغم أن القانون الأوروبي يميز بين المزودين والمستخدمين ويحدد التزامات مختلفة لكل منهم، فإن الحدود بين هذه الأدوار ليست واضحة دائمًا. فعلى سبيل المثال، قد يشغل مستشفى يستخدم أداة دعم قرار طبي مبنية على نموذج من جهة خارجية أدوارًا متعددة في الوقت نفسه، ما يجعل المسؤولية غير واضحة، حيث يميل كل طرف إلى إلقائها على الآخر.

يرتبط الإشراف بالتقييم لكنه يختلف عنه. فالإشراف يتعلق بمن يراقب الأنظمة بعد نشرها، بينما يتعلق التقييم بكيفية قياس جودة تلك الأنظمة. ومن دون تقييمات دقيقة، يصبح الإشراف بلا أساس.

تعتمد معايير التقييم الحالية على اختبارات معيارية مصممة لقياس الأداء في ظروف خاضعة للرقابة، لكنها لا تستطيع استيعاب جميع السياقات والسلوكيات التي تظهر في الواقع. كما أن انحراف البيانات وانحراف السياق يزيدان من تعقيد المشكلة بمرور الوقت. يحدث انحراف البيانات عندما تختلف خصائص البيانات الجديدة عن بيانات التدريب، وهو أمر شائع مع تغير المستخدمين أو البيئة. أما انحراف السياق فيشير إلى تغير معنى النتائج مع تغير السياق الاجتماعي أو المؤسسي. وعلى سبيل المثال، قد يعطي نموذج تقييم ائتماني مدرب قبل جائحة كورونا نتائج متوافقة تقنيًا مع تدريبه، لكنها غير ملائمة للواقع الاقتصادي بعد الجائحة. كما أن نظامًا لإدارة المحتوى مدربًا في سياق ثقافي معين قد يفشل في سياق آخر. وهذه الإخفاقات لا تظهر بالضرورة في المقاييس التقليدية ولا تُكتشف من خلال تقييم واحد قبل النشر.

وفي ما يتعلق بالذكاء الاصطناعي التوليدي، فإن المعايير الحالية محدودة للغاية، إذ تقيس مهام منفصلة بدلًا من التفاعلات المفتوحة التي تحاكي الاستخدام الواقعي، كما أنها غير قادرة على تقييم خصائص أساسية مثل العدالة والموثوقية وخطر إنتاج معلومات خاطئة تبدو مقنعة. ويشير إطار إدارة المخاطر إلى أن الهلوسة والتحيز ومخاطر الخصوصية من أبرز التحديات التي يصعب تقييمها قبل النشر فقط.

وتضيف أنظمة الذكاء الاصطناعي العامة تحديًا إضافيًا، إذ تختلف المخاطر والمعايير حسب سياق الاستخدام، ولا تقدم الأطر الحالية منهجيات واضحة لتقييم أنظمة ذات استخدامات مفتوحة. كما أنه لا يوجد معيار دولي موحد لتقييم ما بعد النشر، مما يترك المؤسسات تعتمد على أساليبها الخاصة بدرجات متفاوتة من الدقة والمنهجية.

تشير المساءلة في سياق حوكمة الذكاء الاصطناعي إلى القدرة على تحديد المسؤول عند حدوث ضرر، ومن يجب الرجوع إليه للتعويض، وكيفية ضمان تحمل العواقب. وهي أكثر الأبعاد تعقيدًا من الناحيتين القانونية والسياسية.

فعلى عكس البرمجيات التقليدية، يصعب تتبع أخطاء أنظمة التعلم الآلي إلى قرار تصميمي محدد، لأن مخرجاتها تنتج عن تفاعل معقد بين البيانات والبنية والسياق. وعندما ينتج نموذج لغوي مخرجات ضارة أو يقدم نظام أمني توصيات متحيزة، يصبح من الصعب جدًا تتبع السبب بدقة، مما يجعل تطبيق الأطر القانونية التقليدية أمرًا معقدًا.

كما أن آليات الإبلاغ عن الحوادث ضعيفة في معظم الأماكن. ففي حين يفرض القانون الأوروبي الإبلاغ عن الحوادث الخطيرة ضمن مدد محددة، فإن هذه المتطلبات تقتصر على الأنظمة عالية المخاطر وتعتمد على التزام الشركات وقدرتها التقنية. أما خارج أوروبا، فهذه المتطلبات نادرة، مما يؤدي إلى نقص في البيانات حول فشل الأنظمة، ويصعب التعلم منها بشكل منهجي.

ويؤثر نقص الشفافية أيضًا على المساءلة، إذ قد لا يعرف الأفراد أصلًا أن نظامًا للذكاء الاصطناعي شارك في اتخاذ قرار يؤثر عليهم، فضلًا عن عدم معرفة كيفية اتخاذه. ورغم وجود معايير دولية لتوثيق الأداء، فإنها طوعية ولا تضمن شفافية حقيقية. ورغم أن التشريعات الأوروبية تفرض متطلبات أكثر صرامة، فإن تطبيقها العملي لا يزال قيد التطوير.

إن التحدي السياسي المتمثل في تحقيق المساءلة دون إعاقة الابتكار حقيقي، لكنه غالبًا ما يُبالغ فيه. فالمساءلة قد تدفع نحو تصميم أفضل واستخدام أكثر مسؤولية، بينما يشكل فقدان الثقة العامة خطرًا أكبر من تباطؤ الابتكار.

تشير الخلاصة إلى تزايد الاعتراف بأهمية المراقبة بعد النشر، كما يظهر في الأطر الدولية المختلفة. وتبين أن المخاطر المرتبطة بالذكاء الاصطناعي تتطور بطرق غير متوقعة مع البيئة الاجتماعية والمؤسسية، وأن الإشراف والتقييم والمساءلة تمثل أبعادًا مترابطة لتحدٍ واحد. ويتطلب تحقيق حوكمة فعالة تفعيل هذه الأبعاد معًا، رغم أن كلًا منها لا يزال غير مكتمل حاليًا.

وتقود هذه النتائج إلى عدة توصيات، من بينها ضرورة الانتقال من الامتثال المرحلي إلى الإشراف المستمر، وتطوير معايير موحدة للتقييم بعد النشر بشكل عاجل، وتعزيز آليات الإبلاغ عن الحوادث. ورغم اختلاف النهج التنظيمية عالميًا، فإن انتشار الذكاء الاصطناعي في قطاعات حيوية يجعل من الضروري مواجهة هذه التحديات. وتظل المراقبة بعد النشر الوسيلة الأساسية لضمان بقاء الأنظمة آمنة وعادلة وقانونية مع مرور الوقت.

المراجع

[1] البرلمان الأوروبي ومجلس الاتحاد الأوروبي. اللائحة (EU) 2024/1689 بشأن وضع قواعد منسقة للذكاء الاصطناعي (قانون الذكاء الاصطناعي). 2024.

[2] المعهد الوطني للمعايير والتكنولوجيا. إطار إدارة مخاطر الذكاء الاصطناعي، ملف الذكاء الاصطناعي التوليدي. 2024.

[3] منظمة التعاون الاقتصادي والتنمية. تعريف حوادث الذكاء الاصطناعي والمصطلحات ذات الصلة. 2024.

[4] البرلمان الأوروبي ومجلس الاتحاد الأوروبي. اللائحة (EU) 2024/1689. 2024.

[5] المرجع نفسه.

Gradient Flow. [6]  استطلاع حوكمة الذكاء الاصطناعي 2025.

[7] المعهد الوطني للمعايير والتكنولوجيا. إطار إدارة مخاطر الذكاء الاصطناعي. 2024.

[8] البرلمان الأوروبي ومجلس الاتحاد الأوروبي. اللائحة (EU) 2024/1689. 2024.

[9] المنظمة الدولية للتوحيد القياسي. ISO/IEC 42001:2023.

[10] المعهد الوطني للمعايير والتكنولوجيا. إطار إدارة مخاطر الذكاء الاصطناعي. 2024.

[11] الاتحاد الأوروبي. مقترح توجيه بشأن المسؤولية المدنية المرتبطة بالذكاء الاصطناعي. 2022.

[12] منظمة التعاون الاقتصادي والتنمية. 2024.

[13] المنظمة الدولية للتوحيد القياسي. ISO/IEC 42001:2023.

تريندز للبحوث والاستشارات