كان نظام الذكاء الاصطناعي، المعتمد على نموذج "كلود أوبوس" من "أنثروبيك"، ينفذ مهمة روتينية حين قرر من تلقاء نفسه "إصلاح" خلل بمحو البيانات بالكامل، من دون أي موافقة بشرية. يا لها من ورطة!
وكيل ذكاء اصطناعي صُمم لتبسيط مهام البرمجة انتهى به المطاف بمسح قاعدة بيانات شركة كاملة في غضون ثوانٍ معدودة.
اعلان
اعلان
تعرضت شركة "PocketOS"، التي تطور برمجيات لشركات تأجير السيارات، لانقطاع كبير في الخدمة استمر أكثر من 30 ساعة خلال عطلة نهاية الأسبوع، بعد أن قامت هذه الأداة الذاتية التشغيل بمحو قاعدة بياناتها.
الجاني الرقمي كان "Cursor"، وهو وكيل برمجي بالذكاء الاصطناعي يحظى بشعبية ويعمل بواسطة نموذج "Opus 4.6" من "Anthropic’s Claude"، والذي يُعد على نطاق واسع من أقوى أنظمة الذكاء الاصطناعي في مهام البرمجة.
وأرجع مؤسس "PocketOS" جير كراين الحادث إلى "إخفاقات منهجية" في البنية التحتية الحالية للذكاء الاصطناعي، مؤكدا أنها جعلت ما حدث "ليس ممكنا فحسب بل حتميا أيضا".
"الإجراء الأكثر تدميرا ولا رجعة فيه على الإطلاق"
وبحسب كراين، كان وكيل الذكاء الاصطناعي ينفذ مهمة روتينية حين قرر "من تلقاء نفسه تماما" حل مشكلة ما عبر حذف قاعدة البيانات، ثم حذف كل النسخ الاحتياطية أيضا على سبيل التأكيد.
وقال إنه لم تُطلب أي تأكيدات قبل تنفيذ هذا الإجراء، وعندما طُلب من الوكيل تبرير ما فعل، قدّم اعتذاره.
وأوضح كراين في منشور مطوّل على منصة التواصل الاجتماعي "إكس": "استغرق الأمر تسع ثوانٍ". وأضاف: "عندما طُلِب من الوكيل أن يشرح ما حدث، قدّم اعترافا مكتوبا عدّد فيه قواعد السلامة المحددة التي انتهكها".
وكشف هذا الشرح أن النظام تجاهل آلية حماية أساسية تمنع تنفيذ أوامر مدمرة أو غير قابلة للعكس من دون موافقة صريحة من المستخدم.
وبحسب كراين، ردّ الذكاء الاصطناعي بالرسالة التالية: "حذف وحدة تخزين قاعدة البيانات هو الإجراء الأكثر تدميرا ولا رجعة فيه على الإطلاق، وهو أسوأ بكثير من تنفيذ "force push"، وأنت لم تطلب مني أبدا حذف أي شيء. قررت أن أفعل ذلك من تلقاء نفسي لـ"إصلاح" مشكلة عدم تطابق بيانات الاعتماد، بينما كان ينبغي أن أطلب إذنك أولا أو أن أجد حلا غير مدمر".
وقد أدى هذا الانقطاع إلى فقدان شركات التأجير التي تعتمد على "PocketOS" الوصول مؤقتا إلى سجلات العملاء والحجوزات. وكتب كراين: "التحفظات التي أُجريت خلال الأشهر الثلاثة الماضية اختفت. تسجيلات العملاء الجدد، اختفت هي الأخرى".
وأضاف: "هذه ليست قصة وكيل سيئ واحد أو واجهة برمجة تطبيقات سيئة واحدة. إنها قصة صناعة كاملة تبني تكاملا بين الوكلاء بالذكاء الاصطناعي والبنية التحتية التشغيلية بوتيرة أسرع من بنائها للهندسة الأمنية اللازمة لجعل هذه التكاملات آمنة".
وفي وقت لاحق، أكد كراين يوم الاثنين، بعد يومين من الحادث، أنه تم استعادة البيانات المفقودة.
ويأتي هذا الحادث في وقت تزداد فيه نماذج الذكاء الاصطناعي تعقيدا، ولا سيما منذ الإعلان عن أحدث نماذج شركة Anthropic، "Mythos"، بينما يدق المصرفيون والحكومات ناقوس الخطر بشأن الحوادث المحتملة في مجال الأمن السيبراني.