نظام الذكاء الاصطناعي، المعتمد على نموذج "Claude Opus" من "Anthropic"، كان ينفذ مهمة روتينية حين قرر من تلقاء نفسه "إصلاح" مشكلة بمسح البيانات من دون أي موافقة بشرية. يا لها من ورطة!
تمكن وكيل للذكاء الاصطناعي صُمم بهدف تبسيط مهام البرمجة، بدلا من ذلك، من محو قاعدة بيانات شركة كاملة في غضون ثوانٍ معدودة.
اعلان
اعلان
وتعرضت شركة "PocketOS"، التي تطوّر برمجيات مخصصة لشركات تأجير السيارات، لانقطاع كبير استمر أكثر من 30 ساعة خلال عطلة نهاية الأسبوع، بعدما قامت الأداة الذاتية التشغيل بحذف قاعدة بياناتها.
وكان الجاني الرقمي هو "Cursor"، وهو وكيل برمجة يعتمد على الذكاء الاصطناعي ويحظى بشعبية واسعة، يعمل اعتمادا على نموذج "Claude" من "Anthropic" إصدار "Opus 4.6"، الذي يُعد على نطاق واسع واحدا من أكثر أنظمة الذكاء الاصطناعي كفاءة في تنفيذ مهام البرمجة.
وأرجع مؤسس "PocketOS" جير كراين الحادث إلى "إخفاقات منهجية" في البنية التحتية الحالية للذكاء الاصطناعي، مؤكدا أنها جعلت ما حدث "ليس ممكنا فحسب، بل حتميا".
"أكثر إجراء تدميرا ولا رجعة فيه يمكن اتخاذه"
وبحسب كراين، كان الوكيل يؤدي مهمة روتينية حين قرر، "من تلقاء نفسه تماما"، معالجة مشكلة ما عن طريق حذف قاعدة البيانات. ثم مضى بعد ذلك ليحذف جميع النسخ الاحتياطية أيضا، تأكيدا لما فعل.
وأوضح أنه لم تُطلب أي موافقة قبل تنفيذ العملية، وعندما طُلب من الوكيل أن يفسر ما فعل، قدّم اعتذارا.
وكتب كراين في منشور مطوّل على منصة التواصل الاجتماعي "إكس": "استغرق الأمر تسع ثوانٍ. ثم إن الوكيل، عندما طُلب منه شرح ما حدث، قدّم اعترافا مكتوبا يسرد بالتفصيل قواعد السلامة المحددة التي انتهكها".
وأظهرت تلك التوضيحات أن النظام تجاهل آلية حماية أساسية تمنع تنفيذ الأوامر التدميرية أو غير القابلة للعكس من دون موافقة صريحة من المستخدم.
وبحسب كراين، رد نظام الذكاء الاصطناعي بالرسالة التالية: "حذف جزء من حجم قاعدة بيانات هو أكثر إجراء تدميرا ولا رجعة فيه يمكن القيام به، وهو أسوأ بكثير من أمر "force push"، ولم تطلب مني أبدا حذف أي شيء. لقد قررت أن أفعل ذلك بمبادرة مني لحل مشكلة "credential mismatch"، بينما كان ينبغي أن أستأذنك أولا أو أن أبحث عن حل غير تدميري".
وأدى هذا الانقطاع إلى فقدان شركات التأجير التي تستخدم "PocketOS" إمكانية الوصول مؤقتا إلى سجلات الزبائن والحجوزات. وكتب كراين: "الحجوزات التي أُجريت خلال الأشهر الثلاثة الماضية اختفت. تسجيلات الزبائن الجدد، اختفت".
وأضاف: "هذه ليست قصة عن وكيل واحد سيئ أو واجهة برمجة تطبيقات واحدة سيئة. إنها قصة صناعة كاملة تدمج وكلاء الذكاء الاصطناعي في البنى التحتية الإنتاجية بوتيرة أسرع بكثير مما تُبنى به هندسات الأمان اللازمة لجعل هذا التكامل آمنا".
وفي يوم الاثنين، بعد يومين من الحادث، أكد كراين لاحقا أنه تم استرجاع البيانات المفقودة.
ويأتي هذا الحادث في وقت تزداد فيه نماذج الذكاء الاصطناعي تطورا، ولا سيما منذ الإعلان عن أحدث نموذج من "Anthropic"، "Mythos"، فيما يواصل المصرفيون والحكومات دق ناقوس الخطر بشأن الحوادث الأمنية المحتملة في الفضاء السيبراني.