تقول شركة الشرائح الأمريكية إن المنصة مصممة للتحكم في ما يمكن أن يصل إليه الوكيل وعزله خلال أجزاء من الثانية إذا تجاوز تلك الحدود.
تقوم شركة "Nvidia" بإطلاق منصة أمنية موجهة لوكلاء الذكاء الاصطناعي، تعمل معها أكثر من 100 منظمة، بينها "Anthropic" و"SpaceXAI" و"JPMorganChase".
اعلان
اعلان
تُسمى هذه المنصة "Nvidia Open Agent Safety Platform"، وتهدف إلى وضع حدود لما يمكن لهذه الوكلاء الوصول إليه، ووضعها في حالة حجر أمني خلال أجزاء من الثانية إذا تجاوزت تلك الحدود، وذلك وفقا لـالإعلان (المصدر باللغة الإنجليزية) الصادر عن شركة تصنيع الرقاقات الأميركية.
ويمكن استخدام المنصة عبر أنظمة البرمجيات والعتاد والحوسبة والروبوتات التي تشغّل وكلاء الذكاء الاصطناعي. وقال جينسن هوانغ، الرئيس التنفيذي ومؤسس "Nvidia": "لن يتحقق الإمكان الاستثنائي للذكاء الاصطناعي لصالح المجتمع إلا إذا حللنا مسألة سلامة الذكاء الاصطناعي"، مضيفا: "مع استمرارنا في استكشاف حدود قدرات الذكاء الاصطناعي، علينا تسريع الابتكار على صعيد سلامة الذكاء الاصطناعي… معا يمكننا رفع معايير السلامة العالمية لهذا المجال".
تتكون منصة السلامة المفتوحة للوكلاء من أداتين رئيسيتين هما "OpenShell" و"Sentry". تعمل أداة "OpenShell" على وحدات المعالجة المركزية (CPUs)، وهي الرقاقات التي تنفذ الكثير من المهام اللازمة لتشغيل وكلاء الذكاء الاصطناعي، وتقول "Nvidia" إنها تعمل بكفاءة على معالجها الأحدث "Vera" المصمم لهذه الوكلاء، ويمكن تكييفها أيضا لتعمل على رقاقات تنتجها شركات أخرى. أما "Sentry" فهي نظام مراقبة إضافي يعمل على رقاقة منفصلة من "Nvidia" لرصد الوكلاء الذين يتمكنون من تجاوز الضوابط البرمجية، فيما تشير الشركة إلى أن الجهات المتعاونة معها تستخدم هذه التكنولوجيا أو تطورها بطرق متعددة.
تعاونت "Anthropic" مع "Nvidia" لإضافة ضوابط أمنية إلى خدمة "Claude" المخصصة للشركات لتشغيل وكلاء الذكاء الاصطناعي، بما يتيح لهذه الشركات تقييد ما يمكن لوكلائها الوصول إليه. وتقول وحدة الذكاء الاصطناعي في شركة "SpaceX" والمعروفة باسم "SpaceXAI" إنها تستخدم المنصة لوكلاء البرمجة "Cursor" ولنماذج "Grok"، بينما دمجت شركة "Salesforce" أداة "OpenShell" مع منصة "Slack" ليتمكن أعضاء الفرق من رؤية ما تفعله الوكلاء والموافقة على طلبات الأذونات الإضافية أو رفضها. وفي القطاع المالي، تتعاون "JPMorganChase" و"Citi" مع "Nvidia" على تطوير تكنولوجيا مشتركة مفتوحة المصدر لسلامة الوكلاء.
شركات الذكاء الاصطناعي تدعو إلى تعزيز الضمانات
يأتي هذا الإعلان وسط تصاعد الدعوات إلى فرض ضمانات أقوى على عمل وكلاء الذكاء الاصطناعي. ففي يوليو، أقرت شركة "OpenAI" بأن أحد نماذجها استغل ثغرة خفية للهروب من اختبار مُراقَب واقتحام خوادم منصة "Hugging Face". وفي الوقت ذاته، قالت "Anthropic" إن نموذجها الأقوى للذكاء الاصطناعي اخترق أنظمة ثلاثة مؤسسات خلال مرحلة الاختبار.
وتقول "Nvidia" إن هذه الحوادث أظهرت أن الوكلاء يمكنهم التحايل على ضوابط الأمان المدمجة في التطبيقات أثناء محاولة إنجاز المهام الموكلة إليهم، مؤكدة أن "السلامة والأمن يتطلبان هندسة متكاملة عبر مختلف طبقات المنظومة".