لماذا يجب على العاملين في مجال التكنولوجيا معارضة الروبوتات القاتلة

لورا نولان ، تقني ومهندسة برامج Google السابقة - تصوير كلير كونبوي

هناك العديد أخلاقي, سياسي و  السياسات أسباب لمعارضة الأسلحة المستقلة ، والتي يمكن أن تضرب دون قرار بشري مباشر بالهجوم. هذه أسباب وجيهة للقلق بشأن الأسلحة المستقلة ، لكنني مهندس برمجيات وأعارض أيضًا تطوير واستخدام أسلحة مستقلة على أسس تكنولوجية.

البرامج بها أخطاء ، ولا يمكن للاختبار العثور عليها جميعًا

كل البرامجe لديه أخطاء. اختبارات لا يمكن العثور عليها والقضاء عليها جميعًا. هذا نتيجة لحقيقة أن البرنامج له حالة تتغير بمرور الوقت. كل متغير إضافي يستخدمه البرنامج يضاعف عدد الحالات التي يمكن أن يكون فيها (ناهيك عن حالة في نظام التشغيل). نحن نلغي هذا عن طريق اختبار الأنظمة من حالة جديدة يمكن التنبؤ بها ، ولكن هذا لا يعني أننا نفهم جميع الطرق التي يمكن أن يتصرف بها البرنامج.

توجد منهجيات لتنفيذ أنظمة برمجيات السلامة الحرجة. ومع ذلك ، قم بالبحث حول كيفية بناء أنظمة مستقلة حرجة للسلامة في مهدها، حتى مع نمو التركيز التجاري على المركبات ذاتية القيادة على مدار العقد الماضي. قد تكون المشكلة غير قابلة للحل.

يمكن اختراق الأسلحة المستقلة

لم يتم بناء أي نظام حوسبة لا يمكن اختراقه. حتى الأنظمة التي تعمل بالهواء المضغوط ، والتي لا تتصل أبدًا بالإنترنت ، تم اختراقها. طائرات بدون طيار تعمل عن بعد لها تم اختراقه بالفعل. مع الأسلحة المستقلة المشكلة أسوأ - لأنه لا يوجد شخص يتحكم بشكل مباشر في السلاح ، قد يكون المهاجمون قادرين على تغيير سلوكه دون أن يدرك أي شخص على الفور.

الذكاء الاصطناعي مفرط في المبالغة فيه وهش

الأسلحة المستقلة ليست مرادفة لـ AI (الذكاء الاصطناعي) ، ولكن من المحتمل جدًا أن تتضمن العديد من الأسلحة المستقلة تقنيات الذكاء الاصطناعي لتحديد الهدف ، وخاصة تقنيات التعرف على الأشياء. لسوء الحظ ، التعرف على الأشياء عن طريق رؤية الكمبيوتر يمكن أن ينخدع وهكذا يمكن التصور القائم على الليدار.

الذكاء الاصطناعي لا يمكن التنبؤ به وتميل إلى الأداء السيئ عندما يحاول البشر خداعهم ، أو عندما يتم استخدامها في بيئات أخرى غير تلك التي تم تدريبهم عليها. الحرب هي ساحة تتميز بالخداع والتغيير المستمر في التكتيكات ، لذلك من المحتمل أن يكون الذكاء الاصطناعي واتخاذ القرار في المعركة مباراة سيئة.

تحيز الأتمتة

تحيز الأتمتة هي ظاهرة معروفة يميل البشر فيها إلى تصديق الاقتراحات التي يتم إنشاؤها بواسطة الكمبيوتر وتفضيلها. الأنظمة العسكرية التي تتضمن صنع القرار البشري قد لا تزال تعاني من هذه المشكلة - ثقة المشغل المفرطة في نظام صواريخ باتريوت كعامل في العديد من حوادث النيران الصديقة. حتى الأنظمة الآلية التي تتطلب من الإنسان إعطاء الموافقة النهائية للهجوم يمكن أن تكون مشكلة بسبب تحيز الأتمتة.

يؤدي استخدام الذكاء الاصطناعي في أنظمة اتخاذ القرار إلى تفاقم هذه المشكلة فقط ، نظرًا لأن الأشكال الحديثة للذكاء الاصطناعي لا يمكن أن تقدم أي منطق مفهومة من قبل الإنسان لقراراتهم. يهدف مجال جديد آخر ، AI القابل للتفسير (أو XAI) إلى حل هذه المشكلة ، لكنه لم يثمر بعد أي تقدم حقيقي على الرغم من الاهتمام الهائل. مثل البحث في أنظمة الحكم الذاتي الحرجة للسلامة ، من الممكن تمامًا أن هذه منطقة لن تؤتي ثمارها أبدًا.

يمكننا بناء روبوت قاتل ، لكن لا يمكننا بناء روبوت مسؤول

يمكننا بناء روبوتات يمكنها القتل اليوم. لا يمكننا بناء روبوت آمن ، لا يمكن اختراقه ، ويعمل بشكل متوقع في معظم أو جميع المواقف ، ويكون خاليًا من الأخطاء ، ويمكنه إدارة التعقيدات التي ينطوي عليها القانون الدولي و قوانين الحرب. لهذا السبب هناك حاجة ماسة إلى معاهدة تحظر تطويرها واستخدامها.

إذا كانت هذه المقالة تلقى صدى معك كخبير تقني ، فراجع حملة إيقاف الروبوتات القاتلة موارد للعاملين في مجال التكنولوجيا أو انضم إلي في استخدام #TechAgainstKillerRobots.

تم نشر المقالة الأصلية في Medium.com.