مسئول خطای هوش مصنوعی در جنگ کیست؟

آرزو کیهان
گروه علم و فناوری


تحولات فناوری در طول دهه‌های گذشته همواره شیوه‌های جنگ را تغییر داده‌ و امروزه ظهور هوش مصنوعی، بسیاری را نگران تغییر مدل‌ها و آرایش‌های جنگی جدید در جهان کرده است. برخی تحلیلگران، تجاوز اخیر آمریکا و اسرائیل علیه ایران را به دلیل نحوه استفاده از فناوری‌های مبتنی بر هوش مصنوعی، «نخستین جنگ هوش مصنوعی» در جهان توصیف کرده‌اند؛ جنگی که طی آن، جنایت مدرسه میناب، به نگرانی‌ها از توسعه هوش مصنوعی در میدان‌های نبرد دامن زده است.
درواقع حالا کشورها در آستانه مرحله‌ای تازه از انقلاب فناوری قرار گرفته‌اند؛ مرحله‌ای که در آن مزایا و مخاطرات نوآوری به طور همزمان خود را نشان می‌دهند. هوش مصنوعی می‌تواند برتری قابل توجهی در میدان نبرد ایجاد کند، اما در صورت استفاده نادرست، همان فناوری می‌تواند به نقطه ضعف تبدیل شود. از سوی دیگر، نبود سازوکار روشن برای پاسخگویی هنگام بروز خطا، این خطر را افزایش می‌دهد که نقص‌های فناوری نادیده گرفته شوند یا مسئولیت آنها از دوش تصمیم‌گیرندگان برداشته شود.
هوش مصنوعی و
واقعیت میدان نبرد
به اعتقاد تحلیلگران حوزه هوش مصنوعی، این فناوری سرعت عملیات‌ها را به شکل چشمگیری افزایش داده اما واقعیت این است که با اتکای فزاینده به سیستم‌های هوش مصنوعی، پرسش‌های جدی اخلاقی و حقوقی مطرح شده است؛ پرسش‌هایی درباره میزان و چگونگی نظارت انسانی، مسئولیت‌پذیری و پیامدهای تصمیم‌گیری‌های ماشینی در میدان نبرد. پاسخ‌ها چندان روشن نبوده و بر دامنه نگرانی‌ها افزوده است. بسیاری از کارشناسان معتقدند سیاست‌گذاران باید پیش از آنکه این فناوری به شکل کامل قواعد جنگ‌های آینده را تعیین کند، چهارچوب‌های نظارتی روشنی برای آن وضع کنند.
برخی پژوهشگران معتقدند هرچند سیستم‌های مبتنی بر هوش مصنوعی می‌توانند حجم عظیمی از داده‌های اطلاعاتی را در زمانی بسیار کوتاه تحلیل کنند، اما گاه گزینه‌های پیشنهادی توسط این فناوری برای حمله، درست نیست و فاجعه به بار می‌آورد. آنان تازه‌ترین نمونه آن را شلیک به قلب مدرسه‌ای در میناب در جریان جنگ رمضان می‌دانند که ۱۶۸ دانش‌آموز به شهادت رسیدند. برخی گمانه‌زنی‌ها حاکی از استفاده از یک سامانه هوش مصنوعی برای شناسایی این مدرسه به عنوان یک هدف جنگی است و هرچند گفته می‌شود تحقیقات درباره جزئیات این حمله و نقش احتمالی فناوری در آن ادامه دارد، اما این جنایت بزرگ و پرپر شدن کودکان بیگناه، پرسش‌های جدی درباره مسئولیت‌پذیری در میدان نبرد ایجاد کرده است. کارشناسان حوزه هوش مصنوعی و فضای سایبری می‌خواهند بدانند در صورتی که یک سامانه هوش مصنوعی مرتکب خطا شود، مسئولیت آن بر عهده چه کسی خواهد بود، اپراتور انسانی، طراحان الگوریتم، یا فرماندهان نظامی؟

ضرورت حضور انسان
در حلقه تصمیم گیری
سرعت بالا و اتکای شدید به تحلیل‌های الگوریتمی هوش مصنوعی چالش‌های تازه‌ای ایجاد می‌کند. سیستم‌های هوش مصنوعی قادرند با تحلیل‌های پیش‌بینـــی‌کننـــده، پیشنهـــادهای هدف‌گیری را با سرعتی بسیار بیشتر از توان ارزیابی انسان ارائه دهند. در چنین شرایطی انتظار اینکه یک اپراتور انسانی بتواند در میان فشارهای جنگ، هر توصیه الگوریتم را با دقت بررسی کند، در عمل غیرممکن است. به همین دلیل بسیاری از متخصصان حوزه امنیت و اخلاق فناوری بر ضرورت حضور «انسان در حلقه تصمیم گیری» تأکید می‌کنند. با این حال هنوز مشخص نیست که در جنگ‌های پرسرعت امروزی، مفهوم «کنترل معنادار انسانی» دقیقاً چگونه باید تعریف و اجرا شود.
برخی تحلیلگران، این وضعیت را «فروپاشی اخلاقی مسئولیت» می‌نامند چراکه پس از وقوع یک حادثه، مسئولیت میان انسان و ماشین به شکلی مبهم تقسیم می‌شود و درنهایت هم هیچ‌کس پاسخگو نیست. در چنین سناریویی، ممکن است خطاهای فاجعه‌بار به عنوان اشتباهات انسانی یا نقص‌های فنی تلقی شوند و موضوع، بدون بررسی عمیق‌تر خاتمه یابد.

خلأ مقررات هوش مصنوعی
یکی از مشکلات اساسی در حوزه هوش مصنوعی، این است که قوانین بین‌المللی موجود، برای جهانی طراحی شده‌اند که تصمیم‌های نظامی در آن با سرعت معمول بشر گرفته می‌شود، نه در کسری از ثانیه و توسط الگوریتم‌ها. بسیاری از پژوهشگران حقوقی معتقدند هنوز تعریف واحدی از «سامانه‌های سلاح خودمختار» وجود ندارد و قوانین حقوقی الزام‌آوری برای تنظیم استفاده از آنها در میدان نبرد شکل نگرفته است. این خلأ قانونی باعث شده فاصله‌ای قابل توجه میان توسعه فناوری و چهارچوب‌های نظارتی ایجاد شود.
به همین دلیل بسیاری از کارشناسان معتقدند سیاست‌گذاری در این حوزه، نمی‌تواند صرفاً بر تعهدات داوطلبانه شرکت‌ها تکیه کند. دولت‌ها باید پاسخگویی انسانی را در تمام چرخه عمر سیستم‌های هوش مصنوعی، از مرحله طراحی تا استقرار عملیاتی، تضمین کنند هرچند کنترل معنادار انسانی، تنها زمانی امکان‌پذیر است که شاهد قضاوت و نظارت انسان در تمامی مراحل توسعه و استفاده از این سیستم‌ها باشیم.
برخی کارشناسان و قانونگذاران هم پیشنهاد داده‌اند کشورها برای تدوین توافقنامه‌های بین‌المللی الزام‌آور در زمینه سلاح‌های خودمختار تلاش کنند. شرکت‌های توسعه‌دهنده هوش مصنوعی نیز باید ملزم شوند کاربردهای دفاعی فناوری‌های خود را به طور شفاف اعلام کنند و درباره همکاری‌هایشان با نهادهای نظامی، توضیح دهند. در غیاب چنین اصلاحاتی، این خطر وجود دارد که هوش مصنوعی در میدان نبرد به ابزاری قدرتمند اما فاقد نظارت و پاسخگویی کافی تبدیل شود.
به اعتقاد آنان، دولت‌ها باید از سطح تعهدات لفظی فراتر بروند و به سمت ایجاد سازوکارهای اجرایی برای توسعه و استفاده مسئولانه از هوش مصنوعی حرکت کنند. اولویت دادن به پاسخگویی انسانی در تصمیم‌گیری‌های نظامی، الزام به انجام حسابرسی‌های مستقل از سیستم‌های هوش مصنوعی و ایجاد شفافیت در همکاری‌های میان دولت و بخش خصوصی، از اقداماتی است که می‌تواند در این مسیر مؤثر باشد.

منبع:moderndiplomacy