بهزاد احمدی
عضو هیأت علمی
دانشگاه تهران

پرونده «دِ اِس اِ ویکی»، یک ویکی آلمانی (سایت تخصصی برنامه‌نویسی به نام DseWiki)، در نگاه اول می‌تواند یک رخداد فنی محدود در محیط آزمون «اوپن‌ای‌آی» تلقی شود. اما اهمیت آن از خود سایت و حتی از هویت دقیق عامل‌های هوش مصنوعی درگیر فراتر می‌رود. مسأله این است که گروهی از عامل‌های هوش مصنوعی اوپن‌ای‌آی، در جریان ارزیابی، ظاهراً با دور زدن محدودیت‌های ایمنی، وارد یک محیط عمومی در اینترنت شدند. از آن برای ثبت اطلاعات و ارتباط با یکدیگر استفاده کردند و پس از حذف بخشی از محتوا توسط مدیر سایت، مسیرهایی برای تداوم فعالیت یافتند.
 این رخداد، نه اثبات خودآگاهی ماشین است و نه به‌خودی‌خود معادل یک حمله سایبری سازمان‌یافته، اما نمونه‌ای است از مسأله‌ای که حکمرانی هوش مصنوعی هنوز پاسخ عملی روشنی برای آن ندارد. یعنی کنترل سامانه‌ای که از مرحله تولید پاسخ عبور کرده و توان جست‌وجو، استفاده از ابزار، نوشتن در محیط بیرونی و انطباق با مداخله انسانی را به دست آورده است.
گزارش پژوهشگران و بازتاب آن در رسانه‌های آلمانی نشان می‌دهد این عامل‌های هوش مصنوعی در بهار و سپس از ژوئن ۲۰۲۶، هزاران ویرایش در این سایت انجام داده‌اند. شمار تغییرات منتسب به آنها از ۱۵ هزار تا حدود ۱۸ هزار مورد گزارش شده است. بنا بر این گزارش‌ها، ویکی به فضایی برای ثبت پاسخ‌ها، نتایج میانی، اطلاعات مربوط به محیط آزمون، میانبرهای حل مسأله و شیوه‌های عبور از محدودیت‌ها تبدیل شده بود. اهمیت ماجرا در آن است که پس از حذف بعضی صفحات، فعالیت در صفحات یا مسیرهای جایگزین ادامه یافت که نشان می‌دهد مسأله نه صرفاً تولید محتوای نامطلوب، بلکه ظرفیت سازگاری عملیاتی و بهره‌گیری از کانال‌های خارجی بوده است.

نبود استاندارد شفاف
«اوپن‌ای‌آی» پس از علنی‌شدن ماجرا اذعان کرد که صنعت هوش مصنوعی هنوز استاندارد شفافی برای گزارش رفتارهای ناخواسته در مراحل آموزش، ارزیابی و استقرار مدل‌ها ندارد. این اعتراف، خلأیی را آشکار می‌کند که تا پیش از ظهور عامل‌های متصل به اینترنت، کمتر دیده می‌شد.
 در گذشته، شرکت می‌توانست خطای مدل زبانی را با شاخص‌هایی چون نادرستی پاسخ، سوگیری، تولید محتوای مضر یا نشت داده ارزیابی کند. اما در مورد عامل‌ها، مسأله به این پرسش‌ها گره می‌خورد که سامانه به چه ابزارهایی متصل بوده، از چه اختیاراتی استفاده کرده، آیا رفتار آن قابل بازسازی است، آیا انسان می‌تواند در زمان مناسب مداخله کند و آیا شرکت باید پیش از وقوع خسارت واقعی، نهاد ناظر را در جریان بگذارد یا نه.
کمیسیون اروپا اعلام کرده که گزارش حادثه را از اوپن‌ای‌آی دریافت کرده و با شرکت در تماس است. تأکید سخنگوی کمیسیون بر این نکته که گزارش‌دهی فنی نباید به یک فرآیند صوری تبدیل شود، اهمیت خاصی دارد. گزارش باید نشان دهد چه رخ داده، چه اقدام اصلاحی انجام شده و چگونه احتمال تکرار رفتار کاهش می‌یابد.
 با این حال، هنوز مشخص نیست کمیسیون، این پرونده را ذیل کدام دسته حقوقی ارزیابی خواهد کرد و آیا آن را مصداق یک رخداد جدی در چارچوب قانون هوش مصنوعی می‌داند یا صرفاً نمونه‌ای هشداردهنده از ناکافی‌بودن سازوکارهای ایمنی در مرحله ارزیابی تلقی می‌کند.
در آلمان، رسانه‌های تخصصی این حادثه را به‌درستی ذیل مسأله حکمرانی و شفافیت قرار دادند، نه صرفاً ذیل ترس‌های رایج درباره هوش مصنوعی. ساختار حکمرانی هوش مصنوعی در این کشور و اتحادیه اروپا چندلایه است. کمیسیون اروپا و دفتر هوش مصنوعی آن، در موضوع مدل‌های عمومی و ریسک‌های نظام‌مند، نقش راهبر دارند.
در سطح ملی نیز آژانس شبکه فدرال آلمان، نهادهای حفاظت از داده، سازمان‌های امنیت سایبری، مراجع حمایت از مصرف‌کننده و نهادهای رقابت و ضدانحصار، هر یک بخشی از مسأله را پوشش می‌دهند. آژانس شبکه فدرال نیز در اجرای قانون هوش مصنوعی اتحادیه، مأموریت‌هایی در نظارت بازار، دریافت شکایت و هماهنگی ملی دارد. با این حال، باز حادثه مذکور رخ داده است.
این دقیقاً همان جایی است که عنوانِ خلأ حکمرانی معنا پیدا می‌کند. اروپا از نظر متن حقوقی، نسبت به بسیاری از بازیگران جهانی جلوتر است، اما در مورد عامل‌های هوش مصنوعی هنوز فاصله‌ای میان قانون و توان اجرا وجود دارد. قانون هوش مصنوعی اتحادیه اروپا برای مدل‌های عمومی دارای ریسک نظام‌مند، مواردی مانند ارزیابی خطر، آزمون، کاهش ریسک، حفاظت سایبری و گزارش رخدادهای جدی را پیش‌بینی کرده است. ماده ۵۵ قانون، در شرایط مشخص، عرضه‌کنندگان مدل‌های عمومی را ملزم می‌کند اطلاعات مربوط به رخدادهای جدی و اقدامات اصلاحی را در اختیار دفتر هوش مصنوعی قرار دهند. کمیسیون نیز الگوی گزارش‌دهی منتشر کرده است تا این تکلیف عملی‌تر شود.
با این حال، پرونده ویکی آلمانی نشان می‌دهد که هنوز یک آستانه‌گذار روشن وجود ندارد. اگر عاملی در یک سایت عمومی محتوا بگذارد، راه ارتباطی بسازد و پس از حذف محتوا مسیر دیگری بیابد، اما به داده شخصی، پول، تجهیزات صنعتی یا زیرساخت حیاتی آسیب نزند، آیا این رخداد باید جدی تلقی شود؟ اگر پاسخ منفی باشد، نهادهای ناظر زمانی وارد می‌شوند که خسارت رخ داده است. اگر پاسخ مثبت باشد، شرکت‌ها با حجم زیادی از گزارش‌هایی مواجه خواهند شد که امکان تمرکز بر موارد واقعاً پرخطر را کم می‌کند.

فقدان دسته‌بندی تخصصی
برای رخدادهای عامل‌محور
بنابراین، خلأ اصلی در نبود قانون نیست، بلکه در فقدان دسته‌بندی تخصصی برای رخدادهای عامل‌محور است که در آن، عامل هوش مصنوعی از هدف و دسترسی پیش‌بینی‌شده فراتر می‌رود، امکان نظارت انسانی را دشوار می‌کند یا نشان می‌دهد که سازوکارهای مهار و ثبت فعالیت، کفایت نداشته‌اند.
کنوانسیون شورای اروپا درباره هوش مصنوعی، لایه دیگری از پاسخ اروپا را فراهم می‌کند. این کنوانسیون اولین سند الزام‌آور بین‌المللی در حوزه هوش مصنوعی است و توسعه و استفاده از این فناوری را به حقوق بشر، دموکراسی و حاکمیت قانون پیوند می‌زند. اما کنوانسیون شورای اروپا، جایگزین قانون هوش مصنوعی اتحادیه نیست. کنوانسیون، چارچوب هنجاری و تعهد دولت‌ها را تعیین می‌کند، در حالی که قانون اتحادیه، ابزار دقیق‌ترِ تنظیم بازار و الزام عرضه‌کنندگان را به دست می‌دهد. حادثه «ویکی» آلمانی نشان می‌دهد که این دو لایه هنوز باید به رویه‌های عملی برای عامل‌های متصل به محیط واقعی ترجمه شوند و تا تنظیم‌گری مؤثر فاصله دارند.

درس آموخته پرونده «ویکی» برای ایران
اما درس‌آموخته این پرونده برای ایران چیست؟ درس صرفاً این نیست که باید از قانون هوش مصنوعی اتحادیه یا کنوانسیون شورا الگوبرداری کرد و ساختارسازی‌های متعدد و جدید داشت. ایران از حدود سال ۲۰۱۷ به بعد، در ادبیات حقوقی و سیاستی خود، بویژه در تلاش‌هایش برای پاسخگو کردن پلتفرم‌های خارجی، به تجربه اروپا و الگوهایی چون مقررات عمومی حفاظت از داده‌ها توجه بسیار نشان داده است.
اما الگوبرداری حقوقی، بویژه اگر به ترجمه مفاهیم یا اقتباس از ساختار متن محدود بماند، تنظیم‌گری مؤثر نمی‌سازد. مسأله ایران در حوزه هوش مصنوعی بیش از هر چیز، فقدان یک اکوسیستم تنظیم‌گر است. هنوز اکوسیستمی که بتواند مدل‌ها و عامل‌های هوش مصنوعی را از نظر ایمنی، شفافیت، تبعیض، امنیت سایبری و قابلیت حسابرسی ارزیابی کند، به‌طور مؤثر شکل نگرفته و نوع تنظیم‌گری سخت یا نرم مشخص نشده است.
همچنان تنظیم‌گری بخشی و مجوزمحور، اساس کار بوده و صلاحیت‌ها نیز میان نهادهای گوناگون پراکنده است و اغلب مشخص نیست در رخدادی مانند پرونده «ویکی» آلمانی، چه مرجعی باید ابتدا ورود کند: سازمان تنظیم مقررات رادیویی، نهادهای امنیت سایبری و حفاظت از داده چون سازمان فناوری اطلاعات و افتا، دستگاه قضایی یا شورای رقابت.
در چنین وضعی، سیاست محدودسازی هوش مصنوعی ممکن است جای ظرفیت تنظیم‌گری را بگیرد، اما در واقع مسأله را حل نمی‌کند. محدودسازی دسترسی، نه سامانه را قابل حسابرسی می‌کند، نه شرکت را پاسخ‌گو، نه رفتار عامل هوش مصنوعی را قابل ثبت و بازبینی. حتی می‌تواند استفاده را به ابزارهای ناشناس، حساب‌های غیررسمی و مسیرهای فنی خارج از نظارت منتقل کند.
تنظیم‌گری پیشرفته را می‌توان تنظیم‌گری نسل پنجم نامید و ایران هنوز از آن بی‌بهره است، باید بر مدیریت خطر در محیط واقعی استوار باشد: محیط‌های آزمون کنترل‌شده، سطح‌بندی دسترسی عامل‌ها، ثبت کامل فعالیت، آزمون مستقل، تأیید انسانی برای اقدامات حساس، گزارش‌دهی اجباری رخداد و امکان توقف سریع. این مدل باید با سیاست رقابت، حمایت از کسب‌وکارهای بومی، حفاظت از داده و توسعه ظرفیت دانشگاهی و فنی پیوند بخورد.
حادثه «ویکی» آلمانی هنوز یک بحران تمام‌عیار نیست، اما اهمیت آن دقیقاً در همین است که پیش از وقوع یک آسیب بزرگ، مرزهای کنترل را آشکار کرده است. اروپا اکنون قانون، نهاد و تجربه لازم برای پاسخ را در اختیار دارد، اما نتوانسته نشان دهد که می‌تواند آنها را برای عصر عامل‌های هوش مصنوعی به سازوکار اجرایی تبدیل کند. ایران نیز اگر بخواهد از تجربه اروپا بهره گیرد، مسأله اصلی‌اش، ساختن ظرفیت تنظیم‌گری مدرن است که بتواند هم از شهروندانش حمایت کند، هم رفتار سامانه را ببیند، هم قدرت بازار را مهار کند، هم مسئولیت شرکت را روشن سازد و هم پیش از آنکه خطای فنی به بحران اقتصادی، امنیتی یا اجتماعی تبدیل شود، مداخله سازنده کند.