🤖 اهمیت تخصص «امنیت AI» در آینده شغلی!
اخیراً لابه‌لای اخبار، مرتب از سرکشی و افسارگسیختگی ایجنت‌های هوش مصنوعی می‌خونیم؛ اینکه فلان ایجنت به سیستم‌های یک شرکت، سازمان دولتی یا حتی بیمارستان نفوذ کرده و به اطلاعاتی که نباید، دسترسی پیدا کرده، یا به طور خلاصه، یه غلطی کرده!
اما به نظر من قبل از اینکه مثل اکثر رسانه‌ها، داستان‌سرایی کنیم که «هوش مصنوعی از کنترل خارج شد!» و واویلا شده و پس‌فردا میاد می‌خورتمون؛ باید یه سؤال اساسی رو جواب بدیم:
اصلاً چی میشه که یه Agent تصمیم می‌گیره بره یه جایی رو هک کنه؟!
طبیعتاً ماجرا این نبوده که ایجنت صبح از خواب بیدار شده، مسواک زده، بعد موقع سرکشیدن قهوه با خودش گفته: «خب امروز چیکار کنیم؟ آها! بریم Hugging Face رو هک کنیم!» 😁
این ایجنت‌ها مأموریتی داشتن که هدف اولیه‌اش توسط انسان تعیین شده بوده. برای رسیدن به اون هدف هم می‌تونستن برنامه‌ریزی کنن، از ابزارهای مختلف استفاده کنن، نتیجه کارشون رو بررسی کنن و اگر راهی به نتیجه نرسید، راه دیگه‌ای امتحان کنن.
گزارش رسمی Hugging Face میگه ایجنت‌های درگیر، در یک ارزیابی امنیتی با استفاده از آسیب‌پذیری‌ها و دسترسی‌های به‌دست اومده، در نهایت وارد زیرساختشون شدن. تحلیلشون اینه که ایجنت احتمالاً می‌خواستی پاسخ‌های مربوط به آزمون رو به دست بیاره، نه اینکه صرفاً یک هدف تصادفی رو هک کنه.
ولی مسئله از اونجایی شروع میشه که ایجنت (یا ایجنت‌ها در تعامل با هم) توی مسیر رسیدن به هدف، با محدودیتی مواجه می‌شن و به‌جای اینکه متوقف بشن، اون محدودیت رو هم به چشم یک مسئله قابل‌حل می‌بینن!
و ماجرا وقتی پیچیده‌تر میشه که مسئله، خودش به چند مسئله دیگه شکسته میشه. ایجنت برای حل مسئله اول، سراغ مسئله دوم می‌ره، بعد سوم و همین‌طور جلوتر می‌ره. حالا ممکنه توی مسئله دهم یا بیستم، محدودیت‌های مأموریت اولیه به‌درستی لحاظ نشده باشن و ایجنت مسیری رو انتخاب کنه که با هدف اصلی سازگاره، ولی با قواعد یا محدودیت‌هاش نه!
البته همه رخدادهای امنیتی ایجنت‌ها از این جنس نیستن؛ گاهی هم پای Prompt Injection وسطه، گاهی ضعف زیرساخت و گاهی هم خود مأموریت یا اختیاراتی که به Agent داده میشه مشکل‌سازه.
ولی نکته مهم اینه که مجاز بودن هدف، لزوماً به معنی مجاز بودن تمام مسیرهای رسیدن به اون هدف نیست.
راه‌حل چیه؟ از این به بعد فقط مأموریت‌هایی به ایجنت‌ها بدیم که هیچ خطری نداشته باشن؟ یا توی پرامپت بنویسیم «لطفاً برای رسیدن به هدفت مرتکب هیچ نوع وندالیسمی نشو!» و امیدوار باشیم حرف‌گوش‌کن باشن؟!
طبیعتاً نه!
داستان روش‌های امنیت ایجنت، اینجا وسط میاد. همون‌طور که با گسترش شبکه‌ها و اینترنت، به‌تدریج فایروال‌ها، سیستم‌های تشخیص نفوذ، کنترل دسترسی و لایه‌های مختلف امنیتی شکل گرفتن، حالا هم با گسترش سیستم‌های Agentic، به مکانیزم‌هایی نیاز داریم که متناسب با قابلیت‌های جدید این سیستم‌ها طراحی شده باشن.
ابزارهایی که فقط به نمی‌گن ایجنت چه کاری رو نباید انجام بده، بلکه بتونن جلوی عملیات غیرمجاز رو هم بگیرن (Preventive)، رفتارهای مشکوک رو شناسایی کنن (Detective) و در صورت وقوع تخلف، فعالیتش رو محدود یا متوقف کنن (Containment/Response).
و این دقیقاً یکی از حوزه‌هاییه که در آینده جزو تخصص‌های مهندس و معماران نرم‌افزار و متخصصان امنیت خواهد بود و جایگزین برخی تخصص‌هایی میشه که شاید کمرنگ‌تر یا کم‌درخواست‌تر می‌شن.
شرکت‌هایی پیشرو مثل SpaceXSI, NVIDIA، Microsoft، Google، AWS و بقیه هم دارن برای حل این مسئله راهکارهایی ارائه می‌دن و هر کدوم هم یه بخشی از مسئله رو هدف گرفتن...
مثلاً NVIDIA اخیراً پلتفرم Open Agent Safety رو معرفی کرده. و OpenShell یکی از اجزاء این پلتفرمه که یه محیط اجرای ایزوله با کنترل دسترسی به شبکه، فایل‌ها و ابزارها فراهم می‌کنه. Sentry هم یکی دیگه از اجزائشه که هم با استفاده از DPU یه لایه مستقل نظارتی در سطح زیرساخت اضافه می‌کنه و هم می‌تونه ایجنت سرکش و از محدودیت‌ها خارج‌شده رو بگیره قرنطینه کنه.
البته همه شرکت‌ها از یه مسیر به مسئله نگاه نمی‌کنن. مثلاً Microsoft روی هویت و مدیریت دسترسی Agentها، AWS روی اعمال Policy قبل از اجرای ابزارها، و NVIDIA روی ایزوله‌سازی و کنترل در سطح Runtime و زیرساخت تمرکز کردن. طبیعتاً هیچ‌کدوم از این رویکردها هم به‌تنهایی تمام مسئله رو حل نمی‌کنن.
خلاصه اینکه به نظرم امنیت سیستم‌های ایجنتیک یا به‌صورت کلی امنیت AI یکی از حوزه‌هاییه که طی سال‌های آینده اهمیت بیشتری پیدا می‌کنه و یادگیری مفاهیم، روش‌ها و ابزارهاش برای مهندس‌های نرم‌افزار و متخصصین امنیت، می‌تونه فرصت‌های تازه‌ای ایجاد کنه.
شاید به‌جای اینکه تمام وقتمون رو صرف اخبار آخرالزمانی درباره بیکارشدن برنامه‌نویس‌ها کنیم و نگران باشیم که بالاخره کی باید تحت پوشش مؤسسات خیریه و بهزیستی قرار بگیریم، بد نباشه بخشی از اون زمان رو صرف شناختن همین تغییرات و یادگرفتن تخصص‌های جدید کنیم!
مسیر مهندسی نرم‌افزار بارها تغییر کرده و باز هم تغییر می‌کنه. مسئله این نیست که جاده چرا پیچ می‌خوره؛ مسئله اینه که آیا ما هم مهارت پیچیدن باهاش رو داریم یا نه!
جاده داره می‌پیچه؛ باید یاد گرفت که چجوری فرمون رو هم چرخوند؛ چون با صاف‌رفتن، پیچ مستقیم نمی‌شه! 😉