ایجنت را مثل یک کاربر دارای دسترسی ببین
وقتی مدل می‌تواند ابزار صدا بزند، فایل بخواند، داده تغییر دهد یا ایمیل بفرستد، مسئله دیگر فقط کیفیت پاسخ نیست. ایجنت به یک عامل نرم‌افزاری تبدیل می‌شود و باید همان‌قدر جدی با سطح دسترسی، ممیزی و محدودیت آن برخورد کرد.
کمترین سطح دسترسی برای ابزارها
هر ابزار فقط باید کمترین دسترسی لازم برای همان جریان کاری را داشته باشد. ایجنت گزارش‌ساز اگر فقط نیاز به خواندن دیتابیس دارد، نباید اجازه حذف یا به‌روزرسانی عمومی داشته باشد. مجوزدهی هم نباید بر اساس متن تولیدشده توسط مدل تصمیم بگیرد.
ورودی خارجی قابل اعتماد نیست
محتوای وب، ایمیل، PDF یا پاسخ API می‌تواند دستور مخرب یا داده گمراه‌کننده داشته باشد. ورودی باید اعتبارسنجی و پاک‌سازی شود و مرز «داده» و «دستور» تا حد ممکن روشن بماند.
تأیید انسانی در حلقه برای اقدام پرریسک
OWASP توصیه می‌کند عملیات پرریسک یا غیرقابل برگشت بدون نظارت انسانی انجام نشوند. این می‌تواند انتقال وجه، حذف اطلاعات، تغییر سطح دسترسی یا ارسال پیام مهم به مشتری باشد.
حافظه و داده حساس
حافظه ایجنت نباید به سطل اطلاعات حساس تبدیل شود. بافت بین کاربران باید جدا باشد، داده حساس پوشانده یا رمزگذاری شود و گزارش‌های اجرا نباید Credential یا اطلاعات شخصی را بی‌دلیل ثبت کنند.
محدودیت برای حلقه، هزینه و زنجیره ابزار
ایجنتی که می‌تواند بی‌نهایت تلاش مجدد کند یا زنجیره ابزار نامحدود بسازد، هم ریسک هزینه دارد و هم ریسک رفتار خارج از کنترل. سقف زمان، تعداد ابزار، تلاش مجدد و بودجه باید بخشی از معماری باشد.
قبل از نسخه عملیاتی حمله را شبیه‌سازی کن
پرامپت injection، داده آلوده، پاسخ API غیرمنتظره، خطای سطح دسترسی و رفتار خرابی ابزار باید عمداً تست شوند. تغییر مدل یا ابزار هم می‌تواند سطح ریسک را عوض کند و نیاز به آزمون بازگشت دارد.
مرجع: راهنمای امنیت ایجنت هوش مصنوعی OWASP.
برای مسیر اجرایی: طراحی و توسعه ایجنت هوش مصنوعی.
نمونه مرتبط: مطالعه پروژه — FamilyOS.