حمله تزریق دستور
Prompt injection
حمله‌ای که در آن دستورهای مخرب در متن یا داده‌ای که عامل می‌خواند پنهان می‌شود تا رفتار عامل را منحرف کند.
حمله تزریق دستور یعنی مهاجم دستورهایی را در متنی قرار دهد که یک مدل زبانی یا عامل هوشمند آن را می‌خواند؛ مثلاً در یک ایمیل، فاکتور، صفحه وب یا توضیح تراکنش. اگر مدل این متن را به‌جای «داده» به‌عنوان «دستور» بفهمد، ممکن است کاری کند که صاحبش نخواسته، مثل افشای اطلاعات یا ثبت پرداخت.
این حمله به‌طور کامل با دستورهای بهتر به مدل حل نمی‌شود. دفاع اصلی بیرون از مدل است:
- حداقل دسترسی و سقف اختیار؛
- سیاستهایی که در لایه اجرا بررسی می‌شوند؛
- تأیید انسانی برای اقدام‌های حساس.
قسمت صوتی این واژه در ۱۸ خرداد ۱۴۰۶ در «یک دقیقه با ایران اوپن فاینانس» منتشر می‌شود.
واژه‌های مرتبط
حداقل دسترسیLeast privilegeاصلی امنیتی که می‌گوید هر کاربر، سامانه یا عامل فقط باید همان دسترسی‌هایی را داشته باشد که برای کارش واقعاً لازم است.سیاستPolicyمجموعه قواعد صریحی که پیش از هر اقدام بررسی می‌شود و تعیین می‌کند عامل در چه شرایطی چه کاری را مجاز است انجام دهد.محافظGuardrailکنترل‌هایی که ورودی، خروجی یا اقدام‌های یک مدل یا عامل را بررسی می‌کنند تا از رفتار ناامن یا خارج از چارچوب جلوگیری شود.تأیید انسانیHuman approvalمرحله‌ای که در آن اقدام پیشنهادی عامل هوشمند، پیش از اجرا، باید از سوی یک انسان مسئول بررسی و تأیید شود.