محافظ
Guardrail
کنترل‌هایی که ورودی، خروجی یا اقدام‌های یک مدل یا عامل را بررسی می‌کنند تا از رفتار ناامن یا خارج از چارچوب جلوگیری شود.
محافظ یا گاردریل به کنترل‌هایی گفته می‌شود که دور یک مدل یا عامل هوشمند قرار می‌گیرند تا رفتار آن در چارچوب مجاز بماند. محافظ‌ها می‌توانند در چند لایه باشند:
- روی ورودی: شناسایی درخواست‌های نامجاز یا متن‌های مشکوک؛
- روی خروجی: جلوگیری از افشای داده حساس یا پاسخ‌های نامناسب؛
- روی اقدام: بررسی هر فراخوانی ابزار در برابر سیاست و سقف اختیار.
محافظ‌هایی که فقط بر پایه دستور به خود مدل هستند ضعیف‌ترند؛ محافظ‌های مؤثر، بیرون از مدل و در مسیر اجرا قرار می‌گیرند. هیچ محافظی کامل نیست، پس معمولاً چند لایه با هم به کار می‌روند.
قسمت صوتی این واژه در ۱ تیر ۱۴۰۶ در «یک دقیقه با ایران اوپن فاینانس» منتشر می‌شود.
واژه‌های مرتبط
سیاستPolicyمجموعه قواعد صریحی که پیش از هر اقدام بررسی می‌شود و تعیین می‌کند عامل در چه شرایطی چه کاری را مجاز است انجام دهد.حمله تزریق دستورPrompt injectionحمله‌ای که در آن دستورهای مخرب در متن یا داده‌ای که عامل می‌خواند پنهان می‌شود تا رفتار عامل را منحرف کند.سقف اختیارAuthority limitحد بالایی که یک عامل در هر اقدام یا در یک بازه زمانی نمی‌تواند از آن فراتر برود، مثل سقف مبلغ یا تعداد عملیات.دکمه توقفKill switchسازوکاری که با آن می‌توان یک عامل هوشمند یا همه عملیات آن را فوراً متوقف کرد، بدون اینکه به همکاری خود عامل نیازی باشد.