توهم مدل
Model hallucination
وقتی مدل هوش مصنوعی پاسخی نادرست یا ساختگی را با لحنی مطمئن و باورپذیر ارائه می‌کند.
توهم مدل به حالتی گفته می‌شود که یک مدل زبانی اطلاعاتی نادرست یا کاملاً ساختگی تولید می‌کند، ولی آن را روان و با اطمینان بیان می‌کند؛ مثلاً یک قانون، عدد، منبع یا رویداد را از خودش می‌سازد.
علت اصلی این است که مدل برای تولید متنِ محتمل ساخته شده، نه لزوماً متنِ درست. در خدمات مالی توهم مدل می‌تواند خطرناک باشد، چون یک عدد یا شرط ساختگی ممکن است به تصمیم یا پرداخت اشتباه برسد. راه‌های کاهش آن:
- اتکا به داده‌های معتبر و منبع‌دار به جای حافظه مدل؛
- ارزیابی مدل و آزمون مداوم؛
- تأیید انسانی برای تصمیم‌های مهم.
قسمت صوتی این واژه در ۱۹ آبان ۱۴۰۵ در «یک دقیقه با ایران اوپن فاینانس» منتشر می‌شود.
واژه‌های مرتبط
مدل زبانیLanguage model (LLM)مدلی از هوش مصنوعی که با دیدن حجم بزرگی از متن یاد گرفته متن تولید کند، بفهمد و به پرسش‌ها پاسخ دهد.ارزیابی مدلModel evaluationآزمودن نظام‌مند یک مدل یا عامل هوشمند با نمونه‌های مشخص، برای سنجیدن دقت، ایمنی و رفتار آن پیش و پس از استفاده.تأیید انسانیHuman approvalمرحله‌ای که در آن اقدام پیشنهادی عامل هوشمند، پیش از اجرا، باید از سوی یک انسان مسئول بررسی و تأیید شود.محافظGuardrailکنترل‌هایی که ورودی، خروجی یا اقدام‌های یک مدل یا عامل را بررسی می‌کنند تا از رفتار ناامن یا خارج از چارچوب جلوگیری شود.