ارزیابی مدل
Model evaluation
آزمودن نظام‌مند یک مدل یا عامل هوشمند با نمونه‌های مشخص، برای سنجیدن دقت، ایمنی و رفتار آن پیش و پس از استفاده.
ارزیابی مدل یعنی پیش از به کار گرفتن یک مدل یا عامل هوشمند، و به‌طور مداوم پس از آن، رفتارش را با مجموعه‌ای از نمونه‌های مشخص بسنجیم. ارزیابی خوب فقط دقت را نمی‌سنجد؛ به این‌ها هم نگاه می‌کند:
- آیا مدل در موارد نادر و مرزی درست رفتار می‌کند؟
- آیا دچار توهم می‌شود یا از سیاست‌ها سرپیچی می‌کند؟
- آیا با گروه‌های مختلف منصفانه رفتار می‌کند؟
- آیا در برابر ورودی‌های فریبنده مقاوم است؟
هر تغییر در مدل، دستورها یا ابزارها می‌تواند رفتار را عوض کند؛ پس ارزیابی باید تکرارشونده باشد، نه یک بار برای همیشه.
قسمت صوتی این واژه در ۷ اردیبهشت ۱۴۰۶ در «یک دقیقه با ایران اوپن فاینانس» منتشر می‌شود.
واژه‌های مرتبط
توهم مدلModel hallucinationوقتی مدل هوش مصنوعی پاسخی نادرست یا ساختگی را با لحنی مطمئن و باورپذیر ارائه می‌کند.سوگیریBias (in AI)رفتار ناعادلانه یا نامتوازن یک مدل با گروه‌های مختلف، که معمولاً از داده‌های آموزشی یا طراحی سامانه می‌آید.آزمون عامل در شبیه‌سازAgent testing in a simulatorاجرای عامل هوشمند در محیطی با داده نمونه و بدون اثر واقعی، تا رفتارش پیش از اتصال به سامانه‌های واقعی سنجیده شود.رانش مدلModel driftافت تدریجی کیفیت یا تغییر رفتار یک مدل در طول زمان، چون داده‌ها و شرایط دنیای واقعی با زمان ساخت آن فرق کرده است.