مدیریت ریسک هوش مصنوعی
AI risk management
شناسایی، سنجش و کنترل خطرهایی که بهکارگیری هوش مصنوعی برای مشتری، سازمان و بازار ایجاد میکند، در تمام عمر سامانه.
مدیریت ریسک هوش مصنوعی فرایندی مداوم برای شناسایی، سنجش، کاهش و پایش خطرهای یک سامانه هوشمند است؛ از طراحی تا کنار گذاشتن آن. خطرها میتوانند فنی باشند، مثل توهم مدل و رانش مدل، امنیتی باشند، مثل حمله تزریق دستور، یا انسانی و حقوقی، مثل سوگیری و نقض حریم داده.
یک رویکرد رایج این است که کاربردها بر اساس اثر و برگشتپذیری دستهبندی شوند: کاربردهای کمخطر با کنترل سبکتر پیش میروند و کاربردهای پرخطر، مثل تصمیم اعتباری یا جابهجایی پول، به ارزیابی دقیقتر، تأیید انسانی، سقف اختیار و نظارت مستمر نیاز دارند.
قسمت صوتی این واژه در ۲۰ مهر ۱۴۰۶ در «یک دقیقه با ایران اوپن فاینانس» منتشر میشود.
واژههای مرتبط
حکمرانی هوش مصنوعیAI governanceچارچوب قواعد، نقشها و فرایندهایی که تعیین میکند یک سازمان چگونه هوش مصنوعی را امن، منصفانه و پاسخگو به کار بگیرد.رانش مدلModel driftافت تدریجی کیفیت یا تغییر رفتار یک مدل در طول زمان، چون دادهها و شرایط دنیای واقعی با زمان ساخت آن فرق کرده است.حمله تزریق دستورPrompt injectionحملهای که در آن دستورهای مخرب در متن یا دادهای که عامل میخواند پنهان میشود تا رفتار عامل را منحرف کند.سقف اختیارAuthority limitحد بالایی که یک عامل در هر اقدام یا در یک بازه زمانی نمیتواند از آن فراتر برود، مثل سقف مبلغ یا تعداد عملیات.تأیید انسانیHuman approvalمرحلهای که در آن اقدام پیشنهادی عامل هوشمند، پیش از اجرا، باید از سوی یک انسان مسئول بررسی و تأیید شود.