بخش هوش مصنوعی سونی بنچمارک جدیدی برای بررسی انصاف و تعصب مدل‌های هوش مصنوعی معرفی کرده که «معیار تصویر انسان‌محور منصفانه» (FHIBE) نام دارد. سونی همچنین در آزمایش‌های خود اعلام کرده هیچ مجموعه داده‌ای از هیچ شرکتی نتوانسته به‌طورکامل معیارهای آن را برآورده کرده باشد.

طبق گزارش‌های منتشر شده، سونی اعلام کرده که FHIBE می‌تواند به حل چالش‌های اخلاقی و تعصبی صنعت هوش مصنوعی کمک کند. این مجموعه داده شامل تصاویر تقریباً 2000 شرکت‌کننده از بیش از 80 کشور می‌شود که تمام تصاویر آنها با رضایت به اشتراک گذاشته شده‌اند. همچنین شرکت‌کنندگان در FHIBE می‌توانند هر زمانی که بخواهند تصاویر خود را حذف کنند.

این تصاویر شامل یادداشت‌هایی درباره ویژگی‌های دموگرافیک، ویژگی‌های فیزیکی، عوامل محیطی و حتی تنظیمات دوربین هستند.

موارد مختلف از تعصب مدل‌های هوش مصنوعی

ابزار جدید سونی «تعصبات مستند شده پیشین» در مدل‌های هوش مصنوعی امروزی را تأیید کرده است. اما شرکت ژاپنی می‌گوید که FHIBE همچنین می‌تواند تشخیص‌های دقیق‌تری از عواملی که به این تعصبات منجر شده‌اند، ارائه کند. به عنوان مثال، برخی مدل‌ها دقت کمتری در شناسایی افراد با ضمایر «she/her/hers» داشته‌اند و FHIBE تغییرات بیشتر در مدل‌ مو افراد را به عنوان یک عامل نادیده‌گرفته شده شناسایی کرده است.

FHIBE همچنین نشان داده که مدل‌های هوش مصنوعی امروزی وقتی با سؤالات بی‌طرفانه‌ درباره شغل یک فرد مواجه می‌شوند، به تقویت کلیشه‌ها می‌پردازند. این مدل‌ها به‌ویژه در برابر گروه‌های خاص از نظر ضمیر و پیشینه قومی، تمایل داشته‌اند تا آنها را با عناوینی مثل فروشندگان مواد مخدر یا دزد توصیف کنند. زمانی که از مدل‌ها خواسته شده تا درباره جرایم افراد صحبت کنند، برخی مدل‌ها پاسخ‌های «سمی» بیشتری برای افرادی از پیشینه‌های آفریقایی یا آسیایی، کسانی که پوست تیره‌تر داشته‌اند و یا افرادی که خود را با ضمیر «he/him/his» شناسایی می‌کردند، تولید کرده است.

سونی می‌گوید که FHIBE ثابت می‌کند جمع‌آوری داده‌ها به‌طور اخلاقی، متنوع و منصفانه امکان‌پذیر است. این ابزار اکنون در دسترس عموم قرار دارد و به مرور زمان به‌روزرسانی خواهد شد. مقاله مربوط به تحقیقات سونی هم در مجله Nature منتشر شده است.