یک کسبوکار کوچک که با آن کار کردم، ماهها از یک ابزار غربالگری هوش مصنوعی استفاده میکرد پیش از آنکه کسی به فکر بررسی سوگیری آن بیفتد — نه از سر بیدقتی، بلکه چون هیچکس به آنها نگفته بود که این بررسی لازم است. آنچه ممیزی یافت، الگوریتمی سرکش که عمداً تصمیمهای ناعادلانه بگیرد نبود. مجموعهدادهٔ آموزشی بود که بیصدا الگویی را رمزگذاری کرده بود که هیچکس متوجهش نشده بود، و متغیری جایگزین که از طرف مدل تبعیض قائل میشد. (جزئیات هویتی برای حفظ محرمانگی تغییر داده شدهاند؛ الگوی زیر نمایندهٔ چیزی است که این ممیزیها همواره آشکار میکنند.)
روش ممیزیای که به کار میگیرم
ممیزی سوگیری یک آزمون واحد نیست — چهار بررسی جداگانه است که به ترتیب انجام میشوند. نخست، هر ویژگی حمایتشدهای را که تصمیمهای سیستم ممکن است بهطور مستقیم یا غیرمستقیم با آن همبستگی داشته باشند شناسایی کنید: سن، جنس، قومیت، معلولیت و مانند آن. دوم، آزمون اثر نابرابر را با مقایسهٔ نرخ نتایج میان گروهها اجرا کنید — قاعدهٔ چهارپنجم (نرخ انتخاب هر گروه کمتر از ۸۰٪ نرخ گروهِ دارای بهترین عملکرد) آستانهای مفید و جاافتاده برای شروع است، نه بهتنها تضمینی حقوقی برای انصاف. سوم، موارد مرزی را عمداً بیازمایید — درخواستها و ورودیهای غیرعادی که مدل در عملکرد عادی بهندرت میبیند و سوگیری اغلب همانجا پنهان میشود، چون دادهٔ معمول کافی برای میانگینگیری وجود ندارد. چهارم، و بیش از همه نادیدهگرفتهشده: متغیرهای جایگزین را بررسی کنید — فیلدهایی که خودشان ویژگی حمایتشده نیستند اما همبستگی قوی با یکی از آنها دارند.
آنچه ممیزی واقعاً یافت
آزمون اثر نابرابر، شکافی در نرخ انتخاب را نشان داد که درست در لبهٔ آستانهٔ چهارپنجم قرار داشت — بهخودیخود چندان نگرانکننده به نظر نمیرسید، و دقیقاً به همین دلیل دیده نشده بود. با بررسی ورودیهای مدل، یک فیلد برجسته شد: کد پستی، که بهعنوان جایگزینی بهظاهر منطقی برای فاصلهٔ رفتوآمد گنجانده شده بود. کد پستی در بریتانیا با شماری از ویژگیهای حمایتشده بیش از آنچه بیشتر تیمها فرض میکنند همبستگی دارد، و در این مورد بیصدا تبعیضی غیرمستقیم ایجاد میکرد که طراحان مدل هرگز قصدش را نداشتند و هرگز آن را نیازموده بودند.
در هیچ جای این زنجیره کسی با سوءنیت عمل نکرده بود. دادهها بازتاب سالها تصمیم استخدامی گذشته بودند که هرگز از نظر همین الگو ممیزی نشده بودند، و مدل با وفاداری آموخت که آنها را تکرار کند. این بخش ناخوشایند بیشتر ممیزیهای سوگیری است: الگوریتم تعصب ابداع نمیکند؛ هر الگویی را که از قبل بیصدا در دادههای تاریخی نشسته بود، خودکار و در مقیاس بزرگ تکرار میکند.
راهحل همیشه بازآموزی مدل نیست
واکنش غریزی به چنین یافتهای این است: «مدل را بدون آن فیلد بازآموزی کنید.» گاهی این درست است. اما بیشتر وقتها راهحل ماندگارتر فرایندی است: متغیر جایگزین را حذف کنید، آزمون اثر نابرابر را دوباره اجرا کنید تا مطمئن شوید شکاف واقعاً بسته شده و فقط به یک متغیر جایگزین دیگر منتقل نشده است، و برنامهٔ ممیزی دورهای برقرار کنید تا با تغییر دادههای زیربنایی، این مشکل بیصدا بازنگردد. یک وصلهٔ فنی یکباره بدون بررسی دورهای، راهحلی است که با بهروزرسانی بعدی دادههای آموزشی منقضی میشود.
چرا این موضوع مهم است، حتی اگر هنوز کسی شکایت نکرده باشد
کسبوکارهایی که از این موضوع آسیب میبینند، آنهایی نیستند که سیستم هوش مصنوعی آشکارا بیملاحظه دارند — آنهایی هستند که فرض کردهاند اتوماسیونی که منطقی طراحی شده نیازی به بررسی ندارد، تا لحظهای که یک متقاضی، روزنامهنگار یا ناظر همان آزمون اثر نابرابر را از بیرون، بدون آگاهی از زمینه یا حسن نیت، اجرا کند. ممیزی سوگیری پیشگیرانه یک تمرین حاکمیتی است. همان ممیزی پس از شکایت، واکنش به بحران است — و از هر جهت هزینهٔ بسیار بیشتری دارد.
دربارهٔ نویسنده — دکتر مهدی سیفی، PhD، MBA، مهندس
مشاور راهبرد و حاکمیت هوش مصنوعی مستقر در میلتون کینز. بنیانگذار و مدیر ارشد هوش مصنوعی VisionXY7، و مدرس ارشد و مدیر برنامهٔ کارشناسی ارشد تحلیلگری کسبوکار در دانشگاه نورتهمپتون. دکترا (تحلیلگری کسبوکار مبتنی بر هوش مصنوعی، دانشگاه لیورپول) · MBA · ممیز ارشد و مجری ISO/IEC 27001 · بیش از ۲۵ سال تجربهٔ فناوری اطلاعات و اجرا در بیش از ۱۰۰ پروژه.