تبعیض جنسیتی در الگوریتم مبتنی بر هوش مصنوعی استخدام در آمازون

الگوریتم مبتنی بر هوش مصنوعی آمازون برای استخدام نیروی انسانی، عملکردی تبعیض‌آمیز نسبت به استخدام بانوان از خود نشان داد و مورد انتقاد قرار گرفت.

آمازون تصمیم گرفته بود برای رفع مشکلات مربوط به استخدام نیروی انسانی، از ابزار استخدام مبتنی بر هوش مصنوعی استفاده کند. ظاهرا الگوریتم مبتنی بر هوش مصنوعی آمازون برای استخدام که به‌صورت آزمایشی مورد استفاده قرار گرفته بود، رویکردی تبعیض‌آمیز در استخدام بانوان در پیش گرفته بود و به‌همین دلیل آمازون دیگر از این الگوریتم برای استخدام استفاده نمی‌کند.

قرار بود الگوریتم مبتنی بر هوش مصنوعی آمازون، وظیفه‌ی بررسی رزومه‌های استخدامی و امتیازدهی به آن‌ها از یک تا پنج ستاره را برعهده داشته باشد. اما جالب است بدانید که الگوریتم به‌صورت سیستماتیک به رزومه‌ی خانم‌ها برای مشاغل فنی از جمله برنامه‌نویسی امتیاز نمی‌داد. باوجودی که آمازون یکی از شرکت‌های پیشگام در زمینه‌ی فناوری‌های مبتنی بر هوش مصنوعی است؛ اما هنوز نتوانسته ابزار مبتنی بر هوش مصنوعی خود را به‌صورتی توسعه دهد که نسبت به جنسیت عملکردی خنثی داشته باشد. شکست آمازون در این حوزه به ما یادآوری می‌کند که ابزارهای مبتنی بر هوش مصنوعی می‌توانند از طریق برخی منابع مختلف تحت تاثیر قرار بگیرند و رویکرد سوگیرانه از خود نشان دهند.

باور عمومی بر این عقیده استوار است که الگوریتم‌ها باید بتوانند فارغ از هرگونه تعصب یا جانبداری و بدون هیچ‌گونه پیش‌فرض خاصی، تصمیم‌گیری کنند. شاید در مورد تصمیم‌گیری توسط انسان چنین انتظاری را نمی‌توانیم داشته باشیم؛ ولی از الگوریتم‌ها چنین انتظاری می‌رود. اما نتایج نشان می‌دهد که الگوریتم‌ها نیز می‌توانند تحت تاثیر برخی داده‌های اطلاعاتی قرار گرفته و عملکردی سوگیرانه در تصمیم‌گیری‌های خود داشته باشند. همه‌چیز به داده‌های مورد استفاده برای آموزش الگوریتم و هم‌چنین به افرادی که از آن استفاده می‌کنند و حتی عوامل ظاهرا غیرمستقیم بستگی دارد که می‌تواند منجر به سوگیری الگوریتم مبتنی بر هوش مصنوعی شود. الگوریتم‌های AI به‌شکلی آموزش دیده‌اند که بتوانند الگوهایی را در مجموعه‌های داده‌های بزرگ مشاهده کنند و در پیش‌بینی نتایج کمک کنند. الگوریتم مبتنی بر هوش مصنوعی آمازون، وظیفه‌ی بررسی کلیه‌ی رزومه‌های ارائه‌‌شده به شرکت، از ۱۰ سال گذشته تاکنون را برعهده داشت تا بتواند بهترین گزینه‌ی استخدام را از بین متقاضیان مشخص کند.

با توجه به اینکه تعداد خانم‌ها در آمازون همچون سایر شرکت‌های فناوری کمتر از آقایان است؛ الگوریتم مبتنی بر هوش مصنوعی به‌سرعت متوجه این مساله شده و تصور کرده بود که جنسیت مرد به‌معنی اقتدار بیشتر و یکی از عوامل موفقیت در کار درنظر گرفته می‌شود. از آنجایی که الگوریتم از نتایج پیش‌بینی‌های خود برای توسعه‌ و ارتقاء دقت تصمیم‌گیری استفاده می‌کند؛ درنهایت به این نتیجه رسیده بود که جنسیت مونث در فرم‌های رزومه، از اقتدار کمتری در کار برخوردار است و رزومه‌های جنس مونث را به‌صورت سوگیرانه بررسی کرده بود.

در سال‌های قبل، یکی از مشکلات استخدام آمازون توسط نیروی انسانی، رفتارهای نامناسبی همچون سوگیری و تبعیض در حین استخدام بوده است. با توجه به عملکرد الگوریتم مبتنی بر هوش مصنوعی، ظاهرا به‌نظر می‌رسد که الگوریتم نیز رفتارهای مشابهی با نیروی متخصص انسانی در استخدام دارد و به‌شکل دیگری همان سوگیری و رفتارهای تبعیض‌آمیز را از خود نشان می‌دهد.

برخی از الگوریتم‌ها برای پیش‌بینی و ارائه‌ی آنچه کاربران می‌خواهند مشاهده کنند، طراحی می‌شوند. چنین کارکردهایی معمولا در رسانه‌های اجتماعی یا تبلیغات آنلاین دیده می‌شود. وقتی کاربران محتوا یا آگهی‌ها را نشان می‌دهند؛ الگوریتم متقاعد می‌شود که در حال برقراری ارتباط با آن‌ها است. چنین حالت‌های مشابهی در حوزه‌ی استخدام نیروی انسانی نیز گزارش شده است.

یکی از افرادی که قصد استخدام نیروی انسانی داشت اعلام کرد که با استفاده از شبکه‌ی اجتماعی حرفه‌ای، قصد استخدام و یافتن بهترین نیروی انسانی را داشته و جالب است بدانید که پیشنهادهای هوش مصنوعی مشابه همان پیشنهادهایی بود که وی بیشتر در پروفایل‌ آن افراد درگیر شده بود.

در نتیجه، کل گروه‌هایی که به‌صورت بالقوه امکان انتخاب‌شدن را داشتند، به‌صورت سیستماتیک از روند استخدام کاملا حذف شدند. با این وجود، سوگیری تعصب‌آمیز، به دلایل غیرمرتبط دیگری باز هم مشاهده شد. مطالعه‌ی اخیر در مورد چگونگی توسعه‌ی الگوریتم‌های تبلیغاتی برای مشاغل STEM نشان می‌دهد که احتمال نشان دادن تبلیغ آگهی برای مردان بیشتر از زنان است. به‌ دلیل اینکه احتمال بیشتری وجود دارد که مردان روی تبلیغ کلیک کنند، در حالی که هزینه‌ی تبلیغات برای زنان بیشتر خواهد شد.

از آنجایی که قیمت تبلیغات هدفمند برای زنان بیشتر است و زنان ۷۰ تا ۸۰ درصد کلیه‌ی خریدها را به خودشان اختصاص می‌دهند؛ الگوریتم‌های مبتنی بر هوش مصنوعی ظاهرا تصمیم گرفته است تبلیغات بیشتری را برای مردان نسبت به زنان بفرستد تا هزینه‌های کمتری را متحمل شده و ارسال آگهی بیشتری را تجربه کند.

اما اگر الگوریتم‌های مبتنی بر هوش مصنوعی انعکاسی از الگوهای موجود در داده‌هایی که به آن داده می‌شود را به‌نمایش بگذارد یا آنچه که کاربران دوست دارند را نشان بدهد و براساس رفتارهای اقتصادی که در بازار رخ می‌دهد، تصمیم‌گیری کند؛ آیا منصفانه است که انسان‌ها خودشان را برای گرایش‌های نادرست و سوگیرانه سرزنش کنند؟

انتظار می‌رود که الگوریتم‌های تصمیم‌گیری، با روش‌های غیر تبعیض‌آمیز و سوگیرانه عمل کنند. در حالی که چنین روش‌های غیرتبعیض‌آمیزی کمتر در بین انسان‌ها در حین تصمیم‌گیری دیده می‌شود. حتی اگر الگوریتمی رویکردی متعصبانه داشته باشد، ممکن است با توجه به شرایط فعلی وضعیتش بهبود پیدا کند. برای اینکه بتوانیم به‌صورت کامل از فناوری‌های مرتبط با هوش مصنوعی بهره‌مند شویم، باید ببینیم که چه عواملی باعث بروز چنین اتفاقاتی می‌افتد و اجازه بدهیم که ابزارهای مبتنی بر هوش مصنوعی بتوانند بدون دخالت انسان، تصمیم‌گیری کنند.

در سال ۲۰۱۸ میلادی، برای بررسی قدرت تصمیم‌گیری غیر تبعیض‌آمیز الگوریتم‌های مبتنی بر هوش مصنوعی، مطالعه‌ی جدیدی تعریف شد. در این مطالعه، سناریوهای مختلف تصمیم‌گیری در دادگاه‌ها مورد بررسی قرار گرفت. آیا الگوریتم‌های هوش مصنوعی می‌تواند در مورد تعیین وثیقه و آزادبودن برخی متهمان و مجرمان درست تصمیم‌گیری کند. یکی از چالش‌هایی که در برخی دادگاه‌ها در مورد مجرمان مطرح می‌شود این است که اگر قاضی سوگیرانه و تبعیض‌آمیز تصمیم بگیرد و مجرم را با دریافت وثیقه آزاد کند، ممکن است در برخی موارد مسایلی جدی‌تر بروز کند. این مطالعه قصد دارد به بررسی تصمیم‌گیری الگوریتم‌های هوش مصنوعی در چنین مواردی بپردازد. به اعتقاد برخی دست‌اندرکاران این مطالعه، الگوریتم‌های مبتنی بر هوش مصنوعی در چنین کاربردهایی می‌تواند تا ۲۵ درصد باعث کاهش بروز جرم‌ و جنایت در مجرمانی که با وثیقه آزاد می‌شوند، شود.

یکی از دستاوردهای این تحقیق که به‌صورت برجسته‌تری خود را نشان می‌دهد این است که این دستاورد تنها در صورتی محقق خواهد شد که الگوریتم مبتنی بر هوش مصنوعی به‌صورت غیر سوگیرانه و تبعیض‌آمیز تصمیم‌گیری کند. ظاهرا با توجه به آنچه تاکنون گفته شد، بعید به‌نظر می‌رسد که در دنیای واقعی چنین اتفاق بیفتد. در نهایت در دنیای واقعی قاضی باید انتخاب کند که انتخاب الگوریتم هوش مصنوعی را بپذیرد یا آن را رد کند. حتی اگر الگوریتمی به‌خوبی طراحی شده باشد و مردم از آن استفاده نکنند، چنین طراحی اصلا به‌کار نمی‌آید.

البته بسیاری از ما کاربران، در شرایط فعلی نیز در تصمیم‌گیری‌های روزانه‌ی خود از الگوریتم‌های مختلفی استفاده می‌کنیم و به آن اعتماد داریم. از تصیم‌گیری در مورد اینکه با نتفلیکس چه چیزی را ببینیم تا خرید از آمازون جزو چنین مواردی است. اما تحقیقات نشان می‌دهد که وقتی خطایی رخ می‌دهد، مردم اعتماد خود را نسبت به الگوریتم‌ها سریع‌تر از زمانی که خطای انسانی رخ‌ می‌دهد، از دست می‌دهند؛ حتی اگر در نهایت به‌صورت کلی عملکرد الگوریتم بهتر باشد.

به‌عنوان مثال، اگر GPS به اشتباه مسیری با ترافیک زیاد را به شما پیشنهاد بدهد و در ترافیک بمانید و مسیرتان هم طولانی‌تر شود، دفعه‌ی بعد ترجیح می‌دهید از GPS استفاده نکنید. اما اگر انتخاب مسیر با تصمیم‌گیری خودتان باشد و اشتباه کنید، دفعه‌ی بعد اعتمادتان را نسبت به روش تصمیم‌گیری‌تان از دست نمی‌دهید و باز به خودتان اعتماد دارید. اما در مورد الگوریتم‌ها اینطور نیست و با اشتباه کردن، اعتمادتان سلب می‌شود.

در مطالعه‌ی تحقیقاتی در مورد غلبه بر نگرش‌های نگران‌کننده در مورد تصمیم‌گیری الگوریتم‌ها مشخص شد که اگر امکان اصلاح خطا توسط خود فرد در الگوریتم فراهم شده باشد، حتی اگر عملکرد اصلاحی ناقص باشد، کاربران تمایل بیشتری به استفاده از الگوریتم‌ها دارند و خطاهای الگوریتم را می‌پذیرند.

کاربران عموما به‌سرعت اعتماد خود را نسبت به الگوریتم‌ها از دست می‌دهند و بیشتر کاربران وقتی ماشین‌ها ویژگی‌هایی انسانی داشته باشند، بیشتر به آن‌ها اعتماد می‌کنند. براساس تحقیق انجام‌شده در مورد خودروهای خودران، درصورتی که سیستم واقعیت افزوده‌ی خودروی خودران نام، جنسیت و حتی قدرت تکلم کردن داشته باشد؛ کاربران بهتر و راحت‌تر به این سیستم اعتماد می‌کنند و باور دارند که چنین سیستمی قابل‌اعتمادتر است و عملکرد بهتری دارد.

با این وجود، اگر ماشین‌ها بیش از حد نیز شبیه انسان‌ها شوند؛ مجددا کاربران وحشت‌زده خواهند شد و اغلب نمی‌توانند به چنین سیستم‌هایی اعتماد کنند. با تمام صحبت‌هایی که مطرح‌ شد، الگوریتم‌ها نمی‌توانند تصویر کاملی از جامعه‌ای که در آن زندگی می کنیم را منعکس کنند. به‌نظر می‌رسد انسان‌ها تمایل دارند از الگوریتم‌های مبتنی بر هوش مصنوعی شبیه به انسان‌ها و با عملکردی شبیه به کاربر انسانی در ارتباط باشند و از چنین ابزارهایی استفاده کنند. در چنین شرایطی آیا باید باور داشته باشیم که الگوریتم‌ها هم همانند انسان‌ها دارای اشتباهاتی هستند و همانند انسان‌ها خطا می‌کنند؟