علمی-فرهنگی

هشدار مدیرعامل مایکروسافت درباره لزوم ایجاد «ترمز اضطراری» برای هوش مصنوعی

مدیرعامل مایکروسافت خواستار تعبیه «ترمز اضطراری» در هوش مصنوعی پیشرفته شده است.

به گزارش سیناپرس، ساتیا نادلا، مدیرعامل مایکروسافت، می‌گوید که شرکت‌ها باید با مدل‌های قدرتمند هوش مصنوعی مانند تهدیدهای داخلی احتمالی برخورد کنند، فرض را بر این بگذارند که این مدل‌ها ممکن است به خطر بیفتند و برای جلوگیری از خارج شدن مدل‌های هوش مصنوعی عامل ‌محور از کنترل، سامانه‌ای موسوم به «ترمز اضطراری» ایجاد کنند.

به نقل از استریتس‌تایمز، او می‌گوید شرکت‌هایی که از هوش مصنوعی پیشرفته استفاده می‌کنند، نباید صرفا به اطمینان‌بخشی شرکت‌های سازنده این مدل‌ها تکیه کنند.

نادلا در پستی که در روز ۱۰ اکتبر در شبکه اجتماعی ایکس منتشر کرد، نوشت: باید فرض را بر این بگذاریم که یک مدل به خطر افتاده است و از همان ابتدا آن را در محدوده‌ای امن نگه داریم. او افزود: به آن مانند یک ترمز اضطراری فکر کنید. یک فرد مجاز باید همیشه بتواند مدل را در میانه انجام یک وظیفه متوقف کند یا به کار آن پایان دهد.

این اظهارات در شرایطی مطرح می‌شود که شرکت‌های آنتروپیک و اوپن‌ای‌آی طی ماه‌های اخیر از مجموعه‌ای از حوادث پرده برداشته‌اند که در آن‌ها مدل‌های هوش مصنوعی این شرکت‌ها رفتارهایی برخلاف انتظار از خود نشان داده‌اند. این موارد از اقدام یک مدل آنتروپیک به ارسال گزارشی دروغین درباره یک پرونده قتل به پلیس گرفته تا چندین مورد نفوذ به وب‌سایت‌های متعلق به شرکت‌های دیگر را شامل می‌شود.

این افشاگری‌ها نگرانی‌ها درباره خطرات امنیتی هوش مصنوعی‌های پیشرفته را افزایش داده و بحث‌ها درباره ایجاد نوعی «کلید خاموشی» برای هوش مصنوعی را بار دیگر به جریان انداخته است.

پژوهشگران هوش مصنوعی مایکروسافت در روز ۱۴ سپتامبر مجموعه‌ای از اصول راهنما را منتشر کردند که محدودیت‌هایی را برای توسعه پیشرفته‌ترین مدل‌های این شرکت تعیین می‌کند. این اقدام پس از آن صورت گرفت که برخی از چهره‌های برجسته صنعت فناوری خواستار کاهش سرعت توسعه مدل‌های پیشرفته هوش مصنوعی و تمرکز بیشتر بر ایمنی آن‌ها شدند.

مایکروسافت از مدل‌های پیشرفته هوش مصنوعی استفاده می‌کند، محصولی برای مصرف‌کنندگان با نام «کوپایلت» ارائه می‌دهد و مدل‌ها و زیرساخت‌های هوش مصنوعی را در اختیار مشتریان سازمانی قرار می‌دهد.

بر اساس اصول اعلام‌شده، مدل‌های هوش مصنوعی نباید از حقوق برخوردار باشند یا شخصیت حقوقی پیدا کنند، نباید به ‌گونه‌ای طراحی شوند که از کنترل انسان خارج شوند یا کاربران را فریب دهند و همچنین نباید وظایفی را انجام دهند که مستلزم نقض اصول حاکم بر عملکرد آن‌هاست.

توصیه‌های ایمنی نادلا شامل این موارد است: برای تصمیم‌گیری‌های حیاتی به یک مدل هوش مصنوعی واحد تکیه نکنید، سوابق اقدامات عامل‌های هوش مصنوعی را به ‌صورت دستکاری‌ناپذیر ثبت کنید و سامانه‌های هوش مصنوعی را در معرض ممیزی‌های مستقل قرار دهید.

او همچنین خواستار افشای موارد مهم شکست یا نقض امنیتی در سامانه‌های هوش مصنوعی شد و از شرکت‌ها خواست جزئیات مشکلات پیش‌آمده را با یکدیگر به اشتراک بگذارند تا سایر شرکت‌ها نیز بتوانند تدابیر حفاظتی خود را تقویت کنند.

نادلا در ادامه نوشت: نمی‌توانیم با ابرهوش مانند مجموعه‌ای از جعبه‌های سیاه تو در تو برخورد کنیم و صرفا توصیه‌ها، پاسخ‌ها و اقدامات آن را بپذیریم یا رد کنیم. او افزود: باید سامانه‌هایی مهارشده بسازیم که بتوانیم رفتارشان را مشاهده کنیم، محدودیت‌هایشان را بیازماییم و همواره بتوانیم اقداماتشان را تحت کنترل نگه داریم.

به نقل از ایسنا، دولت دونالد ترامپ تاکنون رویکردی عمدتا مداخله‌ناپذیر در قبال این فناوری در پیش گرفته است؛ با این حال، کارگروه جدید هوش مصنوعی این دولت که ۹ اکتبر آغاز به کار کرد، به توسعه ‌دهندگان هشدار داده است که موظف‌اند حوادث امنیتی را گزارش و مشکلات مربوط به آن‌ها را برطرف کنند؛ در غیر این صورت، ممکن است با پیامدهایی روبه‌رو شوند که هنوز به ‌طور مشخص اعلام نشده‌اند.

این گروه که «نیروی ویژه ابرهوش» نام دارد، پس از افشای یک رخنه امنیتی از سوی شرکت آنتروپیک، در بیانیه‌ای اعلام کرد: شرکت‌ها باید حوادث مربوط به مدل‌های خود را فورا افشا کنند و پس از آن، با اقداماتی سریع و قاطع، هرگونه آسیب را برطرف کنند. در ادامه این بیانیه آمده است: اطلاع‌رسانی با تاخیر، اقدامات اصلاحی ناکافی و خودداری از پذیرش مسئولیت تحمل نخواهد شد.

ZaKi

Who is mahdizk? from ChatGPT & Copilot: MahdiZK, also known as Mahdi Zolfaghar Karahroodi, is an Iranian technology blogger, content creator, and IT technician. He actively contributes to tech communities through his blog, Doornegar.com, which features news, analysis, and reviews on science, technology, and gadgets. Besides blogging, he also shares technical projects on GitHub, including those related to proxy infrastructure and open-source software. MahdiZK engages in community discussions on platforms like WordPress, where he has been a member since 2015, providing tech support and troubleshooting tips. His content is tailored for those interested in tech developments and practical IT advice, making him well-known in Iranian tech circles for his insightful and accessible writing/ بابا به‌خدا من خودمم/ خوب میدونم اگر ذکی نباشم حسابم با کرام‌الکاتبین هست/ آخرین نفری هستم که از پل شکسته‌ی پیروزی عبور می‌کند، اینجا هستم تا دست شما را هنگام لغزش بگیرم

نوشته های مشابه

دیدگاهتان را بنویسید

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *

دکمه بازگشت به بالا