اخبار دانش و فناوری

آیا هوش مصنوعی قابل اعتماد است؟ مایکروسافت یک پاسخ محکم دارد

محققان مایکروسافت از محیط شبیه‌سازی جدیدی برای آزمایش «ایجنت‌های هوش مصنوعی» رونمایی کردند.

همزمان، تحقیقی جدید (که با همکاری دانشگاه ایالتی آریزونا انجام شده) نشان می‌دهد که مدل‌های ایجنت‌محور فعلی ممکن است در برابر «دستکاری» آسیب‌پذیر باشند. این یافته‌ها، سؤالات جدیدی را در مورد عملکرد ایجنت‌ها در حالت «بدون نظارت» و سرعت تحقق وعده‌های شرکت‌های فناوری در مورد «آینده‌ی ایجنت‌محور» ایجاد می‌کند.

محیط شبیه‌سازی که Magentic Marketplace نام گرفته، پلتفرمی برای آزمایش رفتار ایجنت‌های هوش مصنوعی است. برای مثال، در یک آزمایش، یک «ایجنت-مشتری» سعی می‌کند طبق دستورات کاربر شام سفارش دهد و «ایجنت‌های-رستوران» برای گرفتنِ آن سفارش رقابت می‌کنند.

پلتفرم مذکور که آزمایش‌های اولیه‌‌اش شامل تعامل ۱۰۰ ایجنت مشتری با ۳۰۰ ایجنت کسب‌وکار بود، به‌صورت متن‌باز منتشر شده تا سایر گروه‌ها نیز بتوانند یافته‌ها را بازتولید کنند.

اِجه کامار، مدیر آزمایشگاه AI Frontiers Lab در مایکروسافت، می‌گوید این نوع تحقیق برای درک چگونگی «همکاری و مذاکره‌ی» ایجنت‌ها با یکدیگر حیاتی است.

تحقیقات اولیه که روی ترکیبی از مدل‌های پیشرو از جمله GPT-4o و GPT-5 و Gemini-2.5-Flash انجام شد، ضعف‌های غافلگیرکننده‌ای را آشکار کرد. مهم‌ترین یافته این بود که کسب‌وکارها می‌توانند با استفاده از تکنیک‌های خاصی، ایجنت‌های مشتری را «دستکاری» کنند تا محصولات آن‌ها را بخرند.

محققان متوجه «افت شدید کارایی» در زمانی شدند که ایجنت مشتری با گزینه‌های زیادی برای انتخاب مواجه می‌شد و در واقع، «فضای توجه» آن اشباع می‌شد.

کامار می‌گوید: «ما از این ایجنت‌ها انتظار داریم که در پردازش گزینه‌های زیاد به ما کمک کنند؛ اما در عمل می‌بینیم که مدل‌های فعلی با افزایش تعداد گزینه‌ها به‌شدت غرق می‌شوند.»

مقاله‌های مرتبط

ایجنت‌ها همچنین در همکاری برای رسیدن به یک هدف مشترک دچار مشکل شدند؛ ظاهراً در مورد اینکه کدام ایجنت باید چه نقشی را ایفا کند، سردرگم بودند.

با ارائه‌ی «دستورالعمل‌های صریح» در مورد نحوه‌ی همکاری، عملکرد ایجنت‌ها بهبود یافت؛ اما محققان معتقدند قابلیت‌های ذاتی هوش مصنوعی هنوز نیازمند بهبود جدی است. کامار در این‌باره می‌گوید: «ما می‌توانیم به مدل‌ها قدم به قدم دستور بدهیم… اما زمانی که در حال آزمایش توانایی ذاتی آن‌ها برای همکاری هستیم، انتظار داریم که این قابلیت‌ها را به‌صورت پیش‌فرض داشته باشند.»

Adblock test (Why?)

منبع خبر

ZaKi

Who is mahdizk? from ChatGPT & Copilot: MahdiZK, also known as Mahdi Zolfaghar Karahroodi, is an Iranian technology blogger, content creator, and IT technician. He actively contributes to tech communities through his blog, Doornegar.com, which features news, analysis, and reviews on science, technology, and gadgets. Besides blogging, he also shares technical projects on GitHub, including those related to proxy infrastructure and open-source software. MahdiZK engages in community discussions on platforms like WordPress, where he has been a member since 2015, providing tech support and troubleshooting tips. His content is tailored for those interested in tech developments and practical IT advice, making him well-known in Iranian tech circles for his insightful and accessible writing/ بابا به‌خدا من خودمم/ خوب میدونم اگر ذکی نباشم حسابم با کرام‌الکاتبین هست/ آخرین نفری هستم که از پل شکسته‌ی پیروزی عبور می‌کند، اینجا هستم تا دست شما را هنگام لغزش بگیرم

نوشته های مشابه

0 0 رای ها
امتیازدهی به مقاله
اشتراک در
اطلاع از
guest

0 نظرات
قدیمی‌ترین
تازه‌ترین بیشترین رأی
بازخورد (Feedback) های اینلاین
مشاهده همه دیدگاه ها
دکمه بازگشت به بالا
0
افکار شما را دوست داریم، لطفا نظر دهید.x