بنچمارک جدید Mercor قادر است قابلیتهای عوامل هوش مصنوعی را در وظایف حرفهای مانند حقوق و تحلیلهای شرکتی اندازهگیری کند. در ابتدا، نمرات آنها بسیار ناامیدکننده بود و هر مدل بزرگ، کمتر از ۲۵ درصد کسب میکرد، بنابراین شاید میتوانستیم نتیجه بگیریم که وکلا دستکم فعلاً از جایگزینی توسط هوش مصنوعی در امان هستند.
اما قابلیتهای هوش مصنوعی میتواند تنها در عرض چند هفته به شدت تغییر کند. انتشار Opus 4.6 از شرکت آنتروپیک جدول ردهبندیها را تکان داد، بهطوری که مدل جدید آنتروپیک در آزمایشهای یکمرحلهای امتیاز ۳۰ درصد کسب کرد و زمانی که چند شانس بیشتر برای حل مسئله داده شد، میانگین ۴۵ درصد را به دست آورد. قابل توجه است که این نسخه شامل تعدادی ویژگی جدید عاملمحور بود.
این امتیاز جهش بزرگی نسبت به وضعیت قبلی بوده و نشاندهنده پیشرفت در مدلهای پایه است. برندان فودی، مدیرعامل Mercor که بهطور خاص تحت تأثیر قرار گرفته بود، گفت: «این جهش در عرض چند ماه، واقعاً دیوانهکننده است.»
البته هنوز فاصله زیادی با ۱۰۰ درصد وجود دارد، بنابراین وکلا نیازی نیست که نگران جایگزینی توسط ماشینها در هفته آینده باشند. اما باید اطمینان خود را نسبت به ماه گذشته بسیار کمتر بدانند!
