زمان مطالعه: 4 دقیقه
استارتآپ Hugging Face، برای اولین بار در صنعت فناوری، تلاش کرده است تا ردپای کربنی گسترده مدلهای زبانی بزرگ (LLM) را به دقت تخمین بزند.
مدلهای زبانی بزرگ یک راز ناخوشایند دارند؛ آنها برای آموزش و اجرا به مقدار زیادی انرژی نیاز دارند. با این حال، هنوز مشخص نیست که ردپای کربنی این مدلها دقیقاً چقدر بزرگ است. هاگینگفیسمعتقد است که راهی بهتر برای محاسبه آن یافته است؛ روشی که نه تنها انتشار گازهای گلخانهای در طول فرآیند آموزش، بلکه انتشار گازها در کل چرخه عمر مدل را در نظر میگیرد.
این رویکرد میتواند گامی مؤثر برای ارائه دادههای واقعیتر از سوی شرکتهای فناوری درباره تأثیر محصولات هوش مصنوعی آنها بر محیطزیست باشد؛ موضوعی که کارشناسان مدتهاست بر اهمیت آن تأکید میکنند. یافتههای Hugging Face در قالب مقالهای منتشر شدهاند که هنوز داوری علمی نشده است.
محاسبه ردپای کربنی مدل BLOOM
برای آزمایش رویکرد جدید خود، هاگینگفیس ردپای کربنی مدل زبانی بزرگ خود به نام BLOOM را تخمین زد. BLOOM در اوایل امسال معرفی شد و محاسبه ردپای کربنی آن شامل جمعآوری دادههای مختلف بود:
- انرژی مصرفشده برای آموزش مدل روی یک ابرکامپیوتر،
- انرژی لازم برای تولید سختافزار ابرکامپیوتر
- نگهداری زیرساختهای محاسباتی، و انرژی مصرفشده برای اجرای BLOOM پس از استقرار آن.
برای محاسبه مرحله آخر، تیم Hugging Face از ابزاری به نام CodeCarbon استفاده کرد که انتشار گاز دیاکسیدکربن BLOOM را در زمان واقعی طی ۱۸ روز ردیابی کرد.
بر اساس این محاسبات، آموزش BLOOM منجر به تولید ۲۵ تن متریک دیاکسیدکربن شد. اما با در نظر گرفتن انتشار گازهای ناشی از تولید تجهیزات کامپیوتری، زیرساختهای محاسباتی، و انرژی مصرفشده برای اجرای مدل، این مقدار دو برابر شد و به ۵۰ تن متریک دیاکسیدکربن رسید.
مقایسه ردپای کربنی مدلهای زبانی
اگرچه ۵۰ متریک تن دیاکسیدکربن برای یک مدل عدد بزرگی به نظر میرسد (معادل ردپای کربن حدود ۶۰ پرواز بین لندن و نیویورک) این مقدار بهطور قابل توجهی کمتر از انتشار گازهای گلخانهای سایر مدلهای زبانی بزرگ مشابه است.
دلیل این تفاوت، استفاده از یک ابرکامپیوتر فرانسوی برای آموزش BLOOM است که عمدتاً با انرژی هستهای تأمین میشود و دیاکسیدکربن تولید نمیکند. مدلهایی که در کشورهایی مانند چین، استرالیا یا برخی مناطق ایالات متحده آموزش داده میشوند، به دلیل وابستگی شبکههای انرژی آنها به سوختهای فسیلی، آلودگی بیشتری ایجاد میکنند.
پس از عرضه BLOOM، Hugging Face تخمین زد که اجرای این مدل روزانه حدود ۱۹ کیلوگرم دیاکسیدکربن تولید میکند، که معادل رانندگی حدود 86 کیلیومتر با یک خودرو جدید است.
برای مقایسه، مدل GPT-3 شرکت OpenAI و مدل OPT شرکت Meta بهترتیب بیش از ۵۰۰ تن و ۷۵ تن متریک دیاکسیدکربن در طول فرآیند آموزش تولید کردهاند. انتشار بالای GPT-3 به دلیل استفاده از سختافزار قدیمیتر و کمبازدهتر در فرآیند آموزش است. با این حال، به دلیل نبود استاندارد مشخص برای اندازهگیری انتشار گاز دیاکسیدکربن، این ارقام بر اساس تخمینهای خارجی یا دادههای محدود منتشرشده توسط شرکتها هستند.
هدف: کاهش تأثیرات زیستمحیطی هوش مصنوعی
«ساشا لوچونی»، محقق Hugging Face و نویسنده اصلی این مقاله، میگوید:
«هدف ما فراتر رفتن از محاسبه دیاکسیدکربن ناشی از مصرف برق در طول آموزش بود و تلاش کردیم بخشهای بیشتری از چرخه عمر مدل را در نظر بگیریم تا به جامعه هوش مصنوعی کمک کنیم درک بهتری از تأثیرات زیستمحیطی خود داشته باشند و راههایی برای کاهش آن پیدا کنند.»
این مقاله استاندارد جدیدی برای سازمانهایی که مدلهای هوش مصنوعی توسعه میدهند، ایجاد میکند. «اما استروبِل»، استاد علوم کامپیوتر در دانشگاه کارنگی ملون، که مقالهای مهم درباره تأثیر هوش مصنوعی بر تغییرات آبوهوایی در سال ۲۰۱۹ نوشته بود، میگوید:
«این مقاله دقیقترین، صادقانهترین و آگاهانهترین تحلیل از ردپای کربنی یک مدل یادگیری ماشین بزرگ است که تا به امروز دیدهام.»
نیاز به شفافیت بیشتر
«لین کاک»، استاد علوم کامپیوتر و سیاست عمومی در مدرسه Hertie برلین، میگوید این مقاله برخی از اعداد بسیار بزرگ مرتبط با انتشار گازهای گلخانهای را روشن میکند، اما هنوز کار بیشتری برای درک تأثیرات زیستمحیطی مدلهای زبانی بزرگ در دنیای واقعی لازم است.
او میگوید: «تخمین این بخش بسیار سختتر است، به همین دلیل اغلب نادیده گرفته میشود.»
کاک مقالهای را در نشریه Nature منتشر کرده است که روشی برای اندازهگیری تأثیرات غیرمستقیم ناشی از سیستمهای هوش مصنوعی پیشنهاد میکند. برای مثال، الگوریتمهای پیشنهاددهنده و تبلیغاتی میتوانند افراد را به خرید بیشتر ترغیب کنند، که به نوبه خود انتشار دیاکسیدکربن بیشتری ایجاد میکند.
ردپای کربنی هوش مصنوعی در صنعت فناوری
برآوردها نشان میدهد که بخش فناوری جهانی مسئول ۱.۸ تا ۳.۹ درصد از انتشار گازهای گلخانهای در جهان است. اگرچه تنها بخش کوچکی از این انتشارها مربوط به هوش مصنوعی و یادگیری ماشین است، ردپای کربنی هوش مصنوعی همچنان برای یک حوزه خاص در صنعت فناوری بسیار بالا است.
با درک بهتر میزان انرژی مصرفشده توسط سیستمهای هوش مصنوعی، شرکتها و توسعهدهندگان میتوانند تصمیمهای آگاهانهتری درباره توازن میان هزینهها و آلودگی بگیرند.
راهی به سوی هوش مصنوعی کارآمدتر
نویسندگان مقاله امیدوارند که شرکتها و محققان بتوانند راههایی برای توسعه مدلهای زبانی بزرگ پیدا کنند که ردپای کربنی کمتری داشته باشند. «سیلوین ویگور»، یکی از نویسندگان مقاله و مدیر برنامههای کاربردی در شرکت Graphcore، میگوید این تحقیق ممکن است محققان را به سمت روشهای کارآمدتر، مانند تنظیم مدلهای موجود بهجای توسعه مدلهای بزرگتر و پرمصرفتر، سوق دهد.
«دیوید رولنیک»، استاد علوم کامپیوتر در دانشگاه مکگیل و موسسه هوش مصنوعی Mila، میگوید: «تأثیرات هوش مصنوعی اجتنابناپذیر نیستند. آنها نتیجه انتخابهایی هستند که درباره نحوه استفاده از الگوریتمها و نوع الگوریتمهای مورد استفاده میگیریم.»
این مقاله نهتنها یک هشدار برای شرکتهای بزرگ فناوری است، بلکه فرصتی برای آغاز گفتوگوی جدی درباره روشهای کاهش اثرات زیستمحیطی هوش مصنوعی فراهم میکند.
