یادگیری ماشینی و تغییرات اقلیمی/ فناوری‌های نوین به کمک زمین می‌آیند؟

به گزارش خبرنگار حوزه علم، فناوری و دانش‌بنيان گروه دانشگاه خبرگزاری آنا، در اوایل ماه جاری میلادی، شرکت پژوهشی غیرانتفاعی هوش مصنوعی OpenAI  اعلام کرد بزرگترین مدل هوش مصنوعی در تاریخ را ساخته است و این مدل بزرگ، با نام GPT 3، یک دستاورد فنی چشمگیر به حساب می‌آید. با این حال، این رویداد، روندی نگران کننده و مضر در زمینه هوش مصنوعی را برجسته می‌کند؛ مسئله‌ای که هنوز به اندازه‌ کافی مورد توجه قرار نگرفته است و قطعا به زودی بیشتر در مورد آن خواهیم شنید.

بیشتر بخوانید: هوش مصنوعی و رازهای پنهان کیهانی/ نجوم با فناوری جدید متحول شد

مدل‌های مدرن هوش مصنوعی مقدار زیادی انرژی مصرف می‌کنند و این نیاز روزافزون به انرژی با سرعت قابل توجهی در حال رشد است. در عصر یادگیری عمیق، منابع محاسباتی مورد نیاز برای تولید بهترین مدل‌های هوش مصنوعی به طور متوسط طی ​​هر 3 ماه دو برابر شده است، به عبارت دیگر از سال 2012 تاکنون منابع مورد نیاز رایانه‌‌ای برای کاربردهای فناوری 300 هزار برابر شده و مدل GPT 3 صرفا جدیدترین تجسم این مسیر نمایی است.

به میزان کل انتشار گاز گلخانه‌ای ایجاد شده توسط سازمان‌ها، رویدادها یا محصولات و اشخاص، "تاثیرات کربن" گفته می‌شود. هوش مصنوعی، تاثیرات کربن معناداری دارد و اگر روند این صنعت به همین منوال ادامه داشته باشد به زودی بسیار بدتر خواهد شد. تا زمانی که ارزیابی مجدد و اصلاح روند پیشرفت فناوری در دستور کار قرار نگیرد، این فناوری می‌تواند تبدیل به یک دشمن بزرگ در مبارزه با تغییرات آب و هوایی طی سال‌های آینده شود.

GPT 3 این پدیده را به خوبی نشان می‌دهد. این مدل متشکل از پروژه‌ای است که ارزش پارامترهای آن 175 میلیارد دلار تخمین زده شده است. برای اینکه برآورد صحیحی در مورد گستردگی این حوزه داشته باشید کافی است این رقم را با مدل پیشین یعنی GPT 2 مقایسه کنید که پارامترهای آن فقط 1.5 میلیارد بود. مشکل مدل‌های بزرگتر هوش مصنوعی این است که ساخت و استقرار این مدل‌ها مستلزم صرف عظیم انرژی و در نتیجه انتشار کربن است.

در یک مطالعه گسترده که در سال 2019 مورد بحث و بررسی قرار گرفته است، گروهی از محققان به سرپرستی اِما استروبل(Emma Strubell) تخمین زدند که پیاده‌سازی تنها یک مدل یادگیری عمیق می‌تواند تا 284 هزار و 19 کیلوگرم کربن‌دی‌اکسید تولید کند یعنی تقریبا معادل کل اثر کربنی که در طول چرخه‌‌ عمر پنج اتومبیل بر جای می‌ماند.

البته بی‌تردید این برآورد برای یک مدل پرمصرف انرژی است و آموزش و پیاده‌سازی یک مدل یادگیری ماشین نرمال ​​به مراتب کمتر از این رقم کربن تولید می‌کند. از سوی دیگر، لازم به یادآوری است که هنگامی که این تجزیه و تحلیل انجام می‌شد، مدلGPT 2  به عنوان بزرگترین مدل موجود برای مطالعه شناخته می‌شد و توسط محققان به عنوان حد بالایی مدل مورد استفاده قرار گرفته بود. این در حالی است کهGPT 2  در کمتر از یک سال نسبت به جانشین خود، صد برابر کوچکتر به نظر می‌رسد.

چرا مدل‌های یادگیری ماشین انرژی زیادی مصرف می‌کنند؟

دلیل اصلی این است که مجموعه داده‌های مورد استفاده برای این مدل‌ها بسیار بزرگ هستند. به الگوبرداری و پیاده‌سازی قابلیت‌های پردازش زبانی مغز انسان توسط کامپیوتر، NLP یا پردازش زبان طبیعی گفته می‌شود. بنابراین فرایند تشخیص در این حوزه بسیار مهم است. در سال 2018، مدل BERT  پس از آن که روی مجموعه داده‌ای با 3 میلیارد کلمه مسلط شد بهترین عملکرد را در کلاس NLPبه دست آورد. XLNet   از BERT بهتر عمل کرد زیرا آموزش کلمات را تا 32 میلیارد کلمه ارتقاء داد. اندکی پس از آن،GPT 2  با 40 میلیارد کلمه وارد شد. و اکنون GPT 3 با مجموعه داده 500 میلیارد کلمه‌ای تمام تلاش‌های قبلی را کوچک نشان می‌دهد.

شبکه‌های عصبی مصنوعی، سیستم‌ها و روش‌های کامپیوتری جدید برای یادگیری ماشین، نمایش دانش و اعمال آن دانش در جهت بیش‌بینی پاسخ‌ سیستم‌های پیچیده هستند. ایده اصلی شبکه‌های عصبی مصنوعی برگرفته از عملکرد دستگاه عصبی زیستی انسان است. شبکه‌های عصبی مصنوعی، مجموعه‌ای گسترده از عملیات ریاضی را برای هر قطعه از داده‌هایی که در طول پیاده‌سازی استفاده می‌شوند، محاسبه می‌کنند و پارامترهای خود را به روش‌های پیچیده بروزرسانی می‌کنند. طبعا مجموعه داده‌های بزرگتر نیازهای محاسباتی و انرژی بیشتری دارند.

یکی دیگر از عواملی که منجر به مصرف انرژی عظیم فناوری می‌شود، آزمایش گسترده برای تهیه یک مدل است. امروزه یادگیری ماشین عمدتا یک تمرین آزمون و خطا است. محققان معمولا صدها نسخه از یک مدل معین را در طول آموزش ایجاد می‌کنند و قبل از دست یافتن به یک طراحی بهینه، با معماری‌های مختلف عصبی آزمایش می‌کنند.

مقاله 2019 که در بالا ذکر شد شامل یک مطالعه موردی نیز بود. محققان مدل متوسطی را انتخاب کردند - بسیار کوچکتر از مدل GPT 3 و فقط انرژی مورد نیاز نسخه نهایی را مورد بررسی قرار ندادند، اما تعداد کل آزمایش‌هایی که منجر به تولید نسخه نهایی شد را نیز حساب کردند. در طول شش ماه، 4،789 نسخه مختلف تست شد، که به 9998 واحد GPU نیاز داشت. با در نظر گرفتن همه این موارد، محققان تخمین می‌زنند که ساختن این مدل در کل بیش از 35380 کیلوگرم کربن‌دی‌اکسید تولید می‌کند.

مصرف انرژی و انتشار کربن

نباید فراموش کرد فرایند آموزش در هوش مصنوعی فقط آغاز چرخه عمر یک مدل است. پس از حصول یک مدل، آن را در دنیای واقعی باید استفاده کرد. استفاده از مدل‌های هوش مصنوعی در دنیای واقعی حتی بیشتر از بخش آموزش، انرژی مصرف می‌کند. NVidia تخمین می‌زند که 80 تا 90 درصد از هزینه شبکه عصبی در نتیجه مرحله استنباط است(در پیاده‌سازی عملی) و نه آموزش.

به عنوان نمونه، هوش مصنوعی  در یک خودروی خودران را در نظر بگیرید. خودروهای خودران به اتومبیل‌هایی گفته می‌شود که به راننده نیازی ندارند. شبکه‌های عصبی ابتدا باید به صورت مقدماتی آموزش داده شوند تا یاد بگیرند که اتومبیل چطور به صورت خودکار رانندگی کند. پس از اتمام آموزش و استقرار برنامه در وسیله نقلیه خودمختار، این مدل استنتاج به صورت مداوم  و هر روز باید بتواند محیط خود را شناسایی و حرکت کند.

مسئله اصلی، رابطه بین مصرف انرژی فناوری و انتشار کربن است. براساس گزارش EPA(سازمان حفاظت از محیط زیست)، یک کیلووات ساعت مصرف انرژی به طور متوسط ​​حدودا 450 گرم کربن‌دی‌اکسید تولید می‌کند. این عدد میانگینی از متوسط تاثیر کربن و نسبت‌های منابع مختلف انرژی(به عنوان مثال، تجدید پذیر، هسته‌ای، گاز طبیعی، زغال سنگ) است. در مقاله‌ استروبل نیز تمام منابع لحاظ شده است. 

البته، اگر یک مدل هوش مصنوعی برق‌محور که از منابع تجدیدپذیر استفاده می‌کند را به عنوان مدل اصلی در نظر بگیریم، تاثیر کربن نیز به همین ترتیب پایین‌تر خواهد بود. به عنوان مثال، پلتفرم ابر گوگل به دلیل همین استفاده از منابع تجدیدپذیر برقی در قیاس با آمازون تاثیر کربن کمتری دارد(17 درصد در برابر 56 درصد). یا به عنوان مثال دیگر، مدلی که در زمینه سخت افزار واقع در شمال غربی اقیانوس آرام آموزش داده می‌شود، به دلیل وجود نیروی برق فراوان در آن منطقه، کربن کمتری تولید می‌کند.  

در مجموع، فناوری‌های جدید مانند یادگیری ماشین، هوش مصنوعی، رایانش ابری و اینترنت اشیاء  مبتنی بر محاسبات بسیار زیادی هستند که به لطف منابع پردازشی و کلان‌داده‌ها انجام می‌گیرد و همزمان منابع انرژی زیادی را مصرف می‌کند که تاثیرات کربنی را در پی خواهد داشت.

انتهای پیام/4144/