محققان هنوز در تلاش‌اند تا بفهمند چگونه مدل‌های هوش مصنوعی آموزش‌دیده برای تقلید طوطی‌وار از متن‌های اینترنتی می‌توانند کارهای پیشرفته‌ای مانند اجرای کد، بازی کردن و تلاش برای به هم زدن ازدواج را انجام دهند.

هنوز هیچ کس نمی‌داند که ChatGPT و پسرعموهای هوش مصنوعی آن چگونه جهان را متحول خواهند کرد، و یکی از دلایل آن این است که هیچ کس واقعاً نمی‌داند در درون مغز آن‌ها – یا هر چیز دیگری که دارند – چه می‌گذرد. برخی از توانایی‌های این سیستم‌ها بسیار فراتر از آن چیزی است که برای انجام آن آموزش دیده‌اند – و حتی مخترعان آن‌ها در مورد دلیل آن پاسخی ندارند. تعداد فزاینده‌ای از آزمایش‌ها نشان می‌دهد که این سیستم‌های هوش مصنوعی، مدل‌های داخلی خود را توسعه می‌دهند، درست مانند مغز ما، اگرچه تکنیک ماشین‌ها متفاوت است.

الی پاولیک از دانشگاه براون می‌گوید: «بسیار مضحک است اگر بخواهیم هوش مصنوعی را بهتر یا ایمن‌تر کنیم در حالی که نمی‌دانیم چگونه کار می‌کنند.»

او و همکارانش GPT و دیگر مدل‌های زبان بزرگ یا LLM را به خوبی درک می‌کنند. این مدل‌ها بر یک سیستم یادگیری ماشینی به نام شبکه عصبی متکی هستند. چنین شبکه‌هایی ساختاری دارند که به طور آزاد از نورون‌های متصل مغز انسان مدل‌سازی شده‌اند. کد این برنامه‌ها نسبتاً ساده است و فقط چند صفحه است. یک الگوریتم تصحیح خودکار راه‌اندازی می‌کند که محتمل‌ترین کلمه را برای تکمیل متن بر اساس تجزیه‌وتحلیل آماری پر زحمت صدها گیگابایت متن اینترنتی انتخاب می‌کند.

آموزش بیشتر تضمین می‌کند که سیستم نتایج خود را در قالب گفتگو ارائه می‌دهد. از این نظر، تنها کاری که انجام می‌دهد این است که آموخته‌هایش را به ما بازگرداند.

به قول امیلی بندر، زبان‌شناس دانشگاه واشنگتن، این یک «طوطی مقلد تصادفی» است. اما LLMها همچنین موفق شده‌اند آزمون وکالت را به پایان برسانند یا تلاش کنند تا ازدواج کاربران خود را به هم بزنند. تعداد کمی انتظار داشتند که یک الگوریتم تصحیح خودکار نسبتاً ساده بتواند چنین توانایی‌های گسترده‌ای را به نمایش بگذارد.

اینکه GPT و سایر سیستم‌های هوش مصنوعی وظایفی را انجام می‌دهند که برای انجام آن‌ها آموزش ندیده‌اند و به آنها «توانایی‌های اضطراری» می‌دهند، حتی محققانی را که عموماً در مورد جنبه تبلیغاتی LLM بدبین بودند، شگفت‌زده کرده است. ملانی میچل، محقق هوش مصنوعی در موسسه سانتافه می‌گوید: «نمی‌دانم آن‌ها چگونه این کار را انجام می‌دهند یا می‌توانند آن را به طور کلی‌تر به روشی که انسان‌ها انجام می‌دهند انجام دهند یا نه اما نظرات من را به چالش کشیده‌اند.»

یوشوا بنجیو، محقق هوش مصنوعی دانشگاه مونترال می‌گوید: «هوش مصنوعی مسلماً بسیار بیشتر از یک طوطی مقلد تصادفی است، و مطمئناً تا حدودی تصویری از جهان می‌سازد – اگرچه به نظرم شباهتی به تجربه انسانی ندارد.»

در کنفرانسی در دانشگاه نیویورک در ماه مارس، فیلسوف رافائل میلییر از دانشگاه کلمبیا نمونه شگفت‌انگیز دیگری از کارهایی که LLM می‌توانند انجام دهند ارائه کرد. این مدل‌ها قبلاً توانایی نوشتن کدهای کامپیوتری را نشان داده بودند که چشمگیر است اما خیلی تعجب‌آور نیست، زیرا کدهای زیادی در اینترنت برای تقلید وجود دارد. میلییر یک‌قدم فراتر رفت و نشان داد که GPT می‌تواند کد را نیز اجرا کند.

این توانایی بداهه نشان می‌دهد که LLMها یک پیچیدگی داخلی ایجاد می‌کنند که فراتر از یک تحلیل آماری کم عمق است. محققان دریافته‌اند که به نظر می‌رسد این سیستم‌ها به درک واقعی از آنچه آموخته‌اند دست می‌یابند. در مطالعه‌ای که در کنفرانس بین‌المللی نمایش‌های یادگیری (ICLR) ارائه شد، کنت لی دانشجوی دکترا از دانشگاه هاروارد و همکاران محقق هوش مصنوعی او – آسپن کی هاپکینز از موسسه فناوری ماساچوست، دیوید باو از دانشگاه نورث ایسترن، و فرناندا ویگاس هانسپتر فایستر و مارتین واتنبرگ، همگی در هاروارد – کپی کوچک‌تر خود را از شبکه عصبی GPT ایجاد کردند تا بتوانند عملکرد درونی آن را مطالعه کنند. آن‌ها آن را روی میلیون‌ها مسابقه بازی رومیزی اتللو با تغذیه در توالی‌های طولانی از حرکات به صورت متن آموزش دادند. مدل آنها به یک بازیکن تقریباً کامل تبدیل شد.

برای مطالعه نحوه رمزگذاری اطلاعات توسط شبکه عصبی، آنها تکنیکی را اتخاذ کردند که در سال 2016 در دانشگاه مونترال ابداع شد. آنها یک شبکه “کاوشگر” مینیاتوری برای تجزیه‌وتحلیل لایه به لایه شبکه اصلی ایجاد کردند. لی این رویکرد را با روش‌های علوم اعصاب مقایسه می‌کند. او می‌گوید: این شبیه زمانی است که ما یک کاوشگر الکتریکی را در مغز انسان قرار می‌دهیم. در مورد هوش مصنوعی، کاوشگر نشان داد که «فعالیت عصبی» آن با نمایش تخته‌بازی اتللو مطابقت دارد، البته به شکلی پیچیده. برای تأیید این موضوع، محققان کاوشگر را به صورت معکوس اجرا کردند تا اطلاعات را در شبکه جاسازی کنند – به‌عنوان‌مثال، یکی از نشانگرهای سیاه بازی را به قطعه سفید تبدیل کردند. لی می‌گوید: در اصل، ما به مغز این مدل‌های زبانی نفوذ می‌کنیم. شبکه حرکات خود را بر این اساس تنظیم کرد. محققان به این نتیجه رسیدند که هوش مصنوعی اتللو تقریباً مانند یک انسان بازی می‌کند

در سال 2022، تیمی در تحقیقات گوگل و موسسه فناوری فدرال سوئیس در زوریخ – یوهانس فون اسوالد، ایویند نیکلاسون، اتوره راندازو، ژوائو ساکرامنتو، الکساندر موردوینتسف، آندری ژموگینوف و ماکس ولادیمیروف – نشان دادند که یادگیری درون زمینه‌ای از همان محاسبات اولیه پیروی می‌کند. روشی به عنوان یادگیری استاندارد که به عنوان نزول گرادیان شناخته می‌شود. این روش برنامه‌ریزی‌نشده بود. سیستم بدون کمک آن را کشف کرد.

اگرچه LLMها نقاط کور کافی دارند تا به عنوان هوش عمومی مصنوعی یا همان AGI شناخته شوند، اما تجربیات اخیر نشان داده که ما بیش از حد تصور به AGI نزدیک هستیم.

OpenAI جزییات نحوه طراحی و آموزش GPT-4 فاش نکرده، مسئله‌ای که به حفظ اسرار تجاری باز می‌گردد. همین مسئله محققان نگران‌اند که پنجره توانایی آنها برای مطالعه این سیستم‌ها بسته شود.

البته این عدم شفافیت فقط به محققان آسیب نمی‌رساند. بلکه تلاش برای درک تأثیرات اجتماعی پذیرش فناوری هوش مصنوعی می‌شود. به باور محققان شفافیت در مورد این مدل‌ها مهم‌ترین چیز برای اطمینان از ایمنی است.

خلاصه‌ای از مقاله جورج ماسر در Scientific American