شرکت Cerebras Systems به تازگی از ابرکامپیوتر Andromeda AI پرده برداشته که 13.5 میلیون هسته دارد و میتواند برای یادگیری ماشینی استفاده شود. این ابرکامپیوتر بیش از 1 اگزافلاپ توان رایانشی هوش مصنوعی را با نرخ 16 بیت و دقت نیمه ارائه میکند.
ابرکامپیوتر «آندرومدا» از خوشهای 16تایی از کامپیوترهای Cerebras C-2 ساخته شده که به هم وصل شدهاند. هر CS-2 یک تراشه Wafer Scale Engine یا به اختصار WSE-2 دارد که در حال حاضر بزرگترین تراشه تاریخ با اندازه 54 سانتیمتر مربع، 850 هزار هسته و 2.6 میلیارد ترانزیستور است.
شرکت Cerebras این تراشه را در دیتاسنتری در سانتاکلارای کالیفرنیا با هزینهای در حدود 35 میلیون دلار ساخته است. تراشه WSE-2 برای کارهایی مثل مدلهای زبانی بزرگ استفاده میشود و چند وقتی است که در حوزههای دانشگاهی و تجاری به کار گرفته شده است. این شرکت میگوید: «آندرومدا از طریق موازیسازی ساده دادهها در مدلهای زبانی بزرگ کلاس GPT شامل GPT-J, GPT-3 و GPT-NeoX به مقیاسپذیری در سطح نزدیک به ایدهآل دست مییابد.»
مقیاسپذیری ابرکامپیوتر Andromeda به چه صورت است؟
مقیاسپذیری در سطح نزدیک به ایدهآل یعنی وقتی Cerebras کامپیوترهای CS-2 بیشتری را به ابرکامپیوتر Andromeda اضافه کند، زمان آموزش روی شبکههای عصبی کاهش مییابد. بهعلاوه، این شرکت مدعی است که ابرکامپیوتر آنها میتواند کارهایی را انجام دهد که سیستمهای مبتنی بر توان GPU نمیتوانند انجام دهند.
اینکه چه مقدار از ادعاهای Cereberas حقیقت دارد، هنوز مشخص نیست، اما این شرکت در دنیایی که همه به سمت آموزش مدلهای یادگیری ماشینی روی پردازشگرهای گرافیکی انویدیا رفتهاند، مسیر جالبی را انتخاب کرده است.
آندرومدا در مقایسه با برترین ابرکامپیوترهای جهان چه عملکردی خواهد داشت؟ در حال حاضر، ابرکامپیوتر Frontier در آزمایشگاه ملی اوک ریج توانی در حدود 1.1 اگزافلاپ در نرخ 64 بیتی با دقت دوبرابری دارد. گفتنی است که دسترسی به آندرومدا از همین حالا بهصورت از راه دور برای کاربران ممکن است. دانشگاه کمبریج، آزمایشگاه ملی آرگون و دستیار صوتی JasperAI هم مشغول استفاده از این کامپیوتر هستند.