تکنیکهای جدید MIT و NVIDIA انقلابی در شتاب تانسور پراکنده برای هوش مصنوعی ایجاد میکنند
محققان MIT و NVIDIA دو تکنیک را برای بهبود پردازش تانسورهای پراکنده، بهبود عملکرد و کارایی انرژی در مدلهای یادگیری ماشینی هوش مصنوعی ایجاد کردهاند. این تکنیکها پردازش با ارزش صفر را بهینه میکنند و HighLight الگوهای پراکندگی مختلف را در خود جای میدهد و Tailors و Swiftiles استفاده از حافظه روی تراشه را از طریق «رزرو بیش از حد» به حداکثر میرسانند. پیشرفتها پیشرفتهای قابلتوجهی در سرعت و مصرف انرژی ارائه میکنند و شتابدهندههای سختافزاری تخصصیتر اما انعطافپذیر را ممکن میسازند.
رویکردهای اضافی-HighLight و Tailors و Swiftiles- میتوانند عملکرد را در کارهای سخت یادگیری ماشین بهبود بخشند.
محققان از MIT و NVIDIA دو تکنیک را توسعه داده اند که پردازش تانسورهای پراکنده را تسریع می بخشد، نوعی ساختار داده که برای کارهای محاسباتی با کارایی بالا استفاده می شود. تکنیکهای اضافی میتوانند منجر به بهبود قابل توجهی در عملکرد و بهرهوری انرژی سیستمهایی مانند مدلهای عظیم یادگیری ماشینی شوند که هوش مصنوعی مولد را هدایت میکنند.
مقابله با پراکندگی در تانسورها
تانسورها ساختارهای داده ای هستند که توسط مدل های یادگیری ماشین استفاده می شوند. هر دو روش جدید به دنبال استفاده بهینه از چیزی هستند که به عنوان پراکندگی – مقادیر صفر – در تانسورها شناخته میشود. هنگام پردازش این تانسورها، می توانید صفرها را نادیده بگیرید و محاسبات و حافظه را ذخیره کنید. به عنوان مثال، هر چیزی که در صفر ضرب شود، صفر است، بنابراین می تواند این عملیات را رد کند. و می تواند تانسور را فشرده کند (صفرها نیازی به ذخیره ندارند) بنابراین می توان بخش بزرگتری را در حافظه تراشه ذخیره کرد.
با این حال، چندین چالش برای استفاده از نادری وجود دارد. یافتن مقادیر غیر صفر در یک تانسور بزرگ کار آسانی نیست. رویکردهای موجود اغلب مکانهای مقادیر غیرصفر را با تحمیل یک مدل پراکندگی برای سادهسازی جستجو محدود میکنند، اما این تنوع تانسورهای پراکنده را که میتوانند به طور کارآمد پردازش شوند، محدود میکند.
محققان MIT و NVIDIA دو تکنیک مکمل را توسعه دادهاند که میتواند به طور چشمگیری سرعت و عملکرد برنامههای محاسباتی با کارایی بالا مانند تجزیه و تحلیل گراف یا هوش مصنوعی تولیدی را افزایش دهد. هر دو روش جدید به دنبال استفاده موثر از پراکندگی – مقادیر صفر – در تانسورها هستند. اعتبار: خوزه لوئیس اولیوارس، MIT
چالش دیگر این است که تعداد مقادیر غیر صفر می تواند در مناطق مختلف تانسور متفاوت باشد. این امر تعیین میزان فضای مورد نیاز برای ذخیره مناطق مختلف حافظه را دشوار می کند. برای اطمینان از تناسب منطقه، اغلب فضای بیشتری نسبت به نیاز اختصاص داده میشود که منجر به استفاده ناکافی از بافر ذخیرهسازی میشود. این باعث افزایش ترافیک حافظه خارج از تراشه می شود که مصرف انرژی را افزایش می دهد.
شناسایی کارآمد یک مقدار غیر تهی
محققان MIT و NVIDIA دو راه حل برای رفع این مشکلات ایجاد کرده اند. از یک طرف، آنها تکنیکی را توسعه دادند که به سخت افزار اجازه می دهد تا مقادیر غیر صفر را برای طیف گسترده تری از الگوهای پراکندگی به طور موثر پیدا کند.
برای راهحل دیگر، آنها روشی را ایجاد کردند که میتواند مواردی را که دادهها در حافظه جا نمیشوند، مدیریت کند، که استفاده از بافر ذخیرهسازی را افزایش میدهد و ترافیک حافظه خارج از تراشه را کاهش میدهد.
هر دو روش باعث افزایش عملکرد و کاهش انرژی مورد نیاز شتاب دهنده های سخت افزاری می شوند که به طور خاص برای تسریع پردازش تانسورهای پراکنده طراحی شده اند.
«معمولاً، وقتی از شتابدهندههای سختافزاری تخصصیتر یا مخصوص دامنه استفاده میکنید، انعطافپذیری را که از پردازندههای همهمنظورهتر مانند CPU دریافت میکنید، از دست میدهید. ویوین سی، دانشیار گروه مهندسی برق و علوم کامپیوتر MIT (EECS)، عضو آزمایشگاه تحقیقاتی، میگوید: تفاوت این دو کار این است که ما نشان میدهیم که شما همچنان میتوانید انعطافپذیری و سازگاری را حفظ کنید، در حالی که متخصص و کارآمد هستید. الکترونیک (RLE) و یکی از نویسندگان مقالات در هر دو پیشرفت ها.
نویسندگان همکار او عبارتند از یانان نلی وو، نویسندگان اصلی، دکترای 23 و زی یو ژو، دانشجوی مهندسی برق و علوم کامپیوتر. و یکی از نویسندگان ارشد جوئل ایمر، استاد علوم کامپیوتر و مهندسی برق در MIT و عضو آزمایشگاه علوم کامپیوتر و هوش مصنوعی (CSAIL)، و همچنین سایرین در NVIDIA. هر دو مقاله در سمپوزیوم بین المللی IEEE/ACM در زمینه ریزمعماری ارائه خواهند شد.
معرفی HighLight: یک شتاب دهنده انعطاف پذیر
پراکندگی می تواند در یک تانسور به دلایل مختلفی رخ دهد. به عنوان مثال، محققان گاهی اوقات بخشهای غیرضروری مدلهای یادگیری ماشین را با جایگزین کردن برخی مقادیر در تانسور با صفر، «هرس» میکنند و پراکندگی ایجاد میکنند. درجه نادر بودن (درصد صفرها) و مکان صفرها ممکن است بین مدل ها متفاوت باشد.
برای آسانتر کردن یافتن مقادیر غیرصفر باقیمانده در یک الگوی با میلیاردها مقدار جداگانه، محققان اغلب مکان مقادیر غیر صفر را به گونهای محدود میکنند که در یک الگوی خاص قرار گیرند. با این حال، هر شتاب دهنده سخت افزاری معمولاً برای پشتیبانی از یک الگوی پراکنده خاص طراحی شده است که انعطاف پذیری آن را محدود می کند.
در مقابل، یک شتاب دهنده سخت افزاری طراحی شده توسط محققان MIT به نام HighLight می تواند طیف گسترده ای از الگوهای پراکنده را کنترل کند و همچنان هنگام اجرای الگوهای غیر صفر عملکرد خوبی دارد.
آنها از تکنیکی استفاده میکنند که آن را «پراکندگی با ساختار سلسله مراتبی» مینامند تا به طور کارآمد طیف گستردهای از الگوهای پراکندگی را که از چندین الگوی پراکندگی ساده تشکیل شدهاند، نشان دهند. این رویکرد مقادیر موجود در یک تانسور را به بلوک های کوچکتر تقسیم می کند، جایی که هر بلوک الگوی پراکندگی ساده خود را دارد (شاید دو صفر و دو غیر صفر در یک بلوک چهار مقدار).
سپس آنها بلوک ها را در یک سلسله مراتب ترکیب می کنند که در آن هر مجموعه از بلوک ها نیز الگوی کمیاب ساده خود را دارند (شاید یک بلوک صفر و سه بلوک غیر صفر در یک ردیف چهار بلوکی). آنها به ترکیب بلوک ها در سطوح بزرگتر ادامه می دهند، اما الگوها در هر مرحله ساده باقی می مانند.
این سادگی به HighLight اجازه میدهد تا با کارایی بیشتری تهیها را بیابد و از آن بگذرد تا بتواند از این فرصت برای کاهش محاسبات اضافی نهایت استفاده را ببرد. بهطور میانگین، طراحی شتابدهنده آنها تقریباً شش برابر محصول تأخیر انرژی (معیار مربوط به بهرهوری انرژی) بهتر از سایر روشها است.
وو توضیح میدهد: «در نهایت، شتابدهنده HighLight میتواند به طور موثر مدلهای متراکم را شتاب دهد، زیرا سربار زیادی را وارد نمیکند و در عین حال میتواند از بارهای کاری با مقادیر مختلف تهی بر اساس پراکندگی ساختار سلسله مراتبی استفاده کند.
در آینده، او و همکارانش میخواهند پراکندگی ساختاری سلسله مراتبی را برای انواع بیشتری از مدلهای یادگیری ماشین و انواع مختلف تانسورها در مدلها اعمال کنند.
پردازش داده ها را با Tailors و Swiftiles به حداکثر برسانید
محققان همچنین می توانند از پراکندگی برای جابجایی و پردازش کارآمدتر داده ها روی یک تراشه کامپیوتری استفاده کنند.
از آنجایی که تانسورها اغلب بزرگتر از آن چیزی هستند که می توان در بافر حافظه تراشه ذخیره کرد، تراشه در هر زمان تنها بخشی از تانسور را می گیرد و پردازش می کند. به قطعات کاشی می گویند.
برای به حداکثر رساندن استفاده از این بافر و محدود کردن تعداد دفعاتی که تراشه باید به حافظه خارج از تراشه دسترسی پیدا کند، که اغلب بر مصرف انرژی غالب است و سرعت پردازش را محدود میکند، هدف محققان استفاده از بزرگترین دای است که در بافر قرار میگیرد.
اما در یک تانسور پراکنده، بسیاری از مقادیر داده ها صفر هستند، بنابراین یک کاشی حتی بزرگتر از آنچه که ممکن است بر اساس ظرفیت آن انتظار می رود، می تواند در بافر قرار بگیرد. مقادیر تهی نباید ذخیره شوند.
با این حال، تعداد صفرها می تواند در مناطق مختلف تانسور متفاوت باشد، بنابراین آنها می توانند برای هر کاشی نیز متفاوت باشند. این امر تعیین اندازه کاشی مناسب در بافر را دشوار می کند. در نتیجه، رویکردهای موجود اغلب به طور محافظهکارانه فرض میکنند که صفر وجود ندارد و در نهایت کاشی کوچکتری را انتخاب میکنند که در نتیجه فضاهای بافر هدر میرود.
برای مقابله با این عدم قطعیت، محققان استفاده از “بیش از حد رزرو” را پیشنهاد می کنند تا به آنها اجازه دهد اندازه کاشی را افزایش دهند، و همچنین راهی برای تحمل آن در صورتی که کاشی متناسب با بافر نباشد.
این کار شبیه به هواپیمایی است که بلیط هواپیما بیشتری رزرو می کند. اگر همه مسافران حاضر شوند، شرکت هواپیمایی باید به کسانی که توسط هواپیما برخورد کرده اند غرامت بدهد. اما معمولا همه مسافران حاضر نمی شوند.
در یک تانسور پراکنده، اندازه کاشی را می توان طوری انتخاب کرد که معمولاً کاشی ها به اندازه کافی صفر داشته باشند که بیشتر آنها در بافر قرار بگیرند. اما گاهی اوقات یک کاشی مقادیر غیرصفری بیشتری نسبت به آن دارد. در این حالت، این داده ها از بافر پاک می شوند.
محققان به سخت افزار اجازه می دهند که فقط داده های دریافتی را بدون گرفتن و پردازش مجدد کل کاشی دوباره واکشی کند. آنها “انتهای پشتی” بافر را برای رسیدگی به این تغییر می دهند، از این رو نام این تکنیک، Tailors است.
سپس آنها همچنین رویکردی برای یافتن اندازه کاشی ایجاد کردند که از رزرو بیش از حد استفاده می کند. این روش که Swiftiles نام دارد، به سرعت اندازه کاشی ایده آل را تخمین می زند به طوری که درصد مشخص شده توسط کاربر از کاشی ها سرریز می شود. (نامهای «خیاطها» و «سوئیفتایلز» به تیلور سوئیفت ادای احترام میکنند، که تور اخیر Eras او با کدهای پیشخرید بیش از حد رزرو شده پر شده بود).
Swiftiles تعداد دفعاتی را که سخت افزار باید تانسور را برای شناسایی اندازه کاشی ایده آل بررسی کند، کاهش می دهد و در محاسبه صرفه جویی می کند. ترکیبی از Tailors و Swiftiles سرعت را بیش از دو برابر می کند در حالی که تنها به نیمی از توان مورد نیاز شتاب دهنده های سخت افزاری موجود نیاز دارد که نمی توانند اضافه بار را تحمل کنند.
Swiftiles به ما امکان می دهد بدون نیاز به تکرارهای متعدد برای اصلاح تخمین، تخمین بزنیم که این کاشی ها چقدر باید باشند. این فقط به این دلیل کار می کند که رزرو بیش از حد پشتیبانی می شود. Xue میگوید حتی اگر مقدار مناسبی منحرف شوید، باز هم میتوانید به دلیل نحوه توزیع غیرصفرها، کمی سرعت بیشتری داشته باشید.
در آینده، محققان میخواهند ایده افزونگی بیش از حد را در سایر جنبههای معماری رایانه اعمال کنند و همچنین برای بهبود فرآیند تخمین سطح بهینه افزونگی بیش از حد تلاش کنند.
منابع:
«هایلایت: شتاب کارآمد و انعطافپذیر DNNها با پراکندگی ساختار سلسله مراتبی» نوشته یانان نلی وو، پو-آن تسای، ساوراو مورالیدهران، انگشومان پاراشار، ویوین سی، و جوئل اس.امر، 1 اکتبر 2023. علوم کامپیوتر > معماری سخت افزار.
arXiv: 2305.12718
خیاطان: جبر تانسور پراکنده با رزرو بیش از حد ظرفیت بافر توسط زی یو ژو، یانان نلی وو، جوئل اس. امر و ویوین سی، 29 سپتامبر 2023، علوم کامپیوتر > معماری سخت افزار.
arXiv: 2310.00192
این تحقیق تا حدی توسط برنامه سخت افزار هوش مصنوعی MIT تامین می شود.



