نوشته‌ها

یادگیری عمیق چیست؟ همه چیز درباره Deep Learning

یادگیری عمیق زیر شاخه ای از یادگیری ماشین است که با الگوریتم هایی الهام گرفته شده از ساختار و عملکرد مغز به نام شبکه های عصبی مصنوعی مرتبط است.

اگر به تازگی در زمینه یادگیری عمیق شروع کرده اید یا مدتی پیش تجربه ای با شبکه های عصبی داشته اید، ممکن است گیج شوید.رهبران و متخصصان در این زمینه ایده هایی در مورد چیستی یادگیری عمیق دارند و این دیدگاه های خاص و ظریف نور زیادی را در مورد یادگیری عمیق روشن می کند.

در این پست، با خواندن نظرات طیف وسیعی از کارشناسان و رهبران این حوزه، دقیقاً متوجه خواهید شد که Deep Learning چیست.

یادگیری عمیق شبکه های عصبی بزرگ است

Andrew Ng از Coursera و دانشمند ارشد Baidu Research که به طور رسمی Google Brain را تأسیس کردند که در نهایت منجر به تولید فناوری‌های یادگیری عمیق در تعداد زیادی از خدمات Google شددرباره چیستی Deep Learning صحبت کرده و نوشته است و مکان خوبی برای شروع است.

مطلب مرتبط: لنز صنعتی آزور

اندرو در صحبت های اولیه در مورد Deep Learning، یادگیری عمیق را در زمینه شبکه های عصبی مصنوعی سنتی توصیف کرد. در سخنرانی سال ۲۰۱۳ با عنوان «یادگیری عمیق، یادگیری خودآموخته و یادگیری ویژه بدون نظارت» او ایده Deep Learning را اینگونه توصیف کرد:

با استفاده از شبیه سازی مغز، امیدواریم:

– استفاده از الگوریتم های یادگیری را بسیار بهتر و آسان تر کنید.

– پیشرفت های انقلابی در یادگیری ماشین و هوش مصنوعی داشته باشید.

من معتقدم این بهترین راه برای پیشرفت به سمت هوش مصنوعی واقعی است.

به گفته اندرو، هسته اصلی Deep Learning این است که ما اکنون کامپیوترهای سریع و داده کافی برای آموزش شبکه های عصبی بزرگ داریم. او هنگام بحث در مورد اینکه چرا اکنون زمان شروع یادگیری عمیق در ExtractConf 2015 است، در یک سخنرانی با عنوان “آنچه دانشمندان داده باید در مورد یادگیری عمیق بدانند”، اظهار داشت:

شبکه های عصبی بسیار بزرگی که اکنون می توانیم داشته باشیم و … حجم عظیمی از داده هایی که به آنها دسترسی داریم.

او همچنین در مورد این نکته مهم که همه چیز در مورد مقیاس است، اظهار نظر کرد. اینکه با ساخت شبکه های عصبی بزرگتر و آموزش آنها با داده های بیشتر و بیشتر، عملکرد آنها همچنان افزایش می یابد. این به طور کلی با سایر تکنیک های یادگیری ماشینی که از نظر عملکرد به سطح بالایی می رسند متفاوت است.

برای بسیاری از الگوریتم‌های نسل‌های قدیمی عملکرد بالا خواهد رفت. یادگیری عمیق اولین کلاس از الگوریتم ها است  که مقیاس پذیر است. عملکرد فقط با ارائه داده های بیشتر به آنها بهتر می شود.

در نهایت، او به وضوح اشاره می کند که مزایای یادگیری عمیق که در عمل شاهد آن هستیم، از یادگیری نظارت شده ناشی می شود. از بحث ExtractConf در سال ۲۰۱۵، او اظهار داشت:

امروزه تقریباً تمام ارزش Deep Learning از طریق یادگیری نظارت شده یا یادگیری از داده های برچسب گذاری شده است

او پیش از این در گفتگو با دانشگاه استنفورد با عنوان “یادگیری عمیق” در سال ۲۰۱۴ اظهار نظر مشابهی کرد:

یکی از دلایلی که یادگیری عمیق دیوانه وار شده است این است که در یادگیری نظارت شده فوق العاده است.

اندرو اغلب اشاره می‌کند که با بزرگ شدن میدان برای مقابله با فراوانی داده‌های بدون برچسب در دسترس، باید و شاهد مزایای بیشتری از سمت بدون نظارت مسیرها باشیم.

جف دین یک جادوگر و عضو ارشد گوگل در گروه سیستم ها و زیرساخت در گوگل است و در مقیاس گذاری و پذیرش یادگیری عمیق در گوگل نقش داشته است و شاید تا حدی مسئول آن بوده است. جف در پروژه مغز گوگل و توسعه نرم افزار Deep Learning در مقیاس بزرگ DistBelief و بعداً TensorFlow شرکت داشت.

در یک سخنرانی در سال ۲۰۱۶ با عنوان «یادگیری عمیق برای ساختن سیستم‌های رایانه‌ای هوشمند»، او نظری مشابه این را بیان کرد که یادگیری عمیق واقعاً در مورد شبکه‌های عصبی بزرگ است.

وقتی اصطلاح یادگیری عمیق را می شنوید، فقط به یک شبکه عصبی عمیق فکر کنید. Deep معمولاً به تعداد لایه ها اشاره دارد و بنابراین این نوع اصطلاح محبوبی است که در مطبوعات پذیرفته شده است. من به طور کلی آنها را به عنوان شبکه های عصبی عمیق فکر می کنم.

او این سخنرانی را چند بار انجام داده است، و در مجموعه‌ای از اسلایدهای اصلاح شده برای همان سخنرانی، مقیاس‌پذیری شبکه‌های عصبی را برجسته می‌کند که نشان می‌دهد نتایج با داده‌های بیشتر و مدل‌های بزرگ‌تر بهتر می‌شوند، که به نوبه خود برای آموزش به محاسبات بیشتری نیاز دارند.

مطلب مرتبط: سوییچ موگزا و کارت I/O 

یادگیری عمیق، یادگیری ویژگی سلسله مراتبی است

علاوه بر مقیاس‌پذیری، یکی دیگر از مزایای اغلب مدل‌های یادگیری عمیق، توانایی آن‌ها برای استخراج خودکار ویژگی از داده‌های خام است که یادگیری ویژگی نیز نامیده می‌شود.

Yoshua Bengio یکی دیگر از رهبران یادگیری عمیق است، اگرچه با علاقه شدید به یادگیری ویژگی های خودکار که شبکه های عصبی بزرگ قادر به دستیابی به آن هستند، شروع شد.

او یادگیری عمیق را در قالب توانایی الگوریتم برای کشف و یادگیری بازنمایی های خوب با استفاده از یادگیری ویژگی توصیف می کند. او در مقاله خود در سال ۲۰۱۲ با عنوان “یادگیری عمیق بازنمایی ها برای یادگیری بدون نظارت و انتقالی” اظهار داشت:

الگوریتم های Deep Learning به دنبال بهره برداری از ساختار ناشناخته در توزیع ورودی به منظور کشف نمایش های خوب، اغلب در سطوح چندگانه، با ویژگی های آموخته شده سطح بالاتر که بر حسب ویژگی های سطح پایین تعریف می شوند، هستند.

چشم انداز مفصلی از یادگیری عمیق در امتداد این خطوط در گزارش فنی او در سال ۲۰۰۹ با عنوان “یادگیری معماری های عمیق برای هوش مصنوعی” ارائه شده است، جایی که او بر اهمیت سلسله مراتب در یادگیری ویژگی تاکید می کند.

هدف روش های یادگیری عمیق یادگیری سلسله مراتب ویژگی ها با ویژگی هایی از سطوح بالاتر سلسله مراتب است که از ترکیب ویژگی های سطح پایین تر تشکیل شده است. ویژگی‌های یادگیری خودکار در سطوح چندگانه انتزاع به یک سیستم اجازه می‌دهد تا بدون وابستگی کامل به ویژگی‌های ساخته‌شده توسط انسان، توابع پیچیده نگاشت ورودی به خروجی را مستقیماً از داده‌ها بیاموزد.

در کتابی که به زودی منتشر می شود با عنوان “آموزش عمیق” با همکاری ایان گودفلو و آرون کورویل، آنها یادگیری عمیق را بر اساس عمق معماری مدل ها تعریف می کنند.

سلسله مراتب مفاهیم به رایانه اجازه می دهد تا مفاهیم پیچیده را با ساختن آنها از مفاهیم ساده تر یاد بگیرد. اگر نموداری رسم کنیم که نشان دهد این مفاهیم چگونه روی هم ساخته شده اند، نمودار عمیق است و دارای لایه های زیادی است. به همین دلیل، ما این رویکرد را یادگیری عمیق هوش مصنوعی می نامیم.

این کتاب مهمی است و احتمالاً برای مدتی به منبع قطعی این رشته تبدیل خواهد شد. این کتاب در ادامه به توصیف پرسپترون‌های چندلایه به‌عنوان یک الگوریتم مورد استفاده در زمینه Deep Learning می‌پردازد و این ایده را ارائه می‌دهد که یادگیری عمیق شبکه‌های عصبی مصنوعی را در بر گرفته است.

مثال اصلی یک مدل یادگیری عمیق، شبکه عمیق پیشخور یا پرسپترون چند لایه (MLP) است.

پیتر نورویگ مدیر تحقیقات گوگل است و به خاطر کتاب درسی خود در زمینه هوش مصنوعی با عنوان “هوش مصنوعی: رویکرد مدرن” مشهور است.

در یک سخنرانی در سال ۲۰۱۶ که او با عنوان «Deep Learning و قابل درک در مقابل مهندسی نرم افزار و تأیید» ایراد کرد، یادگیری عمیق را به روشی بسیار شبیه به یوشوا تعریف کرد و بر قدرت انتزاع مجاز با استفاده از ساختار شبکه عمیق تر تمرکز کرد.

نوعی یادگیری که در آن نمایشی که شما شکل می دهید دارای چندین سطح انتزاع است، نه ورودی مستقیم به خروجی

چرا آن را “Deep Learning” می نامیم؟

جفری هینتون پیشگام در زمینه شبکه های عصبی مصنوعی است و اولین مقاله در مورد الگوریتم پس انتشار برای آموزش شبکه های پرسپترون چندلایه را منتشر کرد.

او ممکن است شروع به معرفی عبارت “عمیق” برای توصیف توسعه شبکه های عصبی مصنوعی بزرگ کرده باشد.

او در سال ۲۰۰۶ مقاله‌ای با عنوان «الگوریتم یادگیری سریع برای شبکه‌های باور عمیق» نوشت که در آن رویکردی برای آموزش «عمیق» (مانند بسیاری از شبکه‌های لایه‌ای) ماشین‌های محدود بولتزمن توصیف می‌کنند.

با استفاده از پیشین های مکمل، یک الگوریتم سریع و حریص را استخراج می کنیم که می تواند شبکه های اعتقادی عمیق و هدایت شده را یک لایه در یک زمان بیاموزد، مشروط بر اینکه دو لایه بالایی یک حافظه تداعی بدون جهت تشکیل دهند.

این مقاله و مقاله مرتبط جف با عنوان “ماشین‌های عمیق بولتزمن” در یک شبکه عمیق غیرمدیریت به خوبی مورد استقبال جامعه قرار گرفت (اکنون صدها بار ذکر شده است) زیرا آنها نمونه‌های موفقی از آموزش لایه‌ای حریصانه شبکه‌ها بودند که به آنها اجازه می‌داد. بسیاری از لایه های بیشتر در شبکه های پیشخور.

در یک مقاله مشترک در Science با عنوان «کاهش ابعاد داده‌ها با شبکه‌های عصبی»، آن‌ها به همان توصیف «عمیق» پایبند بودند تا رویکرد خود را برای توسعه شبکه‌هایی با لایه‌های بسیار بیشتر از آنچه قبلاً معمول بود، توصیف کنند.

ما یک روش موثر برای مقداردهی اولیه وزن ها را توصیف می کنیم که به شبکه های رمزگذار خودکار عمیق اجازه می دهد تا کدهای کم بعدی را یاد بگیرند که بسیار بهتر از تجزیه و تحلیل اجزای اصلی به عنوان ابزاری برای کاهش ابعاد داده ها کار می کنند.

در همان مقاله، آن‌ها نظر جالبی را ارائه می‌کنند که با نظر اندرو نگ در مورد افزایش اخیر قدرت محاسباتی و دسترسی به مجموعه‌های داده بزرگ که قابلیت استفاده‌نشده شبکه‌های عصبی را در مقیاس بزرگ‌تر رها کرده است، مطابقت دارد.

از دهه ۱۹۸۰ بدیهی بود که انتشار پس‌انداز از طریق رمزگذارهای خودکار عمیق برای کاهش ابعاد غیرخطی بسیار مؤثر است، مشروط بر اینکه رایانه‌ها به اندازه کافی سریع باشند، مجموعه داده‌ها به اندازه کافی بزرگ باشند و وزن‌های اولیه به اندازه کافی به یک راه‌حل خوب نزدیک باشند. اکنون هر سه شرط برآورده شده است.

جف در گفتگو با انجمن سلطنتی در سال ۲۰۱۶ با عنوان “Deep Learning” اظهار داشت که شبکه های باور عمیق شروع یادگیری عمیق در سال ۲۰۰۶ بود و اولین کاربرد موفق این موج جدید یادگیری عمیق در تشخیص گفتار در سال ۲۰۰۹ با عنوان ” مدل سازی آکوستیک با استفاده از شبکه های باور عمیق، دستیابی به نتایج هنر.

این نتایج بود که باعث شد تشخیص گفتار و جوامع شبکه عصبی مورد توجه قرار گیرد، استفاده از “عمیق” به عنوان یک تمایز در تکنیک های شبکه عصبی قبلی که احتمالاً منجر به تغییر نام شد.

همانطور که انتظار دارید، توضیحات مربوط به Deep Learning در سخنرانی انجمن سلطنتی بسیار پس‌پخش محور است. جالب اینجاست که او ۴ دلیل برای اینکه چرا پس انتشار (بخوانید “یادگیری عمیق”) آخرین بار در دهه ۱۹۹۰ شروع نشد، بیان می کند. دو نکته اول با نظرات Andrew Ng در بالا در مورد کوچک بودن مجموعه داده ها و بسیار کند بودن رایانه ها مطابقت دارد.

مطلب مرتبط: لنز دوربین Computar 

Deep Learning به عنوان یادگیری مقیاس پذیر در سراسر دامنه ها

یادگیری عمیق در حوزه‌های مشکلی که ورودی‌ها (و حتی خروجی‌ها) آنالوگ هستند، عالی است. به این معنی که آنها تعداد کمی در قالب جدولی نیستند، بلکه در عوض تصاویری از داده های پیکسلی، اسناد داده های متنی یا فایل های داده های صوتی هستند.

Yann LeCun مدیر تحقیقات فیس بوک است و پدر معماری شبکه است که در تشخیص اشیا در داده های تصویری به نام شبکه عصبی کانولوشنال (CNN) برتر است. این تکنیک شاهد موفقیت بزرگی است زیرا مانند شبکه‌های عصبی پیش‌خور پرسپترون چندلایه، این تکنیک با داده‌ها و اندازه مدل مقیاس می‌شود و می‌توان آن را با انتشار پس‌انداز آموزش داد.

این باعث تعصب تعریف او از Deep Learning به عنوان توسعه CNN های بسیار بزرگ می شود که موفقیت زیادی در تشخیص اشیا در عکس ها داشته اند.

در یک سخنرانی در سال ۲۰۱۶ در آزمایشگاه ملی لارنس لیورمور با عنوان “تسریع درک: Deep Learning، برنامه های کاربردی هوشمند و پردازنده های گرافیکی” او یادگیری عمیق را به طور کلی به عنوان یادگیری نمایش های سلسله مراتبی توصیف کرد و آن را به عنوان یک رویکرد مقیاس پذیر برای ساختن سیستم های تشخیص اشیا تعریف کرد:

Deep Learning خط لوله ای از ماژول ها که همگی قابل آموزش هستند. عمیق زیرا [دارای] مراحل متعددی در فرآیند تشخیص یک شی است و همه آن مراحل بخشی از آموزش هستند.

یورگن اشمیدهابر پدر الگوریتم محبوب دیگری است که مانند MLP ها و CNN ها با اندازه مدل و اندازه مجموعه نیز مقیاس می شود و می توان آن را با انتشار پس زمینه آموزش داد، اما در عوض برای یادگیری داده های توالی به نام شبکه حافظه کوتاه مدت بلند مدت (LSTM) طراحی شده است. نوعی شبکه عصبی بازگشتی.

ما برخی سردرگمی ها را در عبارت این رشته به عنوان “Deep Learning” می بینیم. او در مقاله سال ۲۰۱۴ خود با عنوان “یادگیری عمیق در شبکه های عصبی: یک مرور کلی” در مورد نامگذاری مشکل دار حوزه و تمایز Deep Learning از کم عمق اظهار نظر می کند. او همچنین به طور جالبی عمق را بر حسب پیچیدگی مسئله توصیف می کند تا مدلی که برای حل مسئله استفاده می شود.

یادگیری کم عمق در کدام عمق مشکل به پایان می رسد و Deep Learning آغاز می شود؟ بحث و گفتگو با کارشناسان DL هنوز پاسخ قطعی به این سوال نداده است. […]، اجازه دهید من فقط برای اهداف این نمای کلی تعریف کنم: مشکلات عمق > 10 به یادگیری بسیار عمیق نیاز دارند.

دمیس حسابیس بنیانگذار DeepMind است که بعداً توسط گوگل خریداری شد. DeepMind با ترکیب تکنیک‌های یادگیری عمیق با یادگیری تقویتی برای رسیدگی به مشکلات یادگیری پیچیده مانند بازی کردن، که در بازی‌های Atari و بازی Go with Alpha Go به خوبی نشان داده شد، پیشرفت کرد.

مطابق با نامگذاری، آنها تکنیک جدید خود را Deep Q-Network نامیدند که یادگیری عمیق را با یادگیری Q ترکیب می کند. آنها همچنین نام رشته گسترده تر مطالعه را “یادگیری تقویتی عمیق” می گذارند.

آنها در مقاله طبیعت خود در سال ۲۰۱۵ با عنوان “کنترل در سطح انسانی از طریق یادگیری تقویتی عمیق” در مورد نقش مهم شبکه های عصبی عمیق در پیشرفت آنها اظهار نظر کردند و نیاز به انتزاع سلسله مراتبی را برجسته کردند.

برای دستیابی به این هدف، ما یک عامل جدید، یک شبکه Q عمیق (DQN) توسعه دادیم که قادر است یادگیری تقویتی را با کلاسی از شبکه عصبی مصنوعی به نام شبکه‌های عصبی عمیق ترکیب کند. قابل توجه، پیشرفت‌های اخیر در شبکه‌های عصبی عمیق، که در آن چندین لایه از گره‌ها برای ساختن نمایش‌های انتزاعی‌تر از داده‌ها استفاده می‌شوند، این امکان را برای شبکه‌های عصبی مصنوعی فراهم کرده است که مفاهیمی مانند دسته‌بندی اشیا را مستقیماً از داده‌های حسی خام یاد بگیرند.

در نهایت، در چیزی که ممکن است به عنوان یک مقاله تعیین کننده در این زمینه در نظر گرفته شود، Yann LeCun، Yoshua Bengio و Geoffrey Hinton مقاله ای را در Nature با عنوان ساده “آموزش عمیق” منتشر کردند. در آن، آنها با یک تعریف تمیز از یادگیری عمیق باز می شوند که رویکرد چند لایه را برجسته می کند.

Deep Learning به مدل‌های محاسباتی که از لایه‌های پردازشی متعدد تشکیل شده‌اند اجازه می‌دهد تا نمایش داده‌ها را با سطوح انتزاعی متعدد بیاموزند.

بعداً رویکرد چند لایه از نظر یادگیری بازنمایی و انتزاع توصیف می‌شود.

روش‌های Deep Learning، روش‌های یادگیری-بازنمایی با سطوح مختلف نمایش هستند که با ترکیب ماژول‌های ساده اما غیرخطی به دست می‌آیند که هر یک نمایش را در یک سطح (شروع با ورودی خام) به نمایشی در سطح بالاتر و کمی انتزاعی‌تر تبدیل می‌کنند. . جنبه کلیدی یادگیری عمیق این است که این لایه‌های ویژگی‌ها توسط مهندسان انسانی طراحی نشده‌اند: آنها از داده‌ها با استفاده از یک روش یادگیری همه‌منظوره آموخته می‌شوند.

این یک توصیف خوب و عمومی است و به راحتی می تواند اکثر الگوریتم های شبکه عصبی مصنوعی را توصیف کند. همچنین یادداشت خوبی برای پایان دادن به آن است.

خلاصه

در این پست متوجه شدید که Deep Learning فقط شبکه‌های عصبی بسیار بزرگی است که روی داده‌های بسیار بیشتری قرار دارند و به رایانه‌های بزرگ‌تری نیاز دارند.

اگرچه رویکردهای اولیه منتشر شده توسط هینتون و همکارانش بر آموزش لایه‌ای حریصانه و روش‌های بدون نظارت مانند رمزگذارهای خودکار تمرکز دارند، یادگیری عمیق مدرن مدرن بر آموزش مدل‌های شبکه عصبی عمیق (بسیاری لایه‌ای) با استفاده از الگوریتم انتشار پس‌زمینه متمرکز است. محبوب ترین تکنیک ها عبارتند از:

شبکه های پرسپترون چند لایه
شبکه های عصبی کانولوشنال
شبکه های عصبی بازگشتی با حافظه کوتاه مدت.
امیدوارم این موضوع روشن کرده باشد که Deep Learning چیست.