یک ماشین بولتزمن محدود شده ( RBM ) می تواند ویژگی ها را استخراج کرده و داده های ورودی را بازسازی کند ، اما هنوز توانایی مبارزه با محو شدگی گرادیان را ندارد. با این حال، از طریق ترکیبی هوشمندانه از مجموعه ی چندین RBM و یک کلاسه بند ، می توانید یک شبکه عصبی تشکیل دهید که می تواند این مشکل را برطرف کند. این شبکه با عنوان شبکه باور عمیق ( Deep Belief Network ) شناخته می شود.
شبکه باور عمیق یا DBN نیز توسط جف هینتون ساخته شد. اعتقاد بر این است که این شبکه های قدرتمند توسط گوگل برای کار خود در مورد مسئله تشخیص تصویر استفاده می شود. از نظر ساختار، یک باور عمیق با پرسترون چند لایه ( MLP ) یکسان است، اما شباهت آن ها تنها از نظر ساختار می باشد. یک شبکه باور عمیق دارای یک روش آموزش کاملا متفاوت است که به آن اجازه می دهد تا با محو شدگی گرادیان مقابله کند.
این روش به عنوان پیش آموزش بدون نظارت لایه به لایه حریصانه ( Layer-wise Unsupervised Greedy Pre-Training ) شناخته می شود. در اصل ، DBN به طور هم زمان دو لایه آموزش داده می شود و با این دو لایه مانند RBM رفتار می شود. در سراسر شبکه ، لایه پنهان یک RBM به عنوان لایه ورودی یک RBM مجاور عمل می کند. بنابراین اولین RBM آموزش داده می شود و از خروجی های آن بعنوان ورودی RBM بعدی استفاده می شود. این روش تا رسیدن به لایه خروجی تکرار می شود.
آیا تاکنون از این روش برای آموزش یک شبکه باور عمیق استفاده کرده اید؟ لطفا نظر دهید و تجربیات خود را به ما اطلاع دهید.
پس از این فرآیند آموزش، DBN قادر به شناسایی الگوهای ذاتی در داده ها است. به عبارت دیگر، DBN یک استخراج کننده ویژگی های پیشرفته و چند لایه است. جنبه منحصر به فرد این نوع شبکه این است که در پایان هر لایه ساختار کامل ورودی را یاد می گیرد. در انواع دیگر شبکه های عمیق، لایه ها به طور کلی الگوهای پیچیده ای را بطور تدریجی یاد می گیرند؛ برای تشخیص چهره، لایه های اولیه می توانند لبه ها را تشخیص دهند و لایه های بعدی می توانند نتایج آن ها را ترکیب کنند تا ویژگی های چهره را تشکیل دهند. از طرف دیگر ، یک DBN الگوهای پنهان را در سطح کلی یاد می گیرد، مانند یک دوربین که به آرامی تصویر را در حال فکوس می کند.
در پایان ، یک DBN هنوز به مجموعه ای از برچسب ها نیاز دارد تا به الگوهای نتیجه اضافه شود. به عنوان آخرین مرحله ، DBN با یادگیری نظارت شده و مجموعه کوچکی از نمونه های دارای برچسب تنظیم شده است. پس از انجام ترفندهای جزئی در مورد وزن ها و بایاس ها ، دقت شبکه به مقدار جزئی افزایش می یابد.
این کل فرآیند می تواند در مدت زمان معقول و با استفاده از GPU انجام شود، و نتیجه حاصل از آن به طور معمول بسیار دقیق است. بنابراین DBN یک راه حل موثر برای حل مسئله محو شدگی گرادیان است. به عنوان یک امتیاز اضافی در دنیای واقعی ، فرایند آموزش فقط به یک مجموعه کوچک از داده های دارای برچسب نیاز دارد.
منبع Youtube