پیاده سازی شبکه عصبی عمیق در متلب- قسمت چهارم (الگوریتم پس انتشار)

پیاده سازی شبکه عصبی عمیق در متلب- قسمت چهارم (الگوریتم پس انتشار)

یکی از اساسی ترین مباحث در شبکه هاب عصبی، فرآیند آموزش شبکه است. آموزش شبکه به معنی یافتن وزن های نورونها است که در شبکه های عصبی عمیق به معنای تعیین عناصر کرنل ها یا همان بانک فیلتری است. فرآیند یادگیری روش های زیادی دارد که یکی از آنها الگوریتم پس انتشار استبرای پس انتشار، دو بروز رسانی مد نظر است: بروز رسانی وزن ها و بروز رسانی دلتاها. ابتدا بروز رسانی وزنها را بررسی میکنیم:برای تحقق این هدف، باید رابطه ی       را محاسبه کنیم. این رابطه مبین میزان تغییرپذیری تابع تلفاتE توسط تک عنصر (m’, n’)  از کرنل وزنی است.

 

در طول انتشار رو به جلو(Forward propagation) عملیات کانولوشن تضمین می کند که پیکسل زرد در شکل فوق( که متعلق به کرنل وزنی می باشد) سهمی در همه ی ضربها (بین هرکدام از عناصر کرنل وزنی و عنصر نقشه ویژگی ورودی) دارد که به این معنی است که پیکسل زرد، تمام عناصر نقشه ویژگی خروجی را تحت تاثیر قرار می دهد.

اجرای عملیات کانولوشن بین نقشه ویژگی ورودی با ابعاد H*Wh*W و کرنل وزنی با ابعاد k1*k2 یک نقشه ویژگی با ابعاد
(H−k1+1) * (W−k2+1) تولید می کند. عنصر گرادیان برای هر کدام از تک وزنها را میتوان با عملیات نشان داده شده ی زیر محاسبه کرد:

که می توان آن را بصورت زیر خلاصه و محاسبه کرد.

در درسنامه های بعد، پس از تکمیل این بحث، کد متلب این طبقه را هم ارائه خواهیم کرد.

 

بدون دیدگاه

ارسال یک نظر

نظر
نام
ایمیل
وبسایت