پیاده سازی شبکه عصبی عمیق در متلب - قسمت چهارم : الگوریتم پس انتشار

یکی از اساسی ترین مباحث در شبکه های عصبی، فرآیند آموزش شبکه است. آموزش شبکه به معنی یافتن وزن های نورون ها است که در شبکه های عصبی عمیق به معنای تعیین عناصر کرنل ها یا همان بانک فیلتری است.

مقاله مرتبط :

الگوریتم پس انتشار ( Back propagation ) :

فرآیند یادگیری روش های زیادی دارد که یکی از آن ها الگوریتم پس انتشار است. برای پس انتشار، دو به روز رسانی مد نظر است: به روز رسانی وزن ها و به روز رسانی دلتا ها. ابتدا به روز رسانی وزن ها را بررسی می کنیم. برای تحقق این هدف، باید رابطه ی

را محاسبه کنیم. این رابطه نشانگر میزان تغییر پذیری تابع تلفات E توسط تک عنصر ( m’, n’ ) از کرنل وزنی است.

در طول انتشار رو به جلو ( Forward propagation ) عملیات کانولوشن تضمین می کند که پیکسل زرد در شکل فوق ( که متعلق به کرنل وزنی می باشد ) سهمی در همه ی ضرب ها ( بین هرکدام از عناصر کرنل وزنی و عنصر نقشه ویژگی ورودی ) دارد که به این معنی است که پیکسل زرد، تمام عناصر نقشه ویژگی خروجی را تحت تاثیر قرار می دهد.

اجرای عملیات کانولوشن بین نقشه ویژگی ورودی با ابعاد H*Wh*W و کرنل وزنی با ابعاد k1*k2 یک نقشه ویژگی با ابعاد (H−k1+1) * (W−k2+1) تولید می کند. عنصر گرادیان برای هر کدام از تک وزن ها را می توان با عملیات نشان داده شده ی زیر محاسبه کرد: