مقدمه ای بر قوانین یادگیری در شبکه عصبی

مقدمه

قانون یادگیری ، یک روش یا یک منطق ریاضی است که به شبکه عصبی کمک می کند تا توسط شرایط موجود ، آموزش ببیند و عملکرد خود را بهبود ببخشد. این کار یک فرآیند تکرارشونده است. ما در این قسمت از خودآموز یادگیری ماشین قصد داریم به قوانین یادگیری در شبکه عصبی بپردازیم.

  • قانون یادگیری Hebbian
  • قانون یادگیری Perceptron
  • قانون یادگیری Delta
  • قانون یادگیری Correlation
  • قانون یادگیری Outstar

این ها چه قوانینی هستند؟ در این آموزش به طور مفصل به همه این قوانین یادگیری شبکه عصبی همراه با فرمول های ریاضی شان می پردازیم.

قوانین یادگیری در شبکه عصبی

قوانین یادگیری در شبکه عصبی چیست؟

قانون یادگیری یا فرآیند یادگیری یک روش یا منطق ریاضی است که عملکرد شبکه عصبی مصنوعی را بهبود می بخشد و یک قاعده را به شبکه اعمال می کند. بنابراین، وقتی یک شبکه در یک محیط داده خاص، شبیه سازی می شود، قوانین یادگیری ، وزن ها و بایاس شبکه را بروزرسانی می کنند.

بیایید نگاهی به قوانین مختلف یادگیری در شبکه عصبی داشته باشیم :

  • قانون یادگیری Hebbian : این روش ، نحوه اصلاح وزن گره های یک شبکه را تعیین می کند.
  • قانون یادگیری Perceptron : شبکه ، یادگیری خود را با اختصاص یک مقدار تصادفی به هر وزن آغاز می کند.
  • قانون یادگیری Delta : اصلاح در وزن یک گره برابر با ضرب خطا و ورودی است.
  • قانون یادگیری Correlation : قانون Correlation ، یک یادگیری نظارت شده است.
  • قانون یادگیری Outstar : در صورتی که فرض شود گره ها یا نورون های یک شبکه در یک لایه قرار گرفته اند، می توان از این قاعده استفاده کرد.

۱-‌ قانون یادگیری Hebbian

قانون Hebbian اولین قانون یادگیری بود که در سال ۱۹۴۹ ، Donald Hebb آن را به عنوان الگوریتم یادگیری شبکه عصبی بدون نظارت توسعه داد. ما می توانیم از آن برای تعیین نحوه اصلاح وزن گره های یک شبکه استفاده کنیم.

قانون یادگیری Hebbian فرض می کند که : اگر دو نورون همسایه ، همزمان فعال و غیرفعال شوند، آنگاه باید وزن اتصال این نورون ها افزایش یابد. برای نورون هایی که در فاز مخالف هم عمل می کنند ، باید وزن بین آن ها کاهش یابد و اگر همبستگی سیگنال وجود نداشته باشد، وزن نباید تغییر کند.

وقتی ورودی های هر دو گره مثبت یا منفی باشند، آنگاه یک وزن مثبت قوی بین گره ها وجود دارد. اگر ورودی یک گره مثبت و گره دیگر منفی باشد، یک وزن منفی قوی بین گره ها وجود دارد.

در ابتدا، مقادیر تمام وزن ها برابر با صفر خواهند بود. این قانون یادگیری می‌تواند برای توابع فعالساز نرم ( soft ) و سخت ( hard ) مورد استفاده قرار گیرد. از آنجا که در روند یادگیری ، از پاسخ های مطلوب نورون ها استفاده نمی شود، پس این قانون تحت یادگیری بدون نظارت قرار دارد. قدر مطلق وزن ها معمولا متناسب با زمان یادگیری است، که این نامطلوب است. فرمول ریاضی قانون یادگیری Hebbian در شبکه عصبی مصنوعی بصورت زیر است :

Wij = Xi * Xj

۲- قانون یادگیری Perceptron

همانطور که می دانید، هر اتصال در یک شبکه عصبی دارای وزن مربوطه است که در طول یادگیری تغییر می کند. بر اساس آن ، یک مدل یادگیری نظارت شده ، یادگیری خود را با تخصیص یک مقدار تصادفی به هر وزن آغاز می کند.

مقدار خروجی براساس مجموعه ای از مشاهدات محاسبه می شود تا بتوانیم مقدار خروجی مورد انتظار را بدانیم. این نمونه یادگیری است که کل فرآیند را نشان می دهد، لذا آن را یک نمونه یادگیری می نامند.

سپس شبکه ، مقدار خروجی محاسبه شده را با مقدار مورد انتظار مقایسه کرده و یک تابع خطا ∋ بدست می آورد، که می تواند مجموع مربعات خطاهایی باشد که برای هر عنصر در نمونه یادگیری رخ می دهد و به صورت زیر قابل محاسبه است :

j ( Eij – Oij )2i

مجموع اول را روی عناصر مجموعه یادگیری و مجموع دوم را روی واحدهای خروجی انجام می دهیم. Eij و Oij مقادیر مورد انتظار و به دست آمده واحد j ام و عنصر i ام هستند.

سپس شبکه وزن واحدهای مختلف را تنظیم می کند و هر بار بررسی می کند که آیا تابع خطا افزایش یافته یا کاهش؟ مانند یک رگرسیون معمولی ، این مسئله معادل حل مسئله کمترین مربعات ( least squares ) است.

از آنجا که تعیین وزن گره ها توسط کاربران صورت می گیرد، لذا این قانون ، نمونه ای از یادگیری نظارت شده می باشد.

۳- قانون یادگیری Delta

قاعده Delta که توسط Widrow و Hoff تنظیم شده یکی از رایج ترین قواعد یادگیری است و جزء یادگیری نظارت شده می باشد. این قانون بیان می‌کند که اصلاح در وزن یک گره برابر با ضرب خطا و ورودی است. فرم ریاضی قانون Delta بصورت زیر بیان می شود :

w = h (t – y) Xi

برای یک بردار ورودی معین ، پاسخ صحیح ازمقایسه بردار خروجی بدست می آید. اگر اختلاف صفر باشد ، هیچ یادگیری انجام نمی گیرد. در غیر این صورت ، وزن ها تنظیم می شوند تا این اختلاف کاهش یابد. تغییر وزن از ui به uj بصورت زیر می باشد :

  dwij = r * ai * e

که در آن r نرخ یادگیری ، ai نشان دهنده فعالساز ui است و ej اختلاف بین خروجی مورد انتظار و خروجی واقعی uj است. اگر مجموعه الگو های ورودی ، یک مجموعه مستقل را تشکیل دهند، آنگاه وابستگی های اختیاری را با استفاده از قانون Delta یاد می گیرند.

مشاهده شده است که برای شبکه هایی با توابع فعالساز خطی و فاقد واحد مخفی ، مربع خطا نسبت به وزن در فضای n بعدی یک سهمی گون ( Paraboloid ) است. از آنجا که ثابت تناسب منفی است ، نمودار چنین تابعی مقعر به سمت بالاست و دارای کمترین مقدار است. راس این سهمی گون نقطه ای است که خطا را کاهش می دهد. بردار وزن متناظر با این نقطه، بردار وزن ایده آل است.

ما می‌توانیم از قاعده یادگیری Delta با یک واحد خروجی یا چندین واحد خروجی استفاده کنیم.

در حالی که اعمال قاعده Delta فرض می کند که می توان خطا را مستقیماً اندازه گیری کرد.

هدف از اعمال قاعده Delta کاهش اختلاف بین خروجی واقعی و مورد انتظار است که برابر با خطا است.

۴- قانون یادگیری Correlation

قاعده یادگیری Correlation براساس یک اصل مشابه قانون یادگیری Hebbian است. فرض را بر این می گذارد که وزن های بین نورون های پاسخ دهنده باید مثبت تر و وزن های بین نورون های با واکنش مخالف منفی تر باشد.

برخلاف قانون Hebbian ، قانون Correlation ، یادگیری نظارت شده است.

پاسخ oj از پاسخ مطلوب dj برای محاسبه اصلاح وزن استفاده می کند.

فرم ریاضی قانون Correlation بصورت زیر بیان می شود :

wij = h xi dj

که dj مقدار موردنظر سیگنال خروجی است. این الگوریتم آموزشی معمولا برای شروع ، وزن ها را با صفر مقداردهی اولیه می کند. از آنجا که تعیین وزن مورد نظر توسط کاربران صورت می گیرد، قاعده یادگیری Correlation نمونه ای از یادگیری نظارت شده است.

۵- قانون یادگیری OutStar

وقتی فرض کنیم گره ها یا نورون های شبکه در یک لایه مرتب شده اند ، از قانون یادگیری OutStar استفاده می کنیم. در اینجا وزن های متصل به یک گره خاص باید برابر با خروجی های مورد نظر برای نورون های متصل به وزن ها باشند. قانون OutStar ، پاسخ مورد نظر t را برای لایه گره های n تولید می کند.

این نوع یادگیری را برای همه گره ها در یک لایه خاص اعمال کرده و وزن گره ها را مانند شبکه های عصبی Kohonen بروزرسانی می کنیم. فرم ریاضی قانون OutStar بصورت زیر بیان می شود :

قانون یادگیری Outstar

این یک فرآیند آموزش نظارت شده است، زیرا خروجی های مورد نظر باید معلوم باشند.

نتیجه گیری

در نتیجه گیری از قوانین یادگیری در شبکه عصبی ، می توان گفت بهترین ویژگی شبکه عصبی مصنوعی ، توانایی یادگیری آن است. فرآیند یادگیری مغز ساختار عصبی خود را تغییر می دهد. افزایش یا کاهش قدرت اتصالات آن به فعالیت اش بستگی دارد. اطلاعات مرتبط تر ، اتصال قوی تری دارند. ملاحظه کردید که برای آموزش شبکه های عصبی مصنوعی ، چندین الگوریتم وجود دارد که هر یک ، مزایا و معایب خودشان را دارند.

اگر در مورد قوانین یادگیری در شبکه عصبی سوالی دارید ، با ما در میان بگذارید.

بیشتر بخوانید : 

منبع Data Flair

همچنین ببینید

فناوری تشخیص چهره و کاربردهای آن، تاریخچه تکنولوژی تشخیص چهره

فناوری تشخیص چهره و کاربردهای آن + تاریخچه

فناوری تشخیص چهره یک فناوری بیومتریک است که با استفاده از تجزیه و تحلیل الگوهایی …

دیدگاهتان را بنویسید

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *