منبع پایان نامه درمورد لايه، ورودي، يادگيري

طراح انتخاب مي شود. بر اساس انتخاب f و نوع الگوريتم يادگيري پارامترهايw و b تنظيم مي شوند. يادگيري بدين معنا است كه w و b طوري تنظيم مي كند تا رابطه ورودي و خروجي نرون با هدف خاصي مطابقت نمايد.
تابع محرک f مي تواند خطي يا غير خطي باشد يك تابع محرك بر اساس نياز خاص حل يك مسئله، انتخاب مي شود. در عمل تعداد محدودي از توابع محرك مورد استفاده قرار مي گيرند كه در اينجا به عنوان يك مثال تابع محرك زيگموئيدي معرفي مي شود، فرمول كلي اين تابع عبارت است از:
3-38)

مقدار c وسعت ناحيه خطي بودن تابع را تعيين مي كند. مثلا اگر c خيلي بزرگ باشدشكل منحني به تابع پله اي نزديك تر مي شود اين تابع در شبكه هاي عصبي مورد استفاده زيادي دارد.
توابع مختلفي در شبکه عصبي استفاده مي شوند، اين توابع بسته به كاربردهاي مختلف به صورت متفاوت انتخاب مي شوند كه برخي از آنها در زير معرفي شده و در شکل 3-4 نشان داده شده است.

الف) تابع خطي

3-39)

ب) تابع بايناري تك قطبي

3-40)

ج) تابع بايناري دو قطبي

3-41)

د) تابع شيب

3-42)

ه) تابع سيگموئيد تك قطبي

3-43)

و) تابع سيگموئيد دو قطبي

3-44)

شکل 3-4- توابع مورد استفاده مدل سلول عصبي[83]

3-4-2-2- مدل نرون چند قطبي
عموماً يك نرون بيش از يك ورودي دارد. شكل 3-5 يك مدل نرون با R ورودي را نمايش مي دهد. بردار ورودي باP نمايش داده شده است. اسكالر هاي Pi (i=1,2,…,R) عناصر بردار P هستند. مجموعه سيناپس هاي wi,j با ماتريس وزن W داده مي شود. در اين حالت يك بردار سطري با عناصر wi,j است هر عنصر از بردار ورودي P در عنصر متناظر از W ضرب مي شود. نرون يك جمله باياس b دارد كه با حاصل‌ضرب ماتريس وزن W با بردار ورودي P جمع مي شود.
ورودي n مطابق فرمول زير محاسبه مي شود:
3-45)

كه درآن و است و در نهايت خروجي نرون به صورت زير خواهد بود:
3-46)

شکل 3-5- مدل چند ورودي يک نرون[82]
بايد خاطر نشان ساخت كه در نمايش ماتريس ها دومين انديس ، مبدا سيگنال ورودي نرون را نشان مي دهد و انديس اول به شماره خود نرون اشاره مي كند.
فرم خلاصه شده نرون چند ورودي را در شكل 3-6 نشان داده شده است. همانگونه كه در شكل مشاهده مي شود . بردار ورودي P با يك ستون عمومي در منتها اليه سمت چپ نمايش داده مي شود. ابعاد P در زير آن R×1 مشخص شده است . اين نماد نشان دهنده آن است كه بردار ورودي P داراي R عنصر است. بردار P در يك ماتريس W با R ستون ضرب مي شود. مقدار ثابت 1 به عنون يك ورودي به نرون اضافه شده و در جمله اسكالر باياس b ضرب مي شود ورودي n به تابع f اعمال شده و خروجي مربوطه به وجود مي آيد. a عملا نشان دهنده شبكه تك نروني است و در اين حالت يك اسكالر با ابعا د 1×1 است .

شکل 3-6- فرم ساده شده نرون با R ورودي [82]
3-4-3-ساختار شبكه هاي عصبي
بايد توجه داشت كه معمولا حتي يك نرون با تعداد ورودي هاي زياد نيز به تنهايي براي حل مسائل فني مهندسي كفايت نمي كند مثلا براي مدل‌سازي نگاشت هايي كه داراي دو خروجي هستند احتياج به دو نرون داريم كه به طور موازي عمل كنند. دراين حالت يك لايه وجود خواهد داشت كه از اجتماع چند نرون تشكيل شده است.

3-4-3-1- شبكه تك لايه
يك شبكه تك لايه با S نرون درشكل 3-7 نشان داده شده است. توجه داريم كه هر يك از ورودي ها به همه نرون ها متصل شده است ماتريس W در اين حالت داراي S سطر و R ستون مي باشد. همان‌گونه كه از شكل پيداست لايه ها شامل ماتريس وزن، جمع كننده ها، بردار باياس b (داراي S عنصر ) و تابع تبديل f هستند[83].

شکل 3-7- شبکه تک لايه با S نرون[82]

3-4-3-2- شبكه چند لايه
يك شبكه مي تواند شامل چندين لايه باشد كه هر لايه داراي يك ماتريس وزن W ، يك بردار باياس b و يك بردار خروجيa مي باشد. جهت تمايز متغيرهاي فوق و اينكه كدام متغير به كدام لايه تعلق دارد نياز است كه علامت ديگري هم به متغيرهاي فوق تخصيص داده شود، از اين‌رو از بالانويس براي مشخص نمودن لايه استفاده مي شود. بنابراين ماتريس وزن براي لايه اول با W1 مشخص مي شود. با به خاطر سپردن اين نماد، يك شبكه پيش خور سه لايه را مي توان به شكل ترسيم نمود. همان‌گونه كه از اين شكل پيداست تعداد R ورودي، تعداد S1 نرون در لايه اول، تعداد S2 نرون در لايه دوم و تعداد S3 نرون در لايه سوم موجود است. همچنين در لايه هاي مختلف توابع محرك مختلف وجود دارد.

شکل 3-8- شبکه پيش خور سه لايه[83]
لايه اي كه خروجي آن خروجي شبکه عصبي پيش خور باشد به لايه خروجي موسوم است. لايه هاي ديگر به لايه هاي مياني55 موسومند. شبكه موجود در شكل 3-8 داراي دو لايه مياني است. در اينجا لايه خروجي با ماتريس وزن W3 ، بردار باياس b3 و تابع محرك f3 مشخص مي شود. لايه مياني اول با ماتريس وزن W1، بردار باياس b1و تابع محرك f1 و لايه مياني دوم با ماتريس وزن W2بردار باياس b2و تابع محرك f2 مشخص مي شوند. به چنين شبکه اي شبکه پيش خور56 گفته مي شود.
شبكه هاي عصبي چند لايه داراي توانايي بيش‌تري نسبت به شبكه هاي عصبي تك لايه هستند. مي توان ثابت كرد كه شبكه هاي عصبي پيش خور دو لايه با توابع زيگموئيد در لايه اول قادرند هر تابعي را با دقت دلخواه تقريب بزنند. در حاليكه شبكه هاي عصبي تك لايه از چنين توانايي برخوردار نيستند. توپولوژي هاي شبکه ها و چگونگي ارتباط آنها با هم، شبکه هاي مختلف را ايجاد کرده است. در ادامه چند نوع از شبکه هاي معمول بيان مي شود.

3-4-3-3- شبكه هاي پس خور يا برگشتي57
جهت نمايش اين‌گونه شبكه ها، بلوك ساده شكل 3-9 تعريف مي شود. اين شكل، معرف تاخير زماني يك مرحله اي است. به عبارت واضح‌تر خروجي بلوك (a) در لحظه زماني t برابر با ورودي بلوك در يك واحد عقب‌تر(يعني مقدار u در لحظه t-1 ) است. واضح است كه براي بدست آوردن رابطه ورودي و خروجي اين بلوك بايد مقدار اوليه خروجي در لحظه اوليه (صفر) معلوم باشد اين مقدار اوليه با a(0) در شكل نشان داده شده است.

شکل 3-9- بلوک تاخير زماني[83]
اكنون مي توان شبكه هاي پس خور رامعرفي کرد. يك نوع متداول از شبكه پس خور گسسته در حوزه زمان در شكل 3-10 ترسيم شده است. براي اين شبكه خاص، بردار ورودي P نشان دهنده شرايط اوليه شبكه است.

شکل3-10- شبکه تک لايه برگشتي[83]

3-47)

شبكه هاي پس خور نسبت به شبكه هاي پيش خور از توانايي بالقوه بيش‌تري برخوردارند و بهتر مي‌توانند رفتار مربوط به ويژگي هاي زماني سيستم ها را نشان دهند.

3-4-4- يادگيري شبكه هاي عصبي مصنوعي
يادگيري بدين معناست كه شبكه بر اساس آگاهي از جواب مطلوب به هنگام اعمال ورودي و مشاهده پاسخ خود رفتار خود را طوري تنظيم مي كند كه در لحظه بعدي براي همان ورودي پاسخ مطلوب‌تري را نتيجه دهد. به عبارت ديگر شبكه در مسير زمان ياد مي گيرد كه رفتار خودش را بهبود بخشد.
بهبود بخشيدن به اين صورت انجام مي شود كه شبكه بردار وزن ها و باياس هاي خود را طوري تغيير مي دهد كه به نتيجه دلخواه برسد. هر نرون بردار وزن هاي متناظر خود را مطابق با قانون يادگيري خاص خودش تغيير مي دهد و در اين حالت محيط منبع اطلاعاتي هر نرون ديگر ثابت نيست، بلكه با تغيير وزن‌هاي نرون‌هاي ديگر تغيير مي كند چون محيط منبع اطلاعاتي يك نرو

ن قائم به ذات نيست بلكه وابسته به رفتار نرون هاي ديگر در شبكه است. بنابراين معادلات زير را مي توان براي نرون هاي يك شبكه نوشت:
براي حالت پيوسته
3-48

براي حالت گسسته
3-49

كه در آن وزن سيناپسي است كه j امين عنصر بردار ورودي رابه نرون i ام متصل مي كند و ترم اصلاحي مي باشد.
يادگيري بر دو نوع است: يادگيري با ناظر و يادگيري بدون ناظر، در يادگيري باناظر، به قانون يادگيري مجموعه اي از زوج هاي داده ها به نام داده هاي يادگيري {(Pi,ti) i=1,2,…,L} داده مي شود كه در آن Pi ورودي به شبكه و ti خروجي مطلوب شبكه براي ورودي Pi است پس از اعمال ورودي Pi به شبكه عصبي در خروجي شبكه ai با ti مقايسه شده و سپس خطاي يادگيري محاسبه و از آن در جهت تنظيم پارامترهاي شبكه به گونه اي استفاده مي شود كه اگر دفعه بعد به شبكه همان ورودي Pi اعمال شود خروجي شبكه به ti نزديك‌تر گردد. ميزان نزديكي عموما توسط نرم58 دوم اختلاف بردارها سنجيده مي شود.
در يادگيري بدون ناظر يا يادگيري خودسازمان‌ده59 پارامترهاي شبكه تنها توسط پاسخ سيستم اصلاح و تنظيم مي شوند. به عبارتي تنها سيگنال دريافتي از محيط به شبكه را بردارهاي ورودي تشكيل مي دهند. بردار جواب مطلوب به شبكه اعمال نمي‌شود( بر خلاف يادگيري با ناظر ) و به عبارت ديگر به شبكه عصبي هيچ نمونه اي از تابعي كه قرار است شبكه بياموزد، داده نمي شود. قانون يادگيري رقابتي عملا يادگيري بدون ناظر است. در عمل مشاهده مي شود كه در بعضي از مواقع كه شبكه عصبي از تعداد زيادي لايه هاي نروني تشكيل شده باشد، يادگيري با ناظر بسيار كند صورت مي پذيرد و در اين موارد تلفيق يادگيري باناظر و بدون ناظر پيشنهاد مي گردد.

3-4-4-1- الگوريتم يادگيري پس انتشار خطا60
دراين قسمت نمونه اي از روش‌هاي يادگيري شبكه هاي عصبي پيش خور چند لايه، به طور خلاصه معرفي مي شود. البته روش هاي يادگيري بسيار زيادي براي اين نوع از شبكه هاي عصبي مطرح شده است كه اينجا به ذكر يك روش متداول پرداخته مي شود:
در يك شبكه عصبي چند لايه پيش خور( مثلا شبكه موجود در شكل 4-7 )، ورودي به نرون I ام در لايه k+1 عبارتست از
3-50)

خروجي اين نرون برابر خواهد بودبا :
3-51)

براي يك شبكه M لايه معادلات سيستم به فرم ماتريسي زير خواهد بود:
3-52)

حال براي آموزش اين شبكه را با استفاده از يك دسته از جفت ورودي-خروجي ها ي به طوري كه اگر هر يك از اين ورودي ها به شبكه اعمال شود، خروجي بدست آمده از شبكه نزديك به خروجي مطلوب باشد. شاخص كارآيي61 براي اين شبكه عبارتست از :
3-53)

كه در رابطه اخير خروجي شبكه به ورودي q اٌم (Pq) است و خطاي اين خروجي است.
براي الگوريتم پس انتشار استاندارد از قاعده تقريب بيش‌ترين كاهش62 استفاده مي شود. شاخص كارايي به صورت زير تقريب زده مي شود.
3-54)

با توجه به اين شاخص كارايي ترم اصلاحي (رابطه 4-11) براي بردارهاي وزن و باياس به صورت زير خواهند بود.
3-55)
3-56)

كه نرخ يادگيري63 مي باشد حساسيت شاخص كارايي نسبت به تغييرات ورودي نرون در لايه به صورت زير تعريف مي شود:
3-57)

که در آن:
3-58)
3-59)

همچنين مي توان نشان داد كه حساسيت ها رابطه بازگشتي زير را برآورده مي سازند
3-60)

كه در آن:
3-61)

3-62)

رابطه بازگشتي از لايه آخر شروع مي شود يعني:
3-63)

درنهايت روال كلي اين الگوريتم طي مراحل زير انجام مي شود:
1- مسير رفت: ورودي هاي آموزشي را به شبكه اعمال شده و خروجي متناظر آن از شبكه بدست مي آيد. همان‌گونه كه مشاهده مي شود، پارامترهاي شبكه در خلال اجراي محاسبات رفت تغيير نمي يابند.
2-مسير برگشت: دراين مسير بردارهاي حساسيت از لايه آخر به لايه اول برگشت داده مي شود حساسيت محاسبه مي شود. به عبارتي ديگر در مسير برگشت شروع كار از لايه آخر يا لايه خروجي مي باشد جايي‌كه بردار خطا در اختيار مي باشد. سپس بردار خطا از سمت راست به چپ از لايه آخر به لايه اول توزيع مي شود و گردايان محلي نرون به نرون با

دیدگاهتان را بنویسید