Logo ar.boatexistence.com

لماذا تحل lstm التدرج اللوني المتلاشي؟

جدول المحتويات:

لماذا تحل lstm التدرج اللوني المتلاشي؟
لماذا تحل lstm التدرج اللوني المتلاشي؟

فيديو: لماذا تحل lstm التدرج اللوني المتلاشي؟

فيديو: لماذا تحل lstm التدرج اللوني المتلاشي؟
فيديو: Stanford CS224N: NLP with Deep Learning | Winter 2019 | Lecture 7 – Vanishing Gradients, Fancy RNNs 2024, يوليو
Anonim

LSTMs تحل المشكلة باستخدام بنية متدرجة مضافة فريدة تتضمن وصول مباشر إلى عمليات تفعيل بوابة النسيان، مما يمكّن الشبكة من تشجيع السلوك المطلوب من تدرج الخطأ باستخدام تحديث البوابات المتكرر في كل خطوة زمنية من عملية التعلم

كيف يحل LSTM انفجار التدرج اللوني؟

إجابة قصيرة جدًا: يفصل LSTM حالة الخلية (يُشار إليها عادةً بـ c) والطبقة / المخرجات المخفية (يُشار إليها عادةً بالحرف h) ، ولا تفعل سوى التحديثات الإضافية إلى c ، مما يجعل الذكريات في c أكثر استقرارًا. وبالتالي فإن التدرج اللوني يتدفق عبر c ويصعب أن يتلاشى(لذلك من الصعب أن يتلاشى التدرج الكلي).

كيف يمكن حل مشكلة التدرج المتلاشي؟

الحلول: أبسط حل هو استخدام وظائف التنشيط الأخرى، مثل ReLU ، والتي لا تسبب مشتقًا صغيرًا. الشبكات المتبقية هي حل آخر ، لأنها توفر اتصالات متبقية مباشرة إلى الطبقات السابقة.

ما المشكلة التي تحلها LSTM؟

LSTMs. LSTM (اختصار للذاكرة طويلة المدى) يحل في المقام الأول مشكلة التدرج المتلاشي في الانتشار العكسي. تستخدم LSTMs آلية بوابة تتحكم في عملية الحفظ. يمكن تخزين المعلومات الموجودة في LSTM أو كتابتها أو قراءتها عبر بوابات تفتح وتغلق.

لماذا تمنع LSTM التدرجات الخاصة بك من اختفاء منظر من الممر الخلفي؟

السبب في ذلك هو أنه من أجل فرض تدفق الخطأ الثابت هذا ، تم اقتطاع حساب التدرج حتى لا يتدفق مرة أخرى إلى بوابات الإدخال أو المرشح.

موصى به: