LSTMs تحل المشكلة باستخدام بنية متدرجة مضافة فريدة تتضمن وصول مباشر إلى عمليات تفعيل بوابة النسيان، مما يمكّن الشبكة من تشجيع السلوك المطلوب من تدرج الخطأ باستخدام تحديث البوابات المتكرر في كل خطوة زمنية من عملية التعلم
كيف يحل LSTM انفجار التدرج اللوني؟
إجابة قصيرة جدًا: يفصل LSTM حالة الخلية (يُشار إليها عادةً بـ c) والطبقة / المخرجات المخفية (يُشار إليها عادةً بالحرف h) ، ولا تفعل سوى التحديثات الإضافية إلى c ، مما يجعل الذكريات في c أكثر استقرارًا. وبالتالي فإن التدرج اللوني يتدفق عبر c ويصعب أن يتلاشى(لذلك من الصعب أن يتلاشى التدرج الكلي).
كيف يمكن حل مشكلة التدرج المتلاشي؟
الحلول: أبسط حل هو استخدام وظائف التنشيط الأخرى، مثل ReLU ، والتي لا تسبب مشتقًا صغيرًا. الشبكات المتبقية هي حل آخر ، لأنها توفر اتصالات متبقية مباشرة إلى الطبقات السابقة.
ما المشكلة التي تحلها LSTM؟
LSTMs. LSTM (اختصار للذاكرة طويلة المدى) يحل في المقام الأول مشكلة التدرج المتلاشي في الانتشار العكسي. تستخدم LSTMs آلية بوابة تتحكم في عملية الحفظ. يمكن تخزين المعلومات الموجودة في LSTM أو كتابتها أو قراءتها عبر بوابات تفتح وتغلق.
لماذا تمنع LSTM التدرجات الخاصة بك من اختفاء منظر من الممر الخلفي؟
السبب في ذلك هو أنه من أجل فرض تدفق الخطأ الثابت هذا ، تم اقتطاع حساب التدرج حتى لا يتدفق مرة أخرى إلى بوابات الإدخال أو المرشح.
