E資格の勉強にしており、それらの用語のまとめる (記事の水増しという）
- エコーステートネットワーク：入力の重みと隠れ層の重みをランダムな値で固定し、出力の重みのみを学習する。シンプルな線形回帰の問題になり、購買消失や勾配爆発が発生しなくなり、学習が早くなる。
- スキップ接続：長期依存性の課題の対策として、隠れ層を１時刻以上スキップする接続方法
- リーキーユニット：隠れ層に線形接続を導入して移動平均の効果を得る
- 双方向RNN (Bidirection Recurrent Neural Network)：過去から未来、未来から過去への双方向を考慮した再帰型ニューラルネットワーク。文章内の文字の穴埋めタスクなど、未来から現在までの系列情報を用いることで可能になるタスクに用いられる。
