概要
- 2015年のDeep Learning のレビュー論文
- 教師学習、逆誤差伝播法、CNN、RNNといった深層学習の基礎中の基礎を述べているレビュー論文
- 大事だと思った内容
- 機械学習：カーネルメソッドのような非線形特徴を用いると、トレーニングデータに特化したものになる
- 深層学習：汎化目的の学習手順で自動的に学習させれば、過学習を避けられる。これが機械学習と比べたときの利点。
- CNN
- 特徴マップ内でのユニットは全フィルタ同じ、違う特徴マップだとフィルタ異なる
- 異なる理由
- 画像のような配列にて、簡単に検出するため異なる局所的なモチーフをまとめることで、グループ間で高い相関関係を出すため。
-
.画像と他の信号の局所統計量が位置によって変わらないようにするため。
-
そのモチーフがどこに現れても、そのモチーフとして認識させるため
- CNNの高次ユニットの活動が、猿のIT野の160ニューロンのランダムセットの分散の半分を説明した
- モデルで動物の脳活動を説明できる
- 分散表現とN-gram
- 分散表現で各単語の関係をベクトルで表すことが出来るようになった
- N-gramでは出来ない、意味的に繋がりのある単語を集めた文章を一般的に表現できる
- RNNs
- 過去の情報も入力として入る
- 動的にシステムとして優れているが、学習方法に問題あり
- 逆誤差伝播法が各ステップで拡大・縮小するので、多くのステップで発散・消失する
- LSTM
- RNNの長時間情報を保管するための方法が現実的ではない
- LSTMは、メモリセルと呼ばれるユニットを持つ
- 特定の重みをもつ次のステップと繋がっている
- 実数値をコピー、外部信号を蓄積する
- メモリのコンテンツを削除することを学習した別のユニットによって倍々形式で増えていく方式でセルフコネクションが制御される
感想
- 現在では当たり前となった知識ではあるが、それらを一気に知るのには丁度よい論文
- 「ゼロから作るDeep Learning」で学習に合わせて読んでいたが、理解度を増すのには良い論文となった
- これからAIに関わるとなった時に、基礎固めとして読む論文だと思える
その他
- 2023.12.19にgoogleから「Gemini」に関するpreprintのpaperが投稿された
- 余裕があれば、読みたい＋ここでまとめてみたい
