2024-03-30から1日間の記事一覧
www.jstage.jst.go.jp 昨日、ベッドの上で寝ながら読んでいたが面白かった。 概要 所感 概要 人工言語を用いた事前学習をTransformerのエンコーダに学習させ、そのエンコーダを自然言語の言語モデリングに転移したときの性能を測定させた論文。 先行研究の結…
www.jstage.jst.go.jp 昨日、ベッドの上で寝ながら読んでいたが面白かった。 概要 所感 概要 人工言語を用いた事前学習をTransformerのエンコーダに学習させ、そのエンコーダを自然言語の言語モデリングに転移したときの性能を測定させた論文。 先行研究の結…