2021年7月

論文紹介: Transformer言語モデルに構造的な手がかりを与える研究

arXiv掲載のプレプリントで、Transformer言語モデルに文法構造の手がかりを加える方法を扱っています。 / 主な提案は、解析と単語列を同時に扱う「Generative Parsing」と、追加の構造損失で構文解析を予測する「Structural Scaffold」です。 / 14Mトークンと46MトークンのBLLIPデータの一部で学習し、SG Test SuitesとBLiMP系の評価で構文的一般化を検証しています。