2020年7月

論文紹介: Transformer-XLによるソースコードの言語モデリング

arXivのプレプリントとして公開された、ソースコードの「自然さ」を言語モデルで捉える研究です。 / Pythonの大規模コードコーパスを使い、RNN系モデルとTransformer-XL系モデルを比較しています。 / 要約によると、Transformer-XLはLSTMやGRUなどのRNN系モデルより、自然さの捉え方で優れ、計算コストも低かったとされています。