AI関連ニュース
論文紹介: 大規模言語モデルの外挿を促す、理由生成とマークアップトークンの併用

arXivのプレプリントとして公開された、系列が学習例より長い場合の外挿に関する論文です。 / 要旨では、モデルの構造や学習手順を変えなくても、段階的な理由付けの生成とマークアップトークンの導入を組み合わせることで外挿が可能になると説明されています。 / 長い系列では位置把握が難しくなるため、明示的な位置・カウントの記号を与えることが有効だとされています。

続きを読む