arXiv上のプレプリントで、抽象パターン学習と自然言語モデルにおける「関係性に基づく帰納バイアス」を扱っています。 / 提案手法 ERBP は、重みへのベイズ的な prior として実装され、標準的なニューラルネットに組み込みやすいと説明されています。 / 著者らは、合成データの抽象パターン課題で高い汎化を示し、単語レベル・文字レベルの言語モデルにも改善が見られたと報告しています。
