2023年2月

論文紹介: SpikeGPT: スパイキングニューラルネットワークを用いた生成事前学習言語モデル

arXiv掲載のプレプリントで、スパイキングニューラルネットワーク（SNN）を使った生成言語モデル「SpikeGPT」を提案しています。 / Abstractでは、自然言語生成におけるSNNの有効性を探る試みとして説明されており、45Mと216Mの2種類のモデルを学習したとされています。 / 著者らは、Transformerブロックの自己注意を別の機構に置き換えることで、系列長に対する計算量を二次から一次へ下げることを目指したと述べています。