論文紹介: 人手で作成した科学系マルチモーダル指示で大規模言語モデルを調整する「SCITUNE」
arXivのプレプリントとして、科学論文由来のマルチモーダル指示にLLMを合わせるための調整手法「SciTune」が提案されています。 / 著者らは、視覚エンコーダーとLLMをつないだ大規模マルチモーダルモデル「LLaMA-SciTune」を訓練し、図表種別やキャプション生成のベンチマークで既存手法を上回ったとしています。 / ScienceQAでは、合成データのみで調整したモデルと比べて、人間の性能を平均的に上回る結果も示されたと説明されています。
論文紹介: M3Exam——多言語・マルチモーダル・多段階の試験ベンチマークによるLLM評価
実在する公開試験の問題を集め、LLMを評価するためのベンチマーク「M3Exam」を提案するプレプリントです。 / 9言語、12,317問、3つの教育段階を含み、約23%の問題は画像処理が必要とされています。 / 著者らは、従来のNLPベンチマークよりも、人間の試験のほうが言語理解、知識、問題解決などを広く見られると述べています。
論文紹介: T-SciQ: 混合されたLLMシグナルでマルチモーダルな思考過程推論を教える科学QA手法
arXiv上のプレプリントとして公開された、ScienceQA向けの論文です。 / 高品質な人手注釈のCoT（chain-of-thought）理由付けを集める負担に着目し、LLMのシグナルを使って学習用の教示データを作る手法が提案されています。 / 小さめのモデルに複雑なマルチモーダル推論を学習させることを目指しており、データ混合の戦略も含まれています。
論文紹介: 大規模言語モデルで医師レビューの偽装を見分ける手法
arXivのプレプリントとして、医師に関する偽レビューの識別に大規模言語モデルを使う研究です。 / 38048件の医師レビューを使い、ロジスティック回帰やSVMなどの従来手法とGPT系モデルを比較しています。 / 要旨では、GPT-3が従来手法より高い性能を示し、少ない学習データでも使いやすい可能性があるとされています。
論文紹介: LLMで環境と対話しながらマルチモーダルに知覚するロボット手法「Matcha」
arXivのプレプリントとして、ロボットが環境から追加情報を取りながら行動する「interactive perception」の枠組みが提案されています。 / LLMを骨格にして、視覚・音・触覚・自己位置感覚などのマルチモーダル情報を扱いながら、次にどんな感覚情報を取りに行くかという「epistemic actions」を指示できる点が特徴です。 / 単に1回で行動を決めるのではなく、部分観測の状況で情報収集と計画を往復しながらタスクを進めるロボット制御を目指しています。
論文紹介: SpikeGPT: スパイキングニューラルネットワークを用いた生成事前学習言語モデル
arXiv掲載のプレプリントで、スパイキングニューラルネットワーク（SNN）を使った生成言語モデル「SpikeGPT」を提案しています。 / Abstractでは、自然言語生成におけるSNNの有効性を探る試みとして説明されており、45Mと216Mの2種類のモデルを学習したとされています。 / 著者らは、Transformerブロックの自己注意を別の機構に置き換えることで、系列長に対する計算量を二次から一次へ下げることを目指したと述べています。
論文紹介: 大規模言語モデルとグラフニューラルネットワークを使うエンティティベースのトピックモデリング
arXivのプレプリントとして、エンティティを使って話題をまとめるトピックモデリング手法が提案されています。 / 単語の出現頻度ではなく、知識ベースと結びついた概念的なエンティティを使う点が特徴です。 / 著者らは、LLMとグラフニューラルネットワークから得た表現を用いて、エンティティの代表的な側面を捉えるクラスタリングを試みています。
論文紹介: LLM-Planner: Few-Shot Grounded Planning for Embodied Agents with Large Language Models
大規模言語モデル（LLM）を、視覚環境で動くエージェントの計画器として使う手法を提案したプレプリントです。 / 少量のデータで計画を行う「few-shot planning」と、現在の環境に合わせて計画を更新するための物理的なグラウンディングを扱っています。 / ALFREDデータセットでの実験では、訓練データの0.5%未満しか使わない条件でも、フルデータ学習の最近のベースラインに匹敵する性能が報告されています。
論文紹介: 大規模言語モデルで前提条件エラーに対する修正行動を提案するCAPE
arXiv上のプレプリントとして公開された、ロボット計画に関する論文です。 / 大規模言語モデルを使って、動作が失敗したときに単純な再試行ではなく、原因となる前提条件エラーへの修正行動を提案する手法を扱っています。 / VirtualHome環境では、既存手法のSayCanと比べて、計画の正しさに関する指標が向上したとされています。
論文紹介: TabLLM: 大規模言語モデルによる表形式データの少数例分類
arXivのプレプリントとして公開された、表形式データの分類に大規模言語モデルを使う研究です。 / 表の内容を自然言語の文字列に変換して入力する方法を試し、ゼロショット・少数例の両方で評価しています。 / いくつかのベンチマークでは、既存の深層学習ベース手法より良い結果が示されたと要約されています。