論文紹介: 強化学習と大規模言語モデルの関係を整理する分類体系の提案
arXivに掲載されたプレプリントで、強化学習（RL）と大規模言語モデル（LLM）の組み合わせ研究を整理する論文です。 / 著者らは、RLとLLMの関係を3つの主要クラスに分ける分類体系を提案しています。 / LLMの性能改善にRLを使う「RL4LLM」、RL学習をLLMが支援する「LLM4RL」、両者を共通の計画枠組みに置く「RL+LLM」に整理しています。
論文紹介: シリコンフォトニクスを使った大規模言語モデルとグラフ処理向けの高速化手法
arXiv掲載のプレプリントで、シリコンフォトニクスを用いたハードウェア加速器によるAI計算の高速化を扱っています。 / 対象は、LLMで使われるTransformer系ニューラルネットワークと、グラフデータを処理するGraph Neural Networksです。 / 要旨では、複数の電子系ハードウェア加速器と比べて、少なくとも10.2倍のスループット向上と3.8倍のエネルギー効率改善が示されたとされています。
論文紹介: DocLLM――レイアウトを考慮した文書理解向け生成言語モデル
arXivのプレプリントとして、文書の文字情報に加えてレイアウト情報を扱うDocLLMが公開されています。 / 画像エンコーダーを使わず、主にbounding box情報を用いて空間的な配置を取り込む点が特徴とされています。 / 請求書、契約書、フォームなどの企業文書を対象に、4つの文書理解タスクで微調整され、複数データセットで性能を示したと要約されています。
論文紹介: LLMのフィードバックを使ってロボット操作の強化学習を効率化する手法「Lafite-RL」
ロボット操作の強化学習に、LLMの自然言語フィードバックを組み合わせる枠組みを提案しています。 / 人手の専門家による監督が難しい場面で、LLMを自動的な助言役として使う発想が示されています。 / RLBenchのタスクで、学習効率と成功率がベースラインより改善したと報告されています。
論文紹介: LLMを材料設計に活用するための検索拡張知識グラフとマルチエージェント戦略
arXivのプレプリントで、材料解析・設計・製造にLLMをどう活用できるかを扱っています。 / 著者は、材料分野向けに微調整したモデル MechGPT を使い、分野知識の理解や情報の取り出し方を検討しています。 / 抽象によると、学習済み知識だけでは答えにくい問いに対して、検索拡張とオントロジー知識グラフを組み合わせる方法を提案しています。
論文紹介: LLM-Grounder—大規模言語モデルを用いた3D視覚グラウンディングのゼロショット手法
arXivのプレプリントとして公開された、3D視覚グラウンディングに関する論文です。 / LLMを使って自然言語の質問を分解し、3Dシーン内の対象物を見つける流れが提案されています。 / ラベル付き学習データを使わないゼロショット・オープンボキャブラリ手法で、新しい3Dシーンや任意のテキスト質問への一般化をうたっています。
論文紹介: WizardMath——大規模言語モデルの数学的推論を強化する Reinforced Evol-Instruct
arXivのプレプリントとして公開された、数学推論に特化した大規模言語モデルの研究です。 / 提案手法は、Evol-Instruct系のフィードバックを強化学習で活用するRLEIFにより、数学領域でのChain-of-Thought推論を改善すると説明されています。 / GSM8kとMATHの2つのベンチマークで評価され、オープンソースモデルとの比較や、GPT-3.5-Turbo、Claude 2、Gemini Pro、GPT-4-early-versionとの比較結果が示されています。
論文紹介: 人手で作成した科学系マルチモーダル指示で大規模言語モデルを調整する「SCITUNE」
arXivのプレプリントとして、科学論文由来のマルチモーダル指示にLLMを合わせるための調整手法「SciTune」が提案されています。 / 著者らは、視覚エンコーダーとLLMをつないだ大規模マルチモーダルモデル「LLaMA-SciTune」を訓練し、図表種別やキャプション生成のベンチマークで既存手法を上回ったとしています。 / ScienceQAでは、合成データのみで調整したモデルと比べて、人間の性能を平均的に上回る結果も示されたと説明されています。
論文紹介: M3Exam——多言語・マルチモーダル・多段階の試験ベンチマークによるLLM評価
実在する公開試験の問題を集め、LLMを評価するためのベンチマーク「M3Exam」を提案するプレプリントです。 / 9言語、12,317問、3つの教育段階を含み、約23%の問題は画像処理が必要とされています。 / 著者らは、従来のNLPベンチマークよりも、人間の試験のほうが言語理解、知識、問題解決などを広く見られると述べています。
論文紹介: T-SciQ: 混合されたLLMシグナルでマルチモーダルな思考過程推論を教える科学QA手法
arXiv上のプレプリントとして公開された、ScienceQA向けの論文です。 / 高品質な人手注釈のCoT（chain-of-thought）理由付けを集める負担に着目し、LLMのシグナルを使って学習用の教示データを作る手法が提案されています。 / 小さめのモデルに複雑なマルチモーダル推論を学習させることを目指しており、データ混合の戦略も含まれています。