論文紹介: 大規模言語モデルで医師レビューの偽装を見分ける手法
arXivのプレプリントとして、医師に関する偽レビューの識別に大規模言語モデルを使う研究です。 / 38048件の医師レビューを使い、ロジスティック回帰やSVMなどの従来手法とGPT系モデルを比較しています。 / 要旨では、GPT-3が従来手法より高い性能を示し、少ない学習データでも使いやすい可能性があるとされています。
論文紹介: LLMで環境と対話しながらマルチモーダルに知覚するロボット手法「Matcha」
arXivのプレプリントとして、ロボットが環境から追加情報を取りながら行動する「interactive perception」の枠組みが提案されています。 / LLMを骨格にして、視覚・音・触覚・自己位置感覚などのマルチモーダル情報を扱いながら、次にどんな感覚情報を取りに行くかという「epistemic actions」を指示できる点が特徴です。 / 単に1回で行動を決めるのではなく、部分観測の状況で情報収集と計画を往復しながらタスクを進めるロボット制御を目指しています。
論文紹介: SpikeGPT: スパイキングニューラルネットワークを用いた生成事前学習言語モデル
arXiv掲載のプレプリントで、スパイキングニューラルネットワーク（SNN）を使った生成言語モデル「SpikeGPT」を提案しています。 / Abstractでは、自然言語生成におけるSNNの有効性を探る試みとして説明されており、45Mと216Mの2種類のモデルを学習したとされています。 / 著者らは、Transformerブロックの自己注意を別の機構に置き換えることで、系列長に対する計算量を二次から一次へ下げることを目指したと述べています。
論文紹介: 大規模言語モデルとグラフニューラルネットワークを使うエンティティベースのトピックモデリング
arXivのプレプリントとして、エンティティを使って話題をまとめるトピックモデリング手法が提案されています。 / 単語の出現頻度ではなく、知識ベースと結びついた概念的なエンティティを使う点が特徴です。 / 著者らは、LLMとグラフニューラルネットワークから得た表現を用いて、エンティティの代表的な側面を捉えるクラスタリングを試みています。
論文紹介: LLM-Planner: Few-Shot Grounded Planning for Embodied Agents with Large Language Models
大規模言語モデル（LLM）を、視覚環境で動くエージェントの計画器として使う手法を提案したプレプリントです。 / 少量のデータで計画を行う「few-shot planning」と、現在の環境に合わせて計画を更新するための物理的なグラウンディングを扱っています。 / ALFREDデータセットでの実験では、訓練データの0.5%未満しか使わない条件でも、フルデータ学習の最近のベースラインに匹敵する性能が報告されています。
論文紹介: 大規模言語モデルで前提条件エラーに対する修正行動を提案するCAPE
arXiv上のプレプリントとして公開された、ロボット計画に関する論文です。 / 大規模言語モデルを使って、動作が失敗したときに単純な再試行ではなく、原因となる前提条件エラーへの修正行動を提案する手法を扱っています。 / VirtualHome環境では、既存手法のSayCanと比べて、計画の正しさに関する指標が向上したとされています。
論文紹介: TabLLM: 大規模言語モデルによる表形式データの少数例分類
arXivのプレプリントとして公開された、表形式データの分類に大規模言語モデルを使う研究です。 / 表の内容を自然言語の文字列に変換して入力する方法を試し、ゼロショット・少数例の両方で評価しています。 / いくつかのベンチマークでは、既存の深層学習ベース手法より良い結果が示されたと要約されています。
論文紹介: ProgPrompt: 大規模言語モデルを使ったロボットのタスク計画生成
arXiv掲載のプレプリントで、ロボットが環境に応じて行動計画を立てる方法を扱っています。 / LLMに自由文をそのまま出させるのではなく、実行可能な行動や物体を“プログラム風”に指定するプロンプト構造を提案しています。 / VirtualHomeの家庭内タスクで成功率向上を示し、実機のロボットアームにも適用したとされています。
論文紹介: 大規模言語モデルの外挿を促す、理由生成とマークアップトークンの併用
arXivのプレプリントとして公開された、系列が学習例より長い場合の外挿に関する論文です。 / 要旨では、モデルの構造や学習手順を変えなくても、段階的な理由付けの生成とマークアップトークンの導入を組み合わせることで外挿が可能になると説明されています。 / 長い系列では位置把握が難しくなるため、明示的な位置・カウントの記号を与えることが有効だとされています。
論文紹介: 言語フィードバックを使ってロボット計画を行う「Inner Monologue」
arXiv上のプレプリントで、LLMをロボットの計画や操作にどう使うかを扱っています。 / 環境からの自然言語フィードバックを取り入れることで、LLMが「内なる独り言」のように状況を整理しながら計画できる可能性を示しています。 / 成功判定、場面説明、人とのやりとりなど、複数のフィードバック源を比較しています。