論文紹介: Graph Neural Networks: Methods, Applications, and Opportunities
arXiv上のプレプリントとして公開された、グラフニューラルネットワーク（GNN）のサーベイ論文です。 / 教師あり・教師なし・半教師あり・自己教師あり学習の各設定に分けて、GNNの手法を整理しているとされています。 / 理論面と実証面の両方から方法を分析し、GNNを構築するための一般的なアーキテクチャ指針も示していると要約されています。
論文紹介: Transformer言語モデルに構造的な手がかりを与える研究
arXiv掲載のプレプリントで、Transformer言語モデルに文法構造の手がかりを加える方法を扱っています。 / 主な提案は、解析と単語列を同時に扱う「Generative Parsing」と、追加の構造損失で構文解析を予測する「Structural Scaffold」です。 / 14Mトークンと46MトークンのBLLIPデータの一部で学習し、SG Test SuitesとBLiMP系の評価で構文的一般化を検証しています。
論文紹介: Neural Bellman-Ford Networks: Link Predictionのためのグラフ学習フレームワーク
arXivのプレプリントで、グラフ上のリンク予測を扱う論文です。 / Bellman-Ford法に着想を得て、パス情報を使ってノード対の表現を学習する枠組みを提案しています。 / NBFNetは、従来のパスベース手法を広く含みうる一般的なGNNフレームワークとして説明されています。
論文紹介: 共有勾配から画像データを復元する攻撃手法 GRNN に関する preprint
arXiv掲載のpreprintで、連合学習（Federated Learning, FL）におけるデータ漏えい攻撃を扱っています。 / 共有された勾配情報のみから、画像ベースの秘匿データを復元できると主張しています。 / 著者らは、GANでは不足しがちな追加情報を使わず、Generative Regression Neural Network（GRNN）として回帰問題に定式化した攻撃を提案しています。
論文紹介: Graph Neural Network Reinforcement Learning for Autonomous Mobility-on-Demand Systems
arXivのプレプリントとして公開された、AMoD（自律型の移動サービス）システムの再配置制御を対象にした論文です。 / 交通ネットワークをグラフとして表し、グラフニューラルネットワーク（GNN）と強化学習を組み合わせる枠組みが提案されています。 / 論文要旨では、学習した方策が他手法よりも移転性・一般化・拡張性の面で有望だと説明されています。
論文紹介: ニューラルネットに関係性の事前分布を入れて抽象パターン学習を助ける手法
arXiv上のプレプリントで、抽象パターン学習と自然言語モデルにおける「関係性に基づく帰納バイアス」を扱っています。 / 提案手法 ERBP は、重みへのベイズ的な prior として実装され、標準的なニューラルネットに組み込みやすいと説明されています。 / 著者らは、合成データの抽象パターン課題で高い汎化を示し、単語レベル・文字レベルの言語モデルにも改善が見られたと報告しています。
論文紹介: 大規模言語モデルの微調整を連合学習で広げる試み
連合学習を使って、Transformer系言語モデルの微調整を行う研究です。 / BERT、ALBERT、DistilBERTを、感情分析や著者識別などの分類タスクで評価しています。 / クライアント数を最大32まで増やし、分散学習が性能にどう影響するかを調べています。
論文紹介: KM-BART: 知識を取り入れたマルチモーダルBARTによる視覚常識生成
画像とテキストを入力に、常識的な推論を行うマルチモーダル生成モデルを提案しています。 / BARTを画像と言語の両方を扱える形に拡張し、事前学習の新しいタスクを加えた点が主な特徴です。 / 特に Knowledge-based Commonsense Generation（KCG）という事前学習タスクが、Visual Commonsense Generation（VCG）の性能向上に寄与すると説明されています。
論文紹介: 3D座標を使う分子特性予測向けグラフ注意ニューラルネットワーク
arXivのプレプリントとして、分子の特性予測に向けたDGANN（Directed Graph Attention Neural Network）を提案する論文です。 / 化学結合を辺として使い、原子と結合の局所情報をグラフ注意機構で学習し、Transformerブロックで分子全体の表現を集約すると説明されています。 / 位置ベクトルや3D座標を入力に使う点が特徴で、距離情報を主に使う既存手法との差を打ち出しています。
論文紹介: グラフニューラルネットワークとマルチエージェント深層強化学習による車両配車管理の最適化
arXiv上のプレプリントとして、道路ネットワークをグラフで表現し、車両配車管理を最適化する手法が提案されています。 / 従来の格子状近似ではなく、道路構造をグラフとして扱うことで、空間構造をより自然に反映しようとしています。 / 動的な資源配分をマルチエージェント強化学習として定式化し、Q関数をグラフニューラルネットワークで近似すると説明されています。