論文紹介: 物質設計向けの確率的生成モデル「Crystal Transformer」
arXivのプレプリントとして公開された、無機材料の生成設計と調整設計を扱う論文です。 / ブランクフィリング型の言語モデル発想を取り入れ、材料の“文法”を学ぶことで、構成の生成や解釈性、データ効率の向上を目指しています。 / 摘要では、化学的に妥当な組成の生成について、電荷中性や電気陰性度のバランスに関する指標がベースラインより高かったとされています。
論文紹介: Graph Neural Network Enhanced Language Models for Efficient Multilingual Text Classification
災害時のSNS投稿を多言語で分類する手法を扱った、arXiv掲載のプレプリントです。 / グラフニューラルネットワークとTransformer系の言語モデルを組み合わせ、少ないラベルデータでも動く多言語分類を目指しています。 / 英語だけでなく、複数言語・単言語・クロスリンガルの条件で評価し、Weighted F1で既存手法を上回ったと要約されています。
論文紹介: 大規模言語モデルは逆アセンブル・逆コンパイル後のコード解析を助けられるか
arXiv掲載のプレプリントで、Large Language Model（例: Codex）がリバースエンジニアリングに役立つかを検証しています。 / コードの目的、機能、重要な変数名や値を当てるよう促す手法と、正誤クイズ形式の評価枠組みを用いています。 / 136,260問の設問に対して72,754問を正解したと報告されています。
論文紹介: Chain-of-Thought Prompting が大規模言語モデルの推論を引き出すとする研究
arXiv上のプレプリントとして公開された、Chain-of-Thought Prompting に関する論文です。 / 要旨では、途中の思考手順を示すことで、大規模言語モデルの複雑な推論能力が向上すると説明されています。 / 算術、常識推論、記号推論など複数の課題で性能向上が報告されています。
論文紹介: 大規模言語モデルは自然言語のモデルではない？ 「corpus model」という見方を提案した論文
arXivのプレプリントとして公開された、自然言語処理と機械学習にまたがる論考です。 / 著者は、言語モデルという呼び方は誤解を招く可能性があり、より実態に近い表現として「corpus model」を提案しています。 / コード生成などの例を手がかりに、ニューラルモデルが記号的な構造を扱えることは、言語や認知が非記号的だと断定する根拠にはならないと論じています。
論文紹介: Klarna Product Page DatasetによるWeb要素特定とGNN・LLMの活用
arXivのプレプリントとして公開された、Web要素の特定（web element nomination）に関するデータセット論文です。 / 51,701件の手作業ラベル付き商品ページと、8,175のECサイト、8地域にまたがる構成が示されています。 / 既存データセットよりも多様性と規模を重視した設計で、Web自動化の研究基盤を強める狙いがあると読み取れます。
論文紹介: 大規模言語モデルの知識を抽象的なテキスト推論に生かす方法
arXivのプレプリントとして公開された、cs.CL / cs.AIの論文です。 / 大規模言語モデルに含まれる知識が、通常のNLPタスクだけでなく、記号的な推論エンジンの学習にも有用な「帰納バイアス」になりうると述べています。 / 対象は、物体の操作や移動のような抽象的なテキスト推論タスクで、未知の場面や記号への一般化を調べています。
論文紹介: 言語モデルとグラフニューラルネットワークを組み合わせた著者検証手法「LG4AV」
arXivのプレプリントとして、著者検証（authorship verification, AV）に関する手法LG4AVが発表されています。 / 対象は、短い文章や書き方が比較的そろった文書での著者判定で、論文やタイトル・要旨しか手元にない場面を想定しています。 / 提案手法は、事前学習済みのTransformer系言語モデルとグラフニューラルネットワークを組み合わせ、手作りの文体特徴に頼らない点を特徴としていると説明されています。
論文紹介: Graph Neural Networks: Methods, Applications, and Opportunities
arXiv上のプレプリントとして公開された、グラフニューラルネットワーク（GNN）のサーベイ論文です。 / 教師あり・教師なし・半教師あり・自己教師あり学習の各設定に分けて、GNNの手法を整理しているとされています。 / 理論面と実証面の両方から方法を分析し、GNNを構築するための一般的なアーキテクチャ指針も示していると要約されています。
論文紹介: Transformer言語モデルに構造的な手がかりを与える研究
arXiv掲載のプレプリントで、Transformer言語モデルに文法構造の手がかりを加える方法を扱っています。 / 主な提案は、解析と単語列を同時に扱う「Generative Parsing」と、追加の構造損失で構文解析を予測する「Structural Scaffold」です。 / 14Mトークンと46MトークンのBLLIPデータの一部で学習し、SG Test SuitesとBLiMP系の評価で構文的一般化を検証しています。