2021年2月

論文紹介: 大規模言語モデルの微調整を連合学習で広げる試み

連合学習を使って、Transformer系言語モデルの微調整を行う研究です。 / BERT、ALBERT、DistilBERTを、感情分析や著者識別などの分類タスクで評価しています。 / クライアント数を最大32まで増やし、分散学習が性能にどう影響するかを調べています。