本日のおしながき

はじめに
「努力が実を結ぶ」感じがするLLMの成長力の例
LLMは「開花する」：Emergent Ability
LLMの「継続は力なり」：Grokking

はじめに

本日2023/12/27、松尾研究室LLMサマースクール2023の講義コンテンツが公開となりました！
https://weblab.t.u-tokyo.ac.jp/llm_contents/

この講義資料、マジ絶賛です！！私が今年見たあらゆる技術情報、資料、Youtube .etc の中で、ダントツで最高でした。

どの辺が最高かというと「本質から入り、手段に展開していく」という講義の順序、これに尽きます！

(1) 全ての根底である「言語モデルの定義」と「自己回帰モデル」の解説から入っている
(2) 大規模言語モデルの「実務者にとっての有用な性質」を先に確認している

手段である「事前学習＆ファインチューニング」や「Transformer」は、(1)(2)を理解した上で学ぶ方が、わかりやすいと感じられました。

ということで、この資料の内容を何とか多くの人に知ってもらいたかったので、この解禁は嬉しい限りです！これから、私の興味の順序ではありますが、少しずつ、学んだことをシェアしていこうと思います。

「努力が実を結ぶ」感じがするLLMの成長力の例

LLMサマースクールでLLMの成長過程の性質を学んでいくうちに「あれ、これって、努力が実を結ぶ系の話？」のように感じる性質をいくつか発見しました。私は以下が特にそうだな、と感じました。

Emergent Ability ... 多岐に渡って多く学ぶと、突如「開花する瞬間」がある
Grokking ... 基礎練習を繰り返すと、突如「応用」が効くようになる


人間も、頑張ると、「開花」したり「応用」が効くようになるといいなぁ・・・
ということで、本稿では、とても印象に残ったEmergent AbilityとGrokkingについて紹介したいと思います。いずれも、松尾研究室LLMサマースクール2023ではDay4にて講義されていますので、そちらも参考にしてみて下さい！

LLMは「開花する」瞬間がある：Emergent Ability

こちらは、2022年に公開された論文「Emergent Abilities of Large Language Models」にて説明された内容です。この論文のFigure.2がこちら。
image.png 78.56 KB
これらのグラフを見ると、いずれも、突如「開花する瞬間」があるのを見て取れると思います。このことは２章で以下のように定義されています。
image.png 25.3 KB(黄色部分の英語と筆者意訳)
An ability is emergent if it is not present in smaller models but is present in larger models.
(筆者意訳) 小さなモデルでは存在しないが、大きなモデルだと存在する場合、その能力は創発的である

大きなモデル = 知識量が多い、ということでしょうから、我々も、多岐に渡ってしっかりとした量の情報を学ぶといつか開花するのかな？とか思ったりしましたが、どうなんでしょう？

LLMの「継続は力なり」：Grokking

こちらは、2022年に公開された論文「Grokking: Generalization Beyond Overfitting on Small Algorithmic Datasets」にて説明された内容です。この論文の１章に出てくるFigure.1がこちら。
image.png 30.88 KBこの図のすぐ下に、Grokkingの解説が書いてあるのですが、これを大雑把に言うと以下の通りです。

訓練データで過剰適合するまで訓練した後も更に訓練を継続すると、なぜか突然、検証データでの性能まで上がってしまう


LLM界では「継続は力なり」らしいんです。人間界も同じだといいのになぁ・・・

この話を知った時、私の頭には、今年引退したサッカーの小野伸二選手のことがすぐに思い浮かんだんですよね。

小野選手は小学生の頃、サッカー少年団に入れずにひとりで練習をしていたそうなんです。その間、きっと同じことを繰り返し繰り返し練習・・・そしたら、試合中でも通用する凄い技術に昇華してしまったわけで・・・それって「過剰適合 → Grokking」？私も、そんな日が来ることを夢見て日々鍛錬しようと思います。

まとめ

「人って、どうすると賢くなれるのかなぁ？」ということに興味があると、深層機械学習の学習過程にはとても興味を惹かれます。昨今のLLMのように、複数種類のタスクをこなせるAIが出てくると、その成長の様子により興味を惹かれてしまいます。

そんな興味から、Emergent AbilityとGrokkingを紹介させて頂きました。人生もこうあってくれるといいなぁ、と思うLLMの成長力です。この話が、何かの参考になれば幸いです。