生成AIのアプリが、会話を「圧縮」し始めている。これは座禅をしているように見えて、実はまったく別のことをしている。
人間の脳は、寝ている間にゴミ出しをしている
睡眠中の脳は、日中に増えすぎたシナプスの結合を間引き、重要な記憶を海馬で再生して定着させている。
瞑想も似た働きを持つが、メカニズムは別物だ。デフォルトモードネットワークの活動を抑え、雑念の生成そのものを静める。寝ることと座ることは、別の掃除の仕方である。
LLMにも、それらしき仕組みはある
LLMにも、それらしき仕組みはいくつかの段階で見つかる。
- 学習段階：Hintonのwake-sleepアルゴリズム（1995年）や、破局的忘却を防ぐスリープ・リプレイによる再学習
- 推論段階：重みは凍結されており、会話中に自分でノイズを整理する仕組みは標準搭載されていない
- システムレベル：会話の合間に要約・圧縮する実装（普段使うAIアプリの「会話を圧縮します」も、おそらく同じ系譜だ）
いずれも、名前ほど神経科学的な意味での「眠り」ではない。
座禅するLLMはまだいない
会話を圧縮できることと、眠ったり座ったりできることは、別の能力だ。前者は文字数を減らす工学で、後者は意味の優先順位をつけ直す生理現象である。
中華ランチの崩壊が、学習データという大鍋そのものの汚れを扱う話だとすれば、こちらは一杯分の会話という小鉢の中の話だ。
情報を溜め込み続ける存在には、いずれ間引く仕組みが要る。その仕組みをまだ持たない者を、座禅しているとは呼べない。