究極のLLMですら、学習データという「刑務所の図書館」に閉じ込められている。そこで生み出せるのは、既存の知識を組み合わせた「知のキムチバーガー」止まりだ。
LLMの正体は、雨で浸食された山脈
LLMの推論結果は、学習データとプロンプトの関数で表せる。だが、トランスフォーマーやアテンションという土台はもう動かない。残された余地はチューニングだけだ。
だとすれば、こう言い換えたほうが正確だろう。推論結果は、学習モデルとプロンプトの関数である。
学習モデルとは、高次元空間に学習データという雨が降り積もり、浸食してできた山脈のようなものだ。究極のLLMは、世界最大のその山脈を、世界最大のデータセンターで動かす。
刑務所の図書館に、宇宙人の技術書はない
それでも、この山脈を削った雨は、人類が書き残した言葉だけだ。宇宙人のエンジニアリング情報にはアクセスできない。
できることは、既存の知識同士を組み合わせてみることくらいだ。キムチとハンバーガーを合わせてみたら、という程度の「知のキムチバーガー」の提案である。
アインシュタインも、知のキムチバーガーを作った
しかし、アインシュタインの相対性理論もまた、脳内で組み合わせられた知のキムチバーガーだった。新しい観測装置も、宇宙人の助言もない。あったのは既存の論文と、頭の中の思考実験だけだ。
ただし、組み合わせには次元の違いがある。既知の二つを並べるだけの組み合わせと、前提そのものを疑い破壊する組み合わせは、同じキムチバーガーでも別物だ。
究極のLLMは、次の相対性理論を発見できるだろうか。