面白そうな本というのはいつも向こうから飛び込んできます。白い表紙の本でした。著者の方には大変申し訳ないのですが、ちょっとタイトル自体は正確に見ていなくて中身をササっと読んでしまいました。
そこに書いてあったのは長年にわたってAIに関して私の中で疑問に思ってはいたけれども、理解は全く出来ていなかった事が実に平明に書かれていたのでした。そう、大規模言語モデル（LLM）はどうやって言葉を理解し回答を構成しているかという中核的な疑問に対する回答でした。
それによると、LLMの中核は数学そのもので、ここまでは（まあ、そうだろうな）と内心では思えるんですが、その数学の種類は何かというと線形代数。そして更にその線形代数の具体的な中身は何かというとなんと「ベクトルと行列」なんだそうです！
そして、その中身を更にしれっと立ち読みしてみると言語をどうやって定義するかというところから始まり、単語をすべて埋め込みと言われる 高次元ベクトル（数百〜数千次元） に変換しているというんですね。例えば「猫」という単語は768次元ベクトル！そして「犬」も同じ数の次元を持っているそうです。実は意味が近いものは互いの次元が近いそうなんですが、ここら辺りは立ち読みくらいでは理解できません。ｗ
Attention という名の計算式を用いて文脈理解を行っているのですが、その中心は完全に行列演算です。その先にあるニューラルネットでの計算もずっと行列とベクトルが続くわけで、我々が高校の頃にイントロとして学んだ行列やベクトルはこんなに実世界の中で強烈な応用があるとは思いもよりませんでした。
医学の世界の中ではCTやMRIの画像の生成はブラッグ親子によるX線回折の研究が最終的に逆行列の解を求めることによって為されているという事は聞いていたし、その逆行列の解法が進歩したことによって劇的に計算が高速化されたという話も聞き齧ってはいました。しかし、LLMもその先にある応用だったのか…という事を今日は本屋で「拾い読み」した次第です。
結局のところLLMは、膨大なベクトルと巨大な行列を高速に計算し続けることで、擬似的に言語を理解・生成しているという話。単語 はベクトルに変換され、文脈は行列演算。その上でそれを理解するための式であるAttentionは行列積であり、ニューラルネットでの層の計算は行列Xベクトル、更には学習の部分は行列の微分によるもので、徹頭徹尾、線形代数がその基盤になっているという…。
携帯電話の基地局選択は電波工学、GPSは相対性理論、通信の秘密の保持は楕円関数などに基づいた暗号理論等々数学の無いところで現代の生活はもう「全く」のレベルで成り立たないんですよね。
それらの説明を何れも表面的にしか理解できない己の脳味噌のレベルの低さに溜息です。orz
0 件のコメント:
コメントを投稿