【技術のことば】ベクトル：AIは言葉の意味の近さを矢印の向きで比べる

風で考えるといいよ。風には、どちらへ吹くかという向きと、どれだけ強いかという大きさがあるよね。
数学では、こういう向きと大きさをもつ量をベクトルって呼ぶんだよ。

高校の数学Cで習う内容で、図では矢印でかくのが基本なんだ。
矢印の向きが量の向きを、矢印の長さが量の大きさを表すよ。

向きと長さは、数を並べても書けるんだ。東へ3、北へ4進む動きなら、(3, 4)って2つの数で表せる。
並べた1つ1つの数を成分って呼ぶよ。

三平方の定理で計算すると5だよ。
平面なら2つ、空間なら3つの成分で、向きと長さが決まるんだ。

語の意味は、身長みたいに1つの数で大小を比べられないんだ。
それでもコンピューターは数しか計算できないから、近さも数で測る必要がある。だから数を1つじゃなく、たくさん並べるんだよ。

ただし並ぶ数の個数は、平面の2つとはけたが違うよ。
GoogleのGeminiには、文をベクトルに変える専用のAIがあって、ふだんは3,072個の数の並びを返すんだ。

OpenAIの同じ種類のAIも、ふだんは1,536個か3,072個の数を返すよ。

成績表に似てるかな。国語と数学と英語の点数を並べれば、1人を3つの数で表せるよね。
AIは同じことを、1つの文について数千個の数でやってるんだ。

ただ成績表と違って、並べた数はまとめて1本の矢印として扱うよ。
紙にはかけないけど、足し算や引き算は成分ごとに計算すれば平面のときと同じようにできるんだ。

語や文をこうして数の並びに変えたものを、埋め込みって呼ぶんだ。
英語ではエンベディングで、Googleの説明書もこの呼び名だよ。

なおGeminiの、文をベクトルに変えるAIは、受け取る文の長さをトークンっていう単位で数えてる。
トークンは、AIが文を切り分けて扱うときのひとまとまりなんだ。

人が1つずつ決めるんじゃなくて、大量の文からAIに学ばせるんだ。
よく知られたやり方を、2013年にGoogleのMikolovたちが発表したよ。公開したプログラムの名前から、word2vecって呼ばれてるやり方なんだ。

国語の穴埋め問題に似てるよ。
文の中の1語を隠して、前後4語ずつから隠した語を当てるんだ。

ただ人が解く穴埋めと違って、答え合わせをしながら語ごとの数を少しずつ直していくんだ。
そうやって当たるようになると、語ごとのベクトルができあがるよ。

もう1つは逆に、1つの語からその前後にある語を当てる練習だよ。

Mikolovたちは、似た語のベクトルどうしが近くに集まることを期待して、できたベクトルの出来を確かめたんだ。
たとえばFranceとItalyみたいな国どうしが似ていることは、簡単に示せるって書いてるよ。

まずは向きで比べるのが基本なんだ。
たとえば(3, 4)と(6, 8)は、長さは違っても同じ向きを指してるよね。

指さしで考えるといいよ。2人が同じほうを指していれば、腕の長さが違っても向きは同じだよね。
ただ指さしと違って、AIでは向きのそろい具合を数で出すんだ。

測り方も、Googleは大きさじゃなくて向きを見るほうをすすめてるんだ。
近さを-1から1の数で表して、1がいちばん似ている状態だよ。-1は逆の向きで、直角に交わる向きなら0になるんだ。

それに、語が一致するかで探すより正確な検索ができるとも説明してる。
語が違っても、中身の近い文を向きの近さで拾えるってことだよ。

長さを使う場面もあるよ。
北海道大学のグループは、推薦AIの中で情報がどれだけ混ざったかをベクトルの長さで測ったんだ。

word2vecの論文には、もう1つ有名な結果があるんだ。
語はどれもベクトルだから、成分ごとに足したり引いたりできるよね。

ParisからFranceを引いてItalyを足すと、Romeのベクトルにいちばん近くなったんだよ。

首都と国っていう関係が、2つのベクトルの差として残ってたんだ。
道順のメモに似てるね。FranceからParisへの動き方をメモして、Italyから同じだけ動くとRomeの近くに着く感じだよ。

着いた所からいちばん近い語を探したら、それがRomeだったってことだね。

big（大きい）とbiggest（いちばん大きい）の関係でも、同じ計算ができるよ。
よく学習できていれば、small（小さい）に対するsmallest（いちばん小さい）も当てられるとしてるんだ。

いつも当たるわけじゃないんだ。
論文に並べた例を答えの完全一致で採点すると、正解は約60%だって、著者たち自身が書いてるよ。