おすすめはなぜさっき見た1件に偏る？北大が推薦AIの内部を分析

いまの主流は、文章を書く生成AIの多くと同じ作り（トランスフォーマー）を使う推薦AIなんだ。中では履歴を1件ずつ数字の列に置き換えて、見た順に箱へ入れていくよ。
この箱を、ここでは欄って呼ぶね。

そう。しかも、その欄どうしがつながってるんだ。行列に並んだ人にたとえると、どの人も、自分と前の人の話だけが聞こえる並びだよ。
ただ、実際に並んでるのは人じゃなくて、数字の列だけどね。

聞こえた話をどのくらい参考にするかの強さを、重みって呼ぶよ。関係が強い欄ほど、多く取り込むんだ。この仕組みが自己注意だよ。

次を当てるときに使うのは、いちばん後ろの欄にたまったものだけなんだ。

ところが、こうした推薦AIの予測は、さっき見た1件に偏りすぎると指摘されてたんだ。頼り方の強さを測ったのは、長谷山美紀教授（北海道大学大学院情報科学研究院）らの研究グループだよ。

材料は実社会のデータ9つと、代表的な推薦AIの5つなんだ。

代表格のSASRecでは、履歴の末尾に来る1件、つまりさっき見た物はそのままにして、それより前の順番だけ入れ替えたんだ。すると多くのデータで、当たり具合はあまり変わらなかったよ。

末尾の物まで入れ替えて別の物に変わると、大きく下がったんだ。
さっき見た1件が予測を強く左右して、それより前の履歴は十分に生かされていない可能性があるよ。

近いね。ただ、しりとりは次の頭文字が直前の1語だけで決まるでしょ。推薦AIは前の履歴も読んでいるはずなのに、結果はさっき見た1件に引っぱられるんだ。

それが、重みを調べても、並びの位置によってなだらかに変わる傾向があるだけだったんだ。
さっき見た1件だけが飛び抜けてはいないから、重みを見るこれまでの分析では、この差を説明できなかったんだよ。

そこで研究グループが目を付けたのが残差接続。自己注意などを通した結果に、通す前の中身をそのまま足し合わせる仕組みなんだ。

推薦AIの中では同じ作りの処理を何段も重ねていて、その1段を層って呼ぶんだ。残差接続があると、段を深く重ねても学習が安定しやすくなるから、広く使われてきたんだよ。
中身を詳しく調べたSASRecとDuoRecでも、自己注意とセットで各層に組み込まれてる。

たとえるなら、各欄は自分のメモを持っていて、自己注意で前の欄から要点を書き写して新しい紙にまとめるんだ。残差接続は、そこに元の分をそのまま重ねる仕組みだよ。

紙ならそうだね。でも足すと混ざって1つになって、大きいほうの影響が強く残るんだ。

北大のチームはSASRecとDuoRecを使って、各欄の中身のうち、ほかの欄から集めた分が占める割合を測ったんだ。量は、列が全体として持つ大きさで比べてるよ。

自己注意を通した直後で比べると、集めた分は72〜96%と高い値だった。ところが残差接続で元の分を足すと、12〜40%まで大きく下がるんだ。

つまり足した後は、半分以上がもとから持っていた分で占められるんだ。さっきのメモなら、集めた要点の上に、元のメモが濃く重なった状態だね。

推薦AIが次を当てる材料は、いちばん後ろの欄だけだったよね。その欄に元から入っているのは、さっき見た1件の情報なんだ。

そう。前の件から集めた分も入ってはいるけど、残差接続が足し戻す分に比べると薄くなる。だから予測は、さっき見た1件に引っぱられるんだ。

行列の一番後ろの人が、代表で答えるのに近いかな。前の人の話も聞いてるけど、自分の元の考えのほうが強く残るんだ。
ただ、これもたとえで、実際は足し算だよ。

チームは、後ろの欄だけで当てる作りと残差接続の足し戻しが重なることで、偏りが説明できるとしてるよ。

チームは、学び終えた推薦AIを学び直させずに、推薦するときだけ残差接続の強さを係数で変えたんだ。標準を1として、すべての層とすべての欄で弱めると、集めた分が増えて、偏りは小さくなったよ。

元の分の音量つまみを下げて、ほかの欄から集めた分を聞こえやすくした、というイメージだね。ただ、実際は数字に係数をかけているだけだよ。

それが、弱めるほど、平均の当たり具合は下がったんだ。
さっき見た1件を重く見ることが、当たり具合を支えている面もあるんだよ。

それでも、いちばん後ろの欄で外していた予測の一部は、弱めることで直せたよ。
ただ、今回調べたのは、9つのデータを学ばせた研究用の推薦AIなんだ。実際に動いているサービスのおすすめそのものは調べてないよ。