ベクトル埋め込みってなんやねん Vol.1
単語をコンピュータに理解させる
以下の4単語をコンピュータに理解させたい。
\[\text{猫} \quad \text{犬} \quad \text{寝る} \quad \text{食べる}\]そのままコンピュータに突っ込めば、unicodeから対応したコードポイントを拾ってきて、utf-8で符号に変換され…みたいな処理が走って、最終的に0と1の羅列になる。 ”理解”という言葉の定義が曖昧だったが、ここでは単語そのものと単語に紐づいた意味をコンピュータに処理させる、という定義にしたい。 そのまま突っ込んだところで、コンピュータは単語を理解できただろうか。