麻生R&Dセンター顧問寄稿「AIとは何だろうか?」

SCSK株式会社 R&Dセンター
顧問 麻生 英樹

ここまで、「AI」について書いてきましたが、この原稿の残りの部分では、こうした全体的な動向を踏まえつつ、私の専門でもある「機械学習」の技術について、今考えられている発展の方向について少し書いてみたいと思います。

「機械学習」技術の3つの方向性

AI」は機械学習によって性能を向上させ、世の中で使われる場面が増えていますが、その学習能力はまだ初歩的なものと言えるでしょう。たとえば、ケプラーはティコ・ブラーエの残した莫大な天文観測データから、惑星の運動に関するケプラーの法則を発見したと言われていますが、そうした、高度に抽象化された「法則発見」の力は、まだ人間には及びません。学習に莫大な量のデータと計算が必要な点も同様です。

このほかにも、現在の機械学習の課題としては、学習結果や推論結果の説明可能性や解釈可能性が低いこと、信頼度の評価や性能の保証が難しいこと、などが指摘され、それらを解決するための研究が進められていますが、ここでは、深層学習で一段階発達した機械学習の能力を、さらに向上させるための技術的な方向性の中から重要と思われる、 ①「自己教師あり学習」による「埋め込み」に代表される「特徴表現学習」の高度化②「機械学習の自動化」と「メタ学習」、そして、③「意識」と「無意識」の統合、の3つと、それらの間の関係について少し説明したいと思います。

「機械学習」の性能を向上させる「特徴表現学習」

まず「特徴表現学習」の高度化です。「特徴表現学習」は、深層学習による機械学習性能の大幅向上の中核をなすものであることはよく知られています。たとえば、深層学習以前の機械学習を使った画像認識のシステムでは、生の画像データから人が設計した特徴ベクトルを計算した後に、それを入力として識別を学習させていました。しかし、大量の学習データを使った深層学習によって、課題にあわせた特徴ベクトルもデータから学習することが可能になりました。テキスト処理の分野では、単語などの要素単位をベクトル空間に「埋め込む」形で特徴表現を学習させることが行われて、機械翻訳などの性能向上につながっていることはよく知られているとおりです。

しかし、現在の埋め込みで捉えられている情報は限られたものです。単語の埋め込みの研究では、「王」の埋め込み表現から「男」の表現を引いて「女」の表現を足すと、「女王」の埋め込み表現に近いものが得られる、などが話題になりましたが、そうした埋め込み空間での演算で、どこまで複雑な論理的推論などができるのかは明らかではありません。機械翻訳の性能も、以前に較べると大幅に向上していますが、まだ人間並みにはなっていません。言葉の意味を捉えて推論したりするためには、単なる数値のベクトルではなく、もっと複雑な構造を持った埋め込み表現が必要なのではないか、という意見もあります。テキスト以外でも、たとえば医療における薬の組み合わせのようなものも埋め込みを使った特徴抽出をすることが考えられますが、どのように埋め込めばよいのかはよくわかっていないと思います。

「特徴表現学習」を進化させる「自己教師あり学習」

埋め込みによる特徴表現学習のために、最近「自己教師あり学習」という種類の学習がよく研究されています。たとえば画像の認識を学習させようとするときには、画像とそこに写っている「犬」などの正解ラベル=教師信号のペアをたくさん用意するのが普通です。しかし、それには人手がかかるため、できるだけ少ない教師データから学習できると嬉しいわけです。実際、人間の子供は、驚くほど少ない例から、言葉の意味を獲得しているとされています。

そこで、人手で教師信号をつけるのではなく、たとえば画像や文章の一部を隠してそれを補間的に推測する、といった自動的に教師信号を作れるような学習課題を設定して、それを大規模に学習させることで、特徴表現学習をさせることが行われています。そうして学習された「事前学習済みモデル」が計算する特徴表現を使うことで、個別の識別などの課題を、より少ない学習データで学習することができるようになるのです。自然言語処理の分野で最近話題になっている BERT などの「事前学習済みモデル」も、こうした「自己教師あり学習」によって作られています。また、人の脳でも、脳の中の世界のモデルは、情報が欠けている部分が自動的に補間され、安定性を保つように維持されていると考えられています。

「自己教師あり学習」の代表的なものが予測です。予測は、次の瞬間には正解が得られるため、正解ラベルを作る必要なく学習し続けることができます。私たちの知能は、予測をより正確にするために発達したと言っても過言ではないと思いますし、脳の情報処理の研究でも、予測符号化(Predictive Coding)などの名前で、予測にもとづく特徴表現学習が研究されています。

「自己教師あり学習」によって、埋め込まれる表現や、それに基づいた世界モデルを高度化し、精緻なものにしてゆくこと、そうして得られた特徴表現学習を用いて「転移学習」などを行うことが機械学習の性能向上、特に、少数データからの効率の良い学習に結びついてゆくと期待されます。

1

2

3
PAGE TOP