はるか昔の話題に、ソフトバンクの「Pepper」のAI開発の際に、「世界中の宗教の教典から、共通の教えを探し覚えさせる」ことをした、というツイートが話題になっていました。
ペッパー君のAI開発者が、AIに道徳を教える為「世界中の宗教の教典から、共通の教えを探し覚えさせる」という方法を実践。その結果
— 瓦屋A太@冬コミ新刊委託中 (@kawarayaata) 2018年1月23日
「他人を騙さない」
「他人から盗まない」
「他人を殺さない」という共通点を覚え
「それ以外の罪は全部許す」
という世界一雑で世界一寛容な教えが誕生したそうな
これを見たときに、とても胡散臭さを感じ、すぐ調べようといくつか資料を集めていたのですが、摩天楼のこととかを調べているうちに忘れてしまいました。先日、ツイッター上でもその件について問い合わせがあり、よいしょと調べ直してみたら、けっこう簡単に結論までたどり着いたので、今更感が漂う話題ではありますが、記事にしたいと思います。
光吉俊二先生のこと
ぜってーデマカセだろうと思ったのですが、ぐぐってみると、意外にあっさりと発言元が特定できました。どうやら、発言元は、「Pepper」の「感情」のプラグラミングを行った、東京大学大学院 工学系研究科の光吉俊二先生のものだったようです*1。2017年12月14日のTBSラジオ「フロッグマンのAIフレンズ」という番組です。
このセンセイ、天才というか奇才というか、もともとは彫刻家であったのですが、「ポリマー・コンクリート」という可塑性に優れた材料にいち早く着目し、それが建築の分野に応用されて法務省本館の外観復元にも携わり、その時の数学的理論を駆使しながら、ST（Sensibility Technology=感性制御技術）を開発、AGIという会社まで立ち上げ、それがPepper開発にまで続いているという、なんだかよくわからん人です*2。
2015年8月4日放送の「ガイアの夜明け」の回も見たのですが、Pepperの開発者のひとり林要*3が、Pepperの内部コンテンツがすべて引き出されたら「飽きられてしまう」というモニター検証の結果に危惧を覚え頼ったのが光吉でした。
光吉はAGIにおいて、「感情マップ」を使ったSTの開発を進めており、Pepperにその「感情マップ」を取り入れ、飽きさせないような工夫をしよう、ということでした。
「感情」を、ホルモンや情動の関係をマトリクス化して構造化したものが上図です。この「感情マップ」をアルゴリズム化して、光吉はPepperにプログラムしたんだそうです。
上記TEDの６：45あたりでも、Pepperが、「ニューラルネットワーク」を通じて、「感情生成エンジン」とつながっていると説明されています。その結果、Pepperに「心」らしきものが生まれ、親しみを覚えやすくなった、というわけです。
「道徳」はPepperに入っていない
さて、実際に光吉センセイは、どのような「道徳」をAIに教えたのでしょうか。TBSラジオの8：00あたりから語られ始めているので、文字起こしをしました。
光吉：キリスト教とかイスラム教とか仏教とかを読むと、大きく３つの共通点があったらしいんですね。１つは「人を殺してはいけない」、もう一つは「人のものを盗んではいけない」、あとは「騙してはいけない」。この３つは全部共通しているので、これだけは、人類共通の平等な掟にしようと。それ以外は許し合おうと。許し合う部分が広ければ広いほど、道徳観念が広い、つまり共感力とダイバシティの、多様性が広くて、立派な人という概念を作ろうとおっしゃられた先生なんですね。
おー、ちゃんと発言していますね。なんだ、疑っちゃって悪かったな…と思ったのですが、よくよくラジオの発言を聞いてみると、この「道徳」は、現在のPepperには入っていないことがわかります。
5：20あたりから、前掲したTEDで、Pepperを感情だけのプログラムにしたところ、映画の「チャッピー」のように怯えて会場から逃げ出そうとした、という話を紹介しています。
光吉：なので、今度、湧き上がる感情を抑える「理性」、専門的には「超自我」っていうんですけど、「理性」をもたせて、それを「道徳」というジャンルにして、Pepperを、感情を制御すると、人間らしい判断力を持つだろう、こういう段階に入ってきている。これが、次のバージョンになる。
光吉は、これをすでにPepperに入れたわけではなく、「次のバージョン」として研究している旨を述べているわけです。これは、光吉が立ち上げた「道徳感情数理工学」という分野で、今まさに研究されていることのようです。
目標A:
「Pepper」の人工自我と超自我（モラル）制御の完成
「道徳」は光吉の考えではない
また、この人類共通の「道徳」なるものは、「「世界中の宗教の教典から、共通の教えを探し覚えさせる」という方法を実践」したわけでも、光吉自身が考え出したものでもありません。7：24あたりで光吉は、「道徳をロボットに植え付ける」とはどういう研究か、という質問にこう述べています。
光吉：これはですね、専門的には僕ではなくて、僕の＊＊上のセンセイで、鄭先生という方がいらっしゃって、その方が、「なぜ人を殺してはいけないのか」、「人を殺してはいけないのに、なぜ戦争とか死刑はあるのか」という根本問題に、意外と誰も答えてないんですね、哲学者とか社会学者とか。そこを答えた医学部のセンセイなんですね。それがメカニカルに答えられているので、まあそれをベースに、僕はそれを数学に置き換えて、アルゴリズムに置き換えてる作業なんです。
で、これに続いて、先ほど引用した「人類共通の平等な掟」の発言をするわけです。つまり、件のツイートでは、まるでAIに教典を全部インストールして、そこからAI自身が３つの「平等な掟」を導き出したように読めますが、そもそもその「平等な掟」を導き出したのはAIではなく人間で、しかも光吉ではなく鄭先生という人だった、というわけです。
このことについて光吉は他のインタビュー記事でも同じような発言をしています。
光吉：これが東京大学でもウケて、いま「道徳感情数理工学」をつくろうとしてるんです。（中略）なぜかっていうと日本の哲学者も文系も西洋のものまねばかりでオリジナルを出さないで、道徳は終わったって勝手に決めて、誰も研究しないから子供たちがこんなになってると。「ひとを殺したらなぜダメなのか」ということに答えられない事はおかしいって。ならばゼロからやろうって作ってる先生（引用注：鄭先生）なんですよ。
このインタビュー記事で、光吉はロボットに「道徳」がプログラムされることで、人間を導くような存在になる、と語っており、ちょっと面白い近未来小説のようです。
本当に「共通の掟」なのか
先程から出ている鄭先生とは、東大の医工学が専門の鄭雄一教授のことです。
参照：東京大学 鄭雄一研究室
で、光吉が語っているような、「道徳」を「ゼロから」作ったことを述べているのが、おそらく以下の本でしょう。
早速読んでみたのですが、光吉のラジオの発言だけ切り取ると、この鄭の著書の内容を取り違えるのではないか、という印象を受けました。
確かに、鄭は、古今東西の宗教の教典や、哲学者・社会学者たちの考えから、「道徳」についてこのように述べています。
「汝殺すなかれ」に「仲間」を補った、「仲間を殺してはいけない」という決まりは、あらゆる社会に共通の変化しない掟の一つであると先ほど述べました。（中略）道徳の決まりの代表として取り上げてたモーセの十戒の中には、同じように「仲間」ということばを補うことで、あらゆる社会に共通の、変化しない掟に変わる決まりがあります。「仲間から盗んではいけない」「仲間をだましてはいけない」などがそうです。
『道徳のメカニズム』P111
確かに「殺すなかれ」「盗むなかれ」「だますなかれ」を挙げていますが、「など」という表現もちょっと気になってしまいます*4。ただ、それよりも注意すべきなのか、鄭が挙げている「仲間」という補い方です。
鄭のこの著作での中心の考え方は、「人を殺すなかれ」と言っているのに、どうして死刑や戦争は存在し、時には称賛されるのか、という疑問から始まっています。鄭は、この時の「人」という表現は、あくまでも、自分たちの「仲間」のことを指すのだろうと述べています。
でも、戦争の例からわかるように、この場合の「人」には、敵の人間は含まれていないのです。すなわち、「人」が意味するのは、字面とは違って、「仲間」の人間だけなのです。
前掲書 P79
だから、イスラエルの民が他部族を虐殺したことも、スリランカの宗派間の対立も、「殺すなかれ」の掟を守っていないのではなく、「（仲間を）殺すなかれ」という掟を従順に守っているのだと鄭は語ります。ただ、この「仲間」の範囲は多様で、宗教や民族などでつながるように、血縁や面識に関わらず「バーチャル」なつながりも持てることが、人間の「道徳」の最大の特徴だということです。
鄭は、道徳の基本原理は「仲間らしくしなさい」という掟であり、その掟の要素として、以下の2つがあるのだと述べています。
１．「仲間に危害を加えない」
仲間の範囲が変わっても内容は不変（絶対的）
２．「仲間と同じように考え、行動する」
仲間の範囲とともに内容も変化（相対的）
前掲書 P115
「１」が、「殺すなかれ」のような、人類共通の掟です。「２」が、モーゼの十戒であれば、「偶像崇拝禁止」や「安息日の徹底」のような、宗教や国家観によって相対的に変わってしまうものです。鄭の中心の考えは、「１」の共通の掟の発見ではなく、今までの人類の道徳観は、上記の２つに分類され、それが不可分である、というものです。
なので、ツイートにあったように、鄭は「それ以外の罪は全部許す」のではなく、この「仲間」の範囲をどのように捉えていくか、が大切だとしています。
問題は、「仲間の範囲」です。人間の場合、仲間の範囲は、家族や仲の良い友達のような実際の顔見知りと、宗教や国家や民族などにおいてバーチャルな出会いを通してつくった、見ず知らずの赤の他人の、二つで構成されています。（中略）
この限られた範囲をどうにかして、広げる方法を見つけなければ、異なる社会がぶつかり合う状態に解決を見いだすことはできません。
前掲書 P183
光吉が言っている「それ以外は許し合おう」の「それ以外」は、「２．「仲間と同じように考え、行動する」」の部分について言及しているのであり、「許し合」うのは、掟の違反についてではなく、「仲間の範囲」をより拡大化していく、ということです。光吉の発言だけでは、鄭が語るこの大切な部分がうまく認識されず、ただ「人類に共通の掟があった」という部分だけがクローズアップされてしまうように思われます。
今日のまとめ
①「人類の共通の掟」の元は、東大教授の鄭雄一の『道徳のメカニズム』の考えである。
②そのため、AI自身が教典を読み込んで「共通の掟」を導き出したという認識は誤りである。
③また、上記理論は東大准教授の光吉俊二が現在研究段階として述べているもので、実際にPepperに実装されているわけではない。
④鄭の中心の考えは、人類の道徳の基本原理は「仲間らしくしなさい」ということであり、その中に「絶対的な掟」と「相対的な掟」が存在し、「仲間の範囲」を広げることで、より多様的な人間になっていく、というものである。よって、「絶対的な掟」の発見、という部分だけが焦点化されるのは本意とずれるであろう。
私が今回とても興味深かったのは、この「仲間の範囲」の話です。光吉と鄭は共同で研究をしているようですので、光吉もまた、「仲間の範囲」については知っているでしょう。私はこれをアルゴリズム化するという作業がとんと見当がつかないのですが、果たしてAIにとって「仲間」は誰なんでしょうか。AIが「殺すなかれ」を教えられたとき、いったい「誰を」殺すなかれと考えるのでしょうか。「人間」？ しかし「人間」とはどこまでを「人間」とするのですか？ もしこの先高度な超自我のAIが生まれるとして、それは「人間」とどう違うんでしょう。AIという「人間」とは違う存在が「人間」を定義するという行為にとても興味があります。どうです、一本小説が書けそうじゃありませんか？
*1:当該ツイートののリプライ欄にも指摘がありました。と書いたほうがフェアだと思うので。
*2:
経歴については以下の著書の第２章を参照。
*3:
ただ、林氏を「開発責任者」などとする呼称については、ソフトバンク側から「事実と違う」と異例の通達がされたことも記憶に新しいです。
GROOVE X林要氏が返答「ソフトバンクには感謝の念」 | ロボスタ
林氏の著書の『ゼロイチ』も読みましたが、
トヨタとソフトバンクで鍛えた「0」から「1」を生み出す思考法 ゼロイチ
- 作者: 林要
- 出版社/メーカー: ダイヤモンド社
- 発売日: 2016/05/27
- メディア: 単行本（ソフトカバー）
- この商品を含むブログ (2件) を見る
光吉センセイの話は一つも出てきません。
*4:
十戒は、
- 主が唯一の神であること
- 偶像を作ってはならないこと（偶像崇拝の禁止）
- 神の名をみだりに唱えてはならないこと
- 安息日を守ること
- 父母を敬うこと
- 殺人をしてはいけないこと（汝、殺す無かれ）
- 姦淫をしてはいけないこと
- 盗んではいけないこと
- 隣人について偽証してはいけないこと
- 隣人の財産をむさぼってはいけないこと
ですが、あえて鄭が「など」を使ったのは、「姦淫」「財産の横領」が、果たして「共通の掟」とするべきなのかが難しいところだったのではないか？という気がします。
