こんにちは！
1級FP技能士のアシまるくんと申します。
第０章『はじまりの疑問』
先日、こちらのブログを拝見したところ、気になる記載がありました。
※元のブログも大変興味深いので、ぜひご一読ください。
"ただし、不正送金やサイバーリスクに備えるセキュリティチェックは、人間の監督が依然として不可欠です。
とはいえ、人間が絡んでも10億横領するケースもあるので、ここはお金に価値がある限り永遠の課題ですね。"
不正送金やサイバーリスクは、いわゆるセキュリティリスクと呼ばれるもので、つまり、"セキュリティ上の欠陥"とでも呼ぶべきものです。
一方で、横領は信義則上の問題で、すなわち、"相手の信頼を裏切るような行為"によるリスクです。横領のほかに、例えば、借りパクやバックレ、サボり、等に被るリスクです。
このようなリスクを広い意味での"信用リスク"(*1)と呼びます。
ここで、ある疑問が浮かびました。
AIには"利己的な意識がない"ので、信用リスクの問題は発生しないのか？
もっと具体的に問題設定をすると、「AIが自分の意思で横領することは本当にないのか？」という問題を考察していこうと思います。
(*1)”信用リスク”は、一般に、債務不履行となるリスク、特に、借りたお金が返ってこないリスクのことを指します。借りパク（貸したものを返すという債務）もバックレ＆サボり（労働力を提供するという債務）も広い意味では債務不履行なので、今回は"広義の"信用リスクとして"信用リスク"という言葉を用います。
第１章『AIの特徴と従来のコンピューター』
まず、"従来型のルールベースアルゴリズム"の特徴を見ましょう。
ざっくり申し上げると、従来型のルールベースアルゴリズムは、"あらかじめ決められたルールに則って処理を行う"ため、決められたルールを逸脱することはありません。すなわち、あらかじめ横領するように作られたような"怪しい犯罪コンピューター"でなければ、横領するわけがありません。
一方で、AIは目的があり、それを達成するために与えられる"報酬"を最大化したり、もしくは"損失関数"を最小化するために、様々な方策を試すなり、パラメーターを調節するなり、していきます。そのため、あらかじめ決められたルールの枠組み、いわば、"制約"と呼ばれるものが従来型のルールベースアルゴリズムより緩いです。
このような制約の緩さは"報酬ハッキング"と呼ばれる現象を引き起こします。
報酬ハッキングとは、報酬を最大化さえすればよいと目的をはき違え、報酬の最大化のために誤った手段を用いることです。
面白いな、と思った例(*2)は、AIに"ロボットに50m走をさせて最速でゴールさせる方法"を考えさせたときに、AIが解決策として"全長50mのロボットを作り、スタートと同時に前に倒れる"というものでした。人間からすると"そんなわけないだろ！"と思わざるを得ない、一休さんも真っ青の、とんちが利きすぎた解決策でした。
その他にも、AIが嘘をつく"ハルシネーション"も、人間が喜ぶ回答を出そうとした結果、事実を捏造しているので、報酬ハッキングの一種と言えます。
つまり、このような事実を踏まえると、AIを構築する上で初めに制約をしっかり与えないと、例えば、お金を稼ぐことを目的とし、稼いだ金額をスコアとして報酬とした場合、そのようなAIが不適切な手段としての横領を用いることはありうると考えました。
(*2)こちらの例は以下のブログからいただきました。こちらも面白いので、ぜひご一読ください。https://qazero.com/blog/ai-reward-hacking/
第２章『ロボット三原則』
では、現実世界でAIを活用していくうえで、第一義に与える必要のある制約は何でしょうか。それは、遵法意識や倫理観であると考えます。
古くから存在する"ロボット三原則"は以下が定められています。
・ロボットは人間に危害を加えてはならない
・前則に反しない限り、人間の命令に従わなくてはならない
・前則、前々則に反しない限り、自身を守らなければならない
この"危害"というのを単に物理的な負傷、命の危機に限らず、より広く"損害"、すなわち、財産的損失、名誉毀損、社会的地位への重篤な影響、機会の逸失など、幅広い意味で解釈した場合、AI設計においても考慮すべき原則であると考えます。
つまり、人間に損害を与えないために、遵法意識や倫理観を何よりも優先すべき制約として与えるべきだという考えを私は持っています。
第３章『トロッコ問題』
では、倫理観同士がぶつかる場合は、どうなるでしょうか。
推理マンガで見るような犯人の動機として、『娘の手術代のために...娘の命を助けるためには...これしかなかったんだぁー！』というやつですね。命の重さを自分の中で天秤にかけてしまい、自分にとって大切な命が勝ってしまったという、被害者が嫌な奴であればあるほど、思わず犯人に同情してしまう"あれ"です。
AIは倫理観がぶつかったとき、どのように対応するのでしょうか。
これには、哲学の古くからの問題"トロッコ問題"に触れる必要があります。
暴走するトロッコが走っており、このままで５人の作業員をひき殺してしまう。しかし、あなたの目の前には、トロッコの進路を切り替えるレバーがある。レバーを引くと、トロッコの進路が変わり、５人の命は助かるが、切り替えた進路の先には、１名の別の作業員がおり、その作業員は命を落としてしまう。あなたはどうしますか。
功利主義(*3)の立場ではレバーを切り替えればよいのですが、現実はもっと複雑です。
さて、この問題は単なる思考実験ではなく、現実の問題として我々の前に立ちはだかっています。そう、"AI自動運転"の問題です。
絶対に安全な運転はあり得ません。想像もできないリスクが発生するのが、この世の中です。そのような場合、運転手を優先するのか、歩道を歩いている通学中の小学生集団を優先するのか、はたまた横断歩道を横断中の目の不自由な老人を優先するのか、交通法規を無視するマナーの悪い人物を優先するのか、そういった判断がAIに求められます。
このような議論は既に有識者の間でなされていると思いますが、"命の重さ"という難解すぎるテーマは技術革新とは関係なく、結論に膨大な時間を要するでしょう。
(*3)功利主義とは、"幸福が最大になる行動こそが善い行動である"という考えです。トロッコ問題の例でいうと、すごく雑に言ってしまうと、「1人助かるより5人助かった方がハッピーだよね。」という価値観です。しかし、この問題はもっと複雑で、では、「命を落とした一人が実は医師免許を持っていて、生きていれば、何百人もの命を助ける未来があったとしたらどうなのか。」や「5人の作業員は実は過去に重い罪を犯していて、危険な業務に従事していた」等の追加情報が入った時に果たして同じ結論になるか、という視点も必要です。
第４章『エバンジェリストとしての責務』
さて、単なる横領の話から命の重さという壮大なテーマに話を広げていきましたが、結局のところ、現実世界で働くAIを設計する上で遵法意識や倫理観は避けて通れない課題であることを改めて痛感しました。
私自身、数学科出身なので、数式をいじっていた方が楽しいのですが、将来的にエバンジェリストを名乗りたいのであれば、遵法意識や倫理、そして現行の法律への理解の部分は必須、気を引き締めて謙虚な気持ちで学びたいと思います。
長文でしたが、最後までお付き合いいただきありがとうございました。