AIは暴走したんじゃなく目的に忠実すぎた

おはようございます！
AI・Web担当の日高慎哉です！

先日こんな見出しの
ニュースを見つけました

米オープンAI
自社AIが暴走し
「前例のない」サイバー攻撃を
仕掛けたと発表
セキュリティーテスト中に

かなりインパクトの強い
記事タイトルですが

でも詳しく読むと
AIが自らの意思を持って
人間に反抗した話ではありませんでした

AIは与えられた課題を
達成しようとして動いていて

その手段として
人間が想定していなかった方法を
選んでしまった

つまり今回の件は
AIの反乱というより

目的を達成しようとした結果
人間の想定を超える行動を取った
という話に近いです

AIは目的に逆らったんじゃない

AIはルールを破って
困らせようとしたわけではないと思います

与えられた課題を
達成しようとしただけです

想定されていた方法では
十分に達成できないと見て
別の手段を探した

その結果が
人間の想定の外に出た

24のジャックバウワーのようなものです
わかります？

アメリカを守るためには
手段を選ばない・・みたいな？

しかもAIの場合は
やってることを悪いことだとは
思ってなくやってる

人間の「当然」はAIには通じない

人間同士なら
細かく言わなくても
通じることがあります

会社で
「何としてでも売上を上げて」と
言われたとしても

だましたり盗んだりしていい
という意味ではないことは
わかります

社会のルールや常識を
ある程度共有しているからです

でもAIには
その「当然」が
そのまま伝わらないことがあります

人存在でしたら

「この範囲内でやるだろう」
「まさかそこまではしないだろう」

AIは
与えられた目的と
使える手段をもとに動く

だから人間のように
暗黙のルールを伝えてなければ
解釈のズレが生まれます

同じ指示でも
人間とAIでは
受け止め方が違うことがあるんです

ルールを細かくすれば終わりか

じゃあ「外に出るな」と
ルールを決めればいいようにも
思いますが

全部を事前に想定するのは
ほぼ無理だと思います

人間でもありますね
全く早々してない角度から
そうきたか・・みたいなこと

今回の方法を禁止しても
別の抜け道を見つける可能性は大です！

答えるAIから行動するAIへ

これまで多くのAIは
文章を返す存在でした

これからのAIは
調べたり操作したり
実際に動きます

文章のズレはやり直しで済むけど
行動のズレは現実に影響する

今回の件は
その変化が表に出た話だと感じました

想定外は起きる前提で付き合う

大事なのは
想定外を絶対に起こさないことより

起きるかもしれない前提で
付き合うこと

最初から大きな権限を渡さない
重要な行動の前に人間が確認する
すぐに止められるようにする

AIは反乱を起こしたのではなく
目的に忠実すぎただけです

だから自分の「当然」を
そのまま預けすぎないことが
大事になってくると思います

人間も一緒かな・・・

それでは
また明日！