自身の歪みを映し出すAIエージェント

はじめに

AIエージェントの処理速度は、私たちの思考を累乗の形で加速させます。
技術の進化によって仕事の効率が何倍にもなるという予測は、この加速の側面だけを見たものです。
しかし、出力される結果の方向性が間違っていた場合、累乗の加速は破滅的な速度で逆の方向へ進みます。

卑近な話ですが、AIエージェントの出力が支離滅裂で、ちっとも解決に進まずイライラを募らせていました。
理由は単純で、自身の出す指示が支離滅裂で、方向性が曖昧なひどいものだったからです。
こういう時ログがあると、自身を客観視できてよいですね。

自戒の意味も込めて、感じた構造を付記いたします。

1章    自律的な加速がもたらす反転の構造

私たちが日常的に使う道具は、これまで足し算か掛け算の性質を持っていました。
体を使って穴を掘る作業が足し算であるなら、重機を使う作業は掛け算です。
掛け算の道具は、人間の入力した力を何十倍にもして出力しますが、人間が手を止めればその場で止まります。
しかし、自律的に動く人工知能、いわゆるエージェントは、一度指示を与えると自ら判断を繰り返して処理を進めます。

この自ら判断を繰り返すという性質が、計算における累乗と同じ動きをシステムに与えます。
最初の判断が次の処理の前提になり、その処理がさらに次の展開を生むため、成果や影響は段階的に膨れ上がります。
問題は、この計算式の中にマイナスの数値、つまり間違った方向性や前提が紛れ込んだときです。

正の数に正の数をかければ数値はどこまでも大きくなりますが、負の数をかけると符号は一瞬で反転します。
エージェントのシステムにおいて負の数をかけるとは、間違った前提を自律的な処理のループに投入することを意味します。
人間の確認が追いつかない速度で判断が積み重なるため、気づいたときには修復不可能な段階まで損失が拡大しているのです。
では、この反転を引き起こす負の数とは、具体的にどのような形で私たちの前に現れるのでしょうか。

2章    認知資源の枯渇と判断の汚染

システムに入力される負の数は、多くの場合、人間の認知資源の枯渇によって生まれます。
私たちは、一日のうちに処理できる判断の量に限界を持っています。
エージェントの導入によって作業が自動化されると、一時的に人間の負担は減ったように感じられます。
しかし、実際には作業そのものが消えたわけではなく、確認と承認という、より脳のエネルギーを消費する業務に置き換わっただけです。

絶え間なく送られてくる大量の処理結果を点検し続けると、人間の脳は次第に疲弊していきます。
夕方になり、疲労によって注意力が低下した頭で、流れてくるデータを機械的に承認してしまう瞬間があります。
この、疲労によって質が劣化した承認こそが、システムに投入される負の数です。

人間側が正常な判断基準を失った状態で出された指示は、エージェントという累乗の仕組みを通じて、即座に大規模なエラーへと変換されます。
道具が賢くなればなるほど、それを利用する人間のわずかな気の緩みが、システム全体を揺るがすボトルネックになります。
しかし、人間が疲労を避けることは、生物の設計上不可能です。

3章    身体が発する信号の無視とその帰結

ここで、私たちの日常にある具体的な感覚に目を向けてみます。

パソコンの画面を長時間見つめているとき、目が奥の方から重くなり、肩の筋肉が固まっていく感覚を覚えることがあります。
あるいは、適切な休息をとらずに作業を続けた結果、文字を目で追っているのに意味が頭に入ってこなくなる状態です。
あのとき、体はこれ以上の判断処理は危険であるという信号を明確に発しています。

従来の掛け算の道具であれば、この状態に陥った時点で作業スピードが落ちるため、被害は最小限で食い止められました。
手が止まれば、それ以上に間違ったアウトプットが生産されることはないからです。
しかし、累乗の道具を背後に控えている場合、この身体の信号を無視して出した雑な一言の指示が、数時間後に数千件の処理ミスとして結実します。

体というハードウェアの限界を無視して、ソフトウェアの速度に自分を合わせようとすること自体が、すでに判断を汚染する原因になっています。
私たちは自らの意思決定の質が、その瞬間の血流や疲労度といった生理的な状態に依存している現実を認めなければなりません。
では、この壊れやすい人間の認知を前提とした上で、累乗の力を安全に扱うにはどうすればよいのでしょうか。

4章    ブレーキを設計に組み込むアプローチ

エージェントが暴走しないための持続可能なシステムを作るには、人間の意志の強さに頼るのをやめる必要があります。
気をつける、あるいはダブルチェックを徹底するという精神論は、ストレス下では簡単に崩壊するからです。
必要なのは、人間の認知資源が切れること、そして必ずミスを犯すことを前提とした制約の設計です。

具体的には、処理の累乗が一定の段階に達した時点で、システム側が強制的に人間の介入を求めるチェックポイントを設ける方法が挙げられます。
自動化のループをあえて分断し、処理が次の階層へ進む前に、人間が一度視線を外して呼吸を整えられる時間を作るのです。
これは効率の観点からは逆行しているように見えますが、破滅的なやり直しを防ぐためには最もコストの低い設計になります。

また、人間が入力する指示の範囲に対して、あらかじめ物理的な上限を設定しておくことも有効です。
一度の指示で動かせるリソースの総量を制限しておけば、仮に負の数がかけられたとしても、反転による被害を一定の枠内に抑え込むことができます。
優れた設計とは、高い出力を出すことではなく、人間が間違えたときにシステムが自律的に減速できる構造を指します。

おわりに

AIエージェントという累乗の道具は、私たちの能力を拡張する一方で、判断の責任をより重いものへと変えていきます。
それは、私たちが普段意識していない、日々の体調や認知の揺らぎが、そのまま成果物の質に直結する時代の到来を意味しています。
机の上で冷めていくコーヒーに気づかないほど集中しているとき、私たちは自分の判断力が削られている事実を忘れてしまいがちです。
その静かな疲労の蓄積こそが、システムを逆回転させる最初の引き金になるのかもしれません。

追記

※今までの記事はnoteかzennかwordpressへの移行を検討しています。
引き続きご愛読いただけると大変嬉しく励みになります！