【5分ニュース】企業AIのリスクは、AI同士の接続経路にある

前提知識

企業AIで使うAIエージェント（指示を受けて他の仕組みを動かすAI）は、単体よりも相互の接続が増えたときに管理が難しくなる。APIを管理するソフト企業の最高経営責任者は、AIの数ではなく接続経路の増加が主なリスクだと主張する。ソフト同士が機能を呼び出す窓口や既存の業務システムをAIが連鎖して呼ぶためである。

狙った目的・効用

筆者は、AIを一度承認して記録するだけでは、連鎖する処理を管理できないと述べる。以前は違反後に記録や画面で確認していたが、今回はポリシー外の呼び出しを実行前に止める仕組みが必要だとした。社内ルールの範囲外を事前に止めることが、その中心にある。AIエージェントを登録し、権限と動作を管理する仕組みでは、各AIに登録名、限られた権限、責任を持つ担当者を置くべきだと筆者は主張する。サポートチケットを要約するエージェントは、広いAPIアクセスを与えると、6か月後に決済システムへの経路を持つ例として示された。5つのエージェントが関与するワークフローでは、4番目の段階で障害が起きると、担当者がいない接続部分の責任者が分からなくなる。筆者は、規模と説明責任をともに伸ばす状態をHuman-Agent AIの拡大と責任管理を両立する考え方と呼ぶ。ただし、これらは筆者の論説と説明例であり、導入効果を示す調査結果は本文にない。 Rory氏は、権限を監査・制御しやすいと評価している。

活用チェックポイント

• 情シスは、社内のAIエージェントごとに利用部署、責任者、呼び出し可能なAPIを一覧で確認できるか？
• 業務部門は、サポートチケットを要約するエージェントが決済システムへ到達する経路を確認できるか？
• 情報セキュリティ部門は、AIが別のAIを呼び出した後の処理先まで、その時点で追跡できるか？
• AIの管理者は、社内ルール外のAPI呼び出しを実行前に止める条件を設定できるか？
• 5つのエージェントが関与するワークフローで、各接続部分の人間の責任者を割り当てられるか？

関連記事

同じ製品・同じコーナーから選びました。

• 今朝のAI活用ネタ

  【5分ニュース】SalesforceとAnthropicが販売業務向けにClaude連携を開始

  SalesforceとAnthropicが、顧客管理と生成AIを組み合わせる協業は、Salesforceの事業データや業務手順をClaude内で使えるようにする取り組みだ。Anthropicの対話型AIは、許可された範囲の情報を基に、業務上の問いに答えたり操作したりする。最初の製品であるSalesforce in 販売担当者向けのSalesforce連携機能は、販売と売上管理の担当者を対象にする。

• 今朝のAI活用ネタ

  【5分ニュース】SalesforceとAnthropicがClaudeforceを共同提供へ

  顧客管理サービスと業務支援機能を持つSalesforceと、対話型AIのClaudeを提供するAnthropicは、Claudeforceを共同で提供する提携を広げた。Claudeforceは、Claudeの画面からSalesforceのデータ、業務手順、社内ルールに沿った操作を使えるようにする仕組みだ。Salesforceは、画面を介さずAIがデータを扱うHeadless 360も用意している。Headless 360は、外部のプログラムから機能を呼び出す仕組みであるAPI-drivenの構成を使う。

• 今朝のAI活用ネタ

  【5分ニュース】OpenAIがブラジルで商業運営を開始

  対話型AIサービスを提供するOpenAIは、ブラジルで商業運営を始めた。サンパウロの現地チームが、企業や開発者、研究者、公共機関との協力を進める。ChatGPTは文章作成や質問への応答を行うAIである。Codexは、プログラム作成を支援するAIである。

• 今朝のAI活用ネタ

  【5分ニュース】ChatGPTで教室外の学習を続ける使い方

  学習用の対話型AIは、質問への案内や練習問題を必要な時に示す道具である。OpenAIは、学生と教育者が対話で質問や文章作成を支援するAIを教室外の学習に使う実態を扱う新しい報告書を公開した。OpenAIは、適切な使い方と安全策があれば、AIが教師の授業時間を増やせるとしている。

製品・業務から探す