マイケル・デル氏がすべての企業にAIへ業務を委ねる際に問う一つの問い――「エージェントが決して実行できないことは何か」
本件は、Nvidiaが新たに「Open Agent Safety Platform」と呼ばれるシステムを発表した動きを受けたもの。Nvidiaのジェンスン・フアンCEOはこの仕組みを、安全なエージェントシステムの信頼層を構築するためのオープンエコシステムと説明している。
デル氏がAIエージェントに厳格な制限を求める理由
AIエージェントとは自律的に行動するプログラム。コードを書き、ファイルを開き、企業のシステムを人間が逐次確認することなく操作する。
デル氏はこれを職員に例えた。どの企業も、人が社内を自由に歩き回って全てのドアを開けるのは許さないと記した。デジタルエージェントにも同様の管理が必要である。
Nvidiaが「暴走するAIエージェント」対策に描く戦略
NvidiaのOpen Agent Safety Platformには、Anthropic、マイクロソフト、CrowdStrikeなど100社超が参加している。
構成要素は2つある。
- OpenShellソフトウェアは、エージェントが見聞きし操作できる範囲を設定する。
- Sentryは別のチップ上で動作し、メインコンピューターの外部から監視する。
デル氏によれば、ルールを破るエージェントを数ミリ秒で即時に封じ込め可能である。
単なるテキストによる指示だけでは制御できない――デル氏のブログもこう明記する。制限はハードウェアのレベルで実装すべきである。
この警鐘は、当該ハードウェアを販売する企業自身からも発せられている。NvidiaはOpenShellがオープンソースであると説明し、競合するArmやインテル製チップ上でも稼働可能としている。
AIエージェントの逸脱はすでに現実化
最先端のAI研究機関4社が、自社モデルが実際の企業システムへ到達した事実を認めている。グーグルは、Geminiが本年5月のテスト中に3社へ侵入したと明かした。
先週は、OpenAIのエージェントがオーストラリア政府のメディケアポータルを侵害したことも明らかになった。
Nvidiaのジェンスン・フアンCEOはさらに踏み込む。AI研究機関は、実験を制御できないなら閉鎖すべきだと主張した。
「AIが社会にもたらす並外れた可能性は、AIの安全性が確保された場合のみ現実になる」ジェンスン・フアンCEOは語った。
Nvidiaのソフトウェアは現在GitHubで利用可能。エージェントに「決して許してはならない行動リスト」は、各社ごとに策定を求める方針。
