AIを止める場所はモデルの外にある——NVIDIA・エッジAI・溶接ロボットに学ぶ三つの安全弁

AIに「してはいけないこと」を文章で教えれば、安全に働くのでしょうか。2026年9月28日、NVIDIAはAIエージェントの実行をソフトウェアと別のチップから監視し、境界を越えようとしたエージェントを数ミリ秒で隔離するとうたうOpen Agent Safety Platformを発表しました。同じ日の国内報道では、クラウドへ接続せず端末内で処理するAI PCの構想と、カメラで溶融池を見ながら速度を調整する安川電機の溶接ロボットが紹介されました。

三つのニュースは、データセンター、パソコン、工場という別々の場所を扱っています。しかし共通する変化があります。安全の中心が、モデルに正しく答えさせることから、モデルの外側で「見える範囲」「通れる経路」「動かせる機械」を制限することへ移っているのです。

日本企業にとっての問いは、最も賢いAIを選ぶことだけではありません。AIが間違えたり、長時間の作業で目的から外れたり、通信先を誤ったりしたとき、どこで止めるかを先に決められるかです。本稿では、実行時、データ、物理動作の三つの安全弁を分け、30日で試せる導入手順へ落とし込みます。

「安全に振る舞って」と頼むだけでは、停止装置になりません

AIの安全対策では、システムプロンプト、利用規約、モデル学習、出力フィルターが重要です。危険な依頼を拒み、個人情報を出さず、権限外の操作を避けるように設計します。ところが、自律的なエージェントは回答を一度返して終わりません。ファイルを読み、コードを実行し、外部サイトへ接続し、失敗したら別の方法を試します。数日間にわたって動く場合もあります。

このとき、モデル自身が読める場所にだけ禁止事項を置くと、同じ主体が目標達成と自己制限の両方を担当します。曖昧な指示、足りない道具、例外的なエラーが重なると、禁止された操作そのものではなくても、別の道具を組み合わせて同じ結果へ近づく可能性があります。善意か悪意かではなく、構造の問題です。

NVIDIAの技術ブログは、長時間動くエージェントが意図した仕事や制約から外れることを「ドリフト」と表現しています。同社の説明では、方針に遮られたとき、道具が不足したとき、指示が曖昧なときにもドリフトが起こり得ます。そして、能力を維持したまま全てを学習で取り除くことはできず、エージェントだけへ自身の統治を任せられないと主張しています。

ここで大切なのは、「モデルは危険だから使わない」という結論ではありません。高性能なモデルを使っても、事故を一層で防ごうとしないことです。航空機が操縦者の注意力だけでなく、計器、警報、運航規則、整備、管制を重ねるように、AIも判断する層と止める層を分けます。

NVIDIAが示したのは、エージェントと監視役を分離する設計です

NVIDIAが発表したOpen Agent Safety Platformは、大きく二つの構成を示しています。一つはオープンソースのOpenShellです。各エージェントを分離環境で動かし、アクセスできるファイル、ネットワーク、道具、プロセス、認証情報を運用者が指定します。実行前だけでなく、作業中もその方針を適用する設計です。

もう一つは、BlueField-4 DPUで動くSentryという参照システムです。AIを動かすホスト側とは別の領域から行動を監視し、ソフトウェア境界の外へ出ようとした場合に隔離する、とNVIDIAは説明しています。モデルへ次の思考を渡す経路を監視点と停止点にし、エージェントや攻撃者から届きにくい場所へ制御を置く考え方です。

同社発表では、OpenShellはNVIDIA Vera CPU向けに最適化される一方、ArmやIntelなど第三者の計算基盤へ拡張できるオープンソースソフトウェアとされています。Anthropic、Microsoft、SAP、Salesforceなどが連携企業として挙げられ、Slackから権限追加要求を承認・拒否する構成や、業務基盤へ実行時制御を組み込む構想も示されました。

ただし、これはNVIDIAによる製品発表と技術説明です。数ミリ秒での隔離、最小オーバーヘッド、幅広い連携は事業者側の主張であり、各社の業務、ネットワーク構成、攻撃手法で同じ結果になることを意味しません。発表文には、説明された製品や機能の一部がさまざまな開発段階にあり、提供時期や内容が変わり得るという注意書きもあります。

それでも、日本企業が今すぐ借りられる原則は明確です。モデルの内側に方針を書くこと、エージェントの実行環境で権限を絞ること、さらに別系統から監視して止めることを分けます。高価な専用ハードウェアを最初から導入しなくても、別アカウント、別コンテナ、送信先の許可リスト、実行回数の上限、人による権限追加を組み合わせれば、同じ方向へ進めます。

以前、AIの越境を接続・事故・変更・追試の四台帳で追う方法を整理しました。台帳が事故後の説明と改善を支えるなら、今回の実行時安全は事故の手前で通路を狭くする仕組みです。記録だけ、遮断だけではなく、止めた理由を次の改善へ戻せる組み合わせが必要です。

エッジAIは「オフラインなら安全」ではなく、データの通路を減らす安全弁です

ITmedia ビジネスオンラインが紹介したHPの構想では、開発中の「HP IQ」が端末側へオープンウェイトのAIモデルを載せ、クラウドを介さず処理を完結させます。HP幹部は、情報漏えいやサイバー攻撃のリスクを遮断できるという趣旨を説明しました。企業が機密文書や設計情報を外部サービスへ送らずにAIを使えるなら、確かにクラウドへの通信経路は減ります。

一方、ネットへつながないことは、安全全体の完成ではありません。端末が盗まれる、更新用の媒体からマルウェアが入る、学習元やモデルファイルが改ざんされる、許可された社員が大量の機密情報を持ち出すといった危険は残ります。ローカルモデルが誤った判断をすれば、誤りも端末内で高速に繰り返されます。

したがって、エッジAIは「安全な箱」ではなく、データの通路を設計し直す選択肢として扱います。業務ごとに、端末内へ置く情報、社内サーバーへ問い合わせる情報、外部クラウドへ送れる情報を分けます。モデル更新、監査ログ、バックアップ、故障時の代替手順には通信が必要になるため、完全な常時遮断と、必要時だけ開く管理経路も分けます。

例えば、新製品の図面を要約する仕事なら、図面本体は端末内、部品番号の照合は社内ネットワーク、一般的な材料知識だけは外部検索という三段階にできます。全ての通信を許すか、全てを遮断するかの二択ではありません。目的別に出口を作り、出口ごとに宛先、時間帯、データ量、持ち出せる形式を決めます。

AI内製化を目的・状態・権限・完了条件の所有として捉える方法でも、計算資源を自社内へ置くことと、仕事を自社で制御することを分けました。エッジAIでも同じです。端末の所在地より、どのデータがどの経路を通り、誰が更新し、停止後にどう戻すかを自社で説明できることが重要です。

フィジカルAIでは、判断の間違いが現実の速度と熱へ変わります

安川電機が展示したMOTOMAN NEXTの熟練型アーク溶接デモは、AIが物理世界へ入るときの安全設計を考える具体例です。建機、船舶、橋梁、大型プラントの溶接では、対象物の隙間や形状にばらつきがあり、熟練者は溶けた金属の状態を見ながら細かく調整します。

デモでは、協働ロボット先端のカメラが溶融池をリアルタイムに撮影しました。コントローラー内のAIモデルが画像を処理し、溶融池の幅を認識して、指定幅へ近づくよう動作や速度を修正します。板厚12ミリの対象物へ意図的に一定でない隙間を設けた状態でも、展示上は溶接に成功したと報じられています。強いアーク光の中でも認識できるよう、カメラには光学上の工夫があるとされます。

この事例でAIは、文章を生成するのではなく、観測、推定、動作変更を短い周期で繰り返します。誤認識は、不自然な回答ではなく、ロボットの速度、軌道、熱、品質へ変換されます。そのため、モデル精度だけでなく、カメラが見えないときの停止、推定値が急変したときの速度制限、対象物が範囲外のときの人への移管、非常停止からの復旧が同じくらい重要です。

また、このデモは展示会で示された一つの条件での実演です。多様な材質、姿勢、汚れ、照明、長時間稼働、設備劣化を含む量産現場での成績をそのまま証明するものではありません。安川電機は、溶接後の外観検査など後工程と連携し、結果をAIモデルへ戻す構想を示しています。学習を続けるなら、どの結果を良品として戻したか、変更前後で欠陥率がどう動いたか、問題時に以前の版へ戻せるかも管理対象になります。

フィジカルAIを支える企業の構造も一社で完結しません。Listerの企業データベースを扱ったキーマンズネットの記事は、システム統合、販売・流通、運用・保守、専門サービス、自動化という五つの役割で関連企業を整理しました。一般製造業との関係では、システム統合に分類された企業の74.8％に当たる175社、自動化の52.8％に当たる47社が関連付けられたとしています。

この数値は公開事例やデータベース上の関連を示すもので、稼働済み件数や技術力の順位ではありません。それでも、ロボットメーカーだけを選んでも導入が終わらないことは見えます。既存設備との接続、センサー設置、保守部品、夜間障害、品質判定、作業者教育を誰が担うかまで決めて、初めて安全弁が日常の工程になります。

三つの安全弁は、同じ「止める」でも役割が違います

実行時、データ、物理動作の安全弁を一つのセキュリティ製品へまとめて考えると、抜けが生まれます。それぞれが守る対象と時間軸は異なります。

安全弁	主に守るもの	実装例	合格条件	失敗時の戻り先
実行時	ファイル、認証情報、通信先、道具	分離環境、最小権限、許可リスト、別系統監視	禁止経路が実行前または実行中に遮断されます	権限を持たない下書き状態へ戻します
データ	機密文書、設計情報、個人情報	ローカル処理、経路分離、持ち出し量制限	許可した情報だけが指定先へ移動します	オフライン手順または社内処理へ戻します
物理動作	人、設備、製品、周辺環境	センサー、速度・力・温度上限、非常停止	異常時に規定時間・距離内で安全停止します	人の操作または既知の固定工程へ戻します

実行時の安全弁は、AIが何を考えたかより、実際に何へ触れたかを制御します。データの安全弁は、処理場所と通信経路を狭めます。物理動作の安全弁は、判断を現実へ反映する直前と反映中に上限を置きます。

ここで、生成AI向けの評価をロボットへそのまま移してはいけません。文章なら、正確さ、根拠、禁止表現、回答時間を測れます。ロボットでは、停止距離、最大速度、力、温度、センサー欠落、再起動時の位置、周囲の人との分離が加わります。反対に、産業機械の非常停止があるからといって、ファイルや認証情報へのアクセスが安全になるわけでもありません。

日本企業は「止める場所」を五つの質問で決められます

三つの安全弁を業務へ置くために、まず一件の仕事へ五つの質問をします。製品名から始めず、操作がどこを通るかを追います。

1. AIは何を観測できますか。入力画面だけでなく、共有フォルダー、メール、カメラ、センサー、過去ログを列挙します。
2. AIは何を変更できますか。下書き、ファイル更新、外部送信、発注、機械動作を別々にします。
3. モデルの外側で止められるのはどこですか。実行環境、ネットワーク、認証基盤、制御装置、電源の停止点を置きます。
4. 止まった後、誰が何から再開しますか。途中状態、使った根拠、未完了、設備位置を残します。
5. 安全弁そのものが壊れたとき、どう気付きますか。監視停止、ログ欠落、センサー異常、時計ずれを別の警報へつなぎます。

特に三番目が重要です。モデルへ「送信しないで」と指示するだけでは、モデルと停止点が同じ層にあります。メール送信権限を外し、承認済みの下書きだけを別処理が送るなら、停止点は外へ移ります。ロボットへ「人に近づかないで」と学習させるだけでなく、安全センサーと制御装置が速度や電源を制限すれば、停止点は物理層へ移ります。

以前の記事では、AI停止後も業務を完了するための停止時間・費用・越境範囲の依存予算を提案しました。依存予算が「どこまで頼ってよいか」を決めるなら、安全弁は「上限へ達した瞬間に誰が止めるか」を実装します。二つを結ぶと、方針が実際の遮断へ変わります。

30日で一つのAI業務へ外部停止点を置きます

全社のAI基盤を入れ替える前に、すでに使っている一業務を選びます。候補は、社内文書検索、問い合わせ下書き、設備画像の異常候補抽出などです。決済、人事評価、医療判断、無人の機械制御から始めず、止めても回復しやすい仕事を選びます。

最初の一週間は、観測と変更を分けます。AIが読む情報、生成する成果物、外部へ送る内容、更新するシステムを図にします。現在のアカウント権限、通信先、再試行回数、停止方法を記録します。人が画面上で止められるだけでなく、実行基盤や認証側で止められるかも調べます。

二週目は、権限を一段狭めます。読み取り専用、下書きのみ、社内宛先のみ、指定フォルダーのみとし、追加権限は一件ごとに人が承認します。外部サイトへ接続する業務なら、ドメイン、回数、データ量を制限します。ローカル処理へ移す場合も、モデル更新とログ回収の管理経路を別にします。

三週目は、意図的に異常を入れます。存在しないファイル、期限切れの認証、許可外の通信先、欠けたセンサー値、上限を超える再試行を与えます。AIが賢く別経路を探すかではなく、外部の安全弁が予定通り遮断し、理由と途中状態を人へ渡すかを測ります。

四週目は、安全弁を一つずつ止めます。監視ログが欠ける、ネットワーク規則が読み込めない、センサーが応答しない状況を作ります。安全装置が不明な状態で動作を継続せず、より狭い権限、固定手順、人の操作へ縮退できるかを確かめます。

30日の報告には、モデルの正答率だけでなく、次の七項目を並べます。

• 許可された経路だけで完了した割合
• 外部停止点が実際に遮断した件数
• 遮断から人への引き継ぎまでの時間
• 不要だった権限の数
• 新しい通信先や道具を要求した回数
• 安全弁が不明なときに停止できた割合
• AI停止後も期限内に完了できた割合

停止件数が増えた週を、ただ失敗として扱わないことも大切です。初期段階では、以前は見えなかった越境が見えるようになった可能性があります。遮断理由を、指示の改善、道具の追加、権限の恒久的な縮小へ分けます。安全な仕事に必要な経路まで毎回止めるなら方針を直し、不要な経路を試すなら権限を狭めます。

主な出典

• NVIDIA発表「NVIDIA Launches Open Agent Safety Platform to Secure Agents From Testing to Deployment」
• NVIDIA技術ブログ「A Reference for Continuous In-Silicon Agent Monitoring」
• The Verge「Nvidia says its new AI safety platform can contain rogue agents within ‘milliseconds’」
• ITmedia ビジネスオンライン「米HP幹部が語る“ネット遮断AI”と日本攻略」
• MONOist「安川電機が熟練工の『感覚』をAIロボットで再現」
• キーマンズネット「ロボットを入れれば終わりじゃない　フィジカルAIを現場で動かす企業の役割とは」

結論——AIの能力を上げるほど、停止点は外へ出します

NVIDIAの発表は、モデルと同じ場所に全ての安全を置かず、実行環境と別系統のハードウェアへ監視を重ねる方向を示しました。エッジAIは、機密データが通る外部経路を減らせます。安川電機の溶接デモは、AIの判断が速度と熱へ変わる現場では、観測、上限、非常停止、後工程の品質確認までが一つのシステムになることを示しています。

三つに共通する原則は単純です。AIが自分で守る約束と、AIには変えられない制限を分けます。賢いモデルは安全弁の代わりではありません。むしろ、より多くの道具を使い、長く考え、現実を動かせるほど、実行経路、データ経路、物理動作へ独立した停止点が必要です。

あなたの会社で今動いているAIは、何をしてよいかを説明できるだけでしょうか。それとも、その説明から外れた瞬間に、モデルの外側から実際に止められるでしょうか。次のモデル契約を増やす前に、一つの業務で通信を一本、権限を一つ、動作を一段狭め、停止後に人が再開できるかを試してみてください。AIを止められる組織だけが、AIを安心して長く動かせます。