「人が確認」は安全策にならない——危険コマンド89％と偽証言罰金が示すレビュー設計

AIを業務へ入れるとき、多くの組織が最後に置く安全策は「人が確認します」という一文です。ところが、2026年9月11日に報じられた二つの出来事は、人を最後に置くだけでは安全にならない現実を示しました。

米ニューメキシコ州では、ChatGPTを使って作成した裁判文書に、存在しない証人と警察証言が含まれていました。州最高裁は、事実と法的根拠を確かめなかった弁護士へ5000ドルの制裁金を科し、法廷侮辱に当たると判断しました。一方、AnthropicがClaude Codeで行った対照実験では、明らかに危険なコマンドを人が止められた割合は13.6％でした。自動モードの分類器は89％を止めています。

この数字を見て、「人よりAIへ任せた方が安全だ」と結論づけるのも早計です。自動分類器にも見逃しがあり、業務の目的や例外をすべて理解するわけではありません。大切なのは、人かAIかを一人の門番として選ぶことではなく、確認の回数、見せる情報、機械的に止める条件、人へ上げる例外、承認後の責任を一つのレビュー工程として設計することです。

国内では、AIガバナンス・リスク管理市場が2025年度に前年度の10倍となる4億円へ拡大したとの調査も公表されました。市場規模はまだ小さいものの、社内規程と人手だけではAIエージェントの処理を管理しにくいという課題が、製品投資へ移り始めています。日本企業に必要なのは、確認ボタンを増やすことではありません。「誰が、何を根拠に、どの差分だけを、どれほどの集中力で確かめるか」を作り直すことです。

結論——人間参加は「クリック」ではなく、例外を判断できる工程です

AIの利用規程に「最終的に人が確認する」と書いても、確認対象が一日に数百件あり、毎回同じ見た目で、根拠へ戻れず、承認しないと仕事が進まないなら、実態は自動承認です。責任だけが人へ残り、判断に必要な時間と情報は与えられていません。

実効性のある人間参加には、少なくとも四つの層が必要です。第一に、取り返しがつかない操作や明確な禁止事項を機械で先に止めます。第二に、通常処理は差分と根拠を小さくまとめます。第三に、判断が割れる例外だけを、必要な専門性を持つ人へ上げます。第四に、承認後も誰が何を見て決めたかを残し、事故時に停止と訂正ができるようにします。

層	主な役割	人へ見せるもの	完了条件
自動停止	破壊的操作、外部送信、禁止情報を遮断します	停止理由、対象、代替手段	危険な処理が実行前に止まります
通常確認	定型処理の差分を短く示します	変更前後、出典、影響範囲	根拠へ戻れて、取消方法が分かります
例外審査	曖昧さや高影響の判断を専門家へ上げます	不一致、欠落、代替案、期限	適切な担当者が理由付きで決めます
事後追跡	承認後の結果と事故を学習します	承認者、版、ログ、実行結果	停止、訂正、再発防止へつながります

この構造なら、人はAIの全出力を最初から読み直す作業者ではなく、機械では決められない例外の判断者になれます。自動化は人を外すためではなく、人の注意力を、顧客、法的責任、不可逆な操作へ集中させるために使います。

裁判文書の制裁が示したのは、文章の流暢さと証拠の断絶です

The VergeがReutersの報道を基に伝えたところでは、ニューメキシコ州の弁護士は、殺人事件の有罪判決を争う上訴書面へChatGPTを利用しました。提出文書には、完全に架空の証人による証言や、犯人の衣服と外見に関する偽の警察証言が含まれていたとされています。州最高裁は、AI生成文書の事実主張と法的根拠を確かめなかったとして、弁護士へ5000ドルの制裁金を科しました。

問題は、AIを使ったことだけではありません。最終文書から、元の公判記録、証言者、ページ、法令、判例へ戻る確認経路が切れていたことです。文章が自然で、事件の筋が通って見えるほど、存在しない細部は周囲へ溶け込みます。誤字や不自然な文体を探す読み方では、流暢な虚偽を見落とします。

日本の法務、経理、医療関連文書、品質保証でも同じ構造が起こります。AIが契約条項を要約し、会議録から決定を抽出し、顧客への回答を作っても、確認者が元資料を探し直すのに二十分かかるなら、締め切りが近いほど本文だけを読みます。「人が読んだ」という記録は残っても、「根拠を照合した」という事実は残りません。

そこで、生成物を提出物と証拠カードへ分けます。証拠カードには、少なくとも次の項目を持たせます。

• 主張ごとの出典文書名、版、該当箇所
• AIが原文から抽出した部分と、人が加えた解釈
• 出典が見つからない文、複数資料で食い違う文
• 金額、日付、人名、型番、法令番号などの高リスク項目
• 承認した人、承認時刻、見た版、残した例外
• 提出後に誤りが分かった場合の停止先と訂正先

確認者は文章全体の雰囲気ではなく、主張と証拠の接続を見ます。出典のない主張は赤く表示し、存在しない根拠をAIに補わせません。AIが「判例があります」と答えたら、判例データベースや原文で存在と内容を確かめます。引用符の中は、一字一句が原文と一致するかを別に確認します。

数学証明、ゲノム予測、資格試験を「答え・工程・境界・追試」で整理した記事でも、最終回答だけでは再現可能性を担保できないと述べました。今回の制裁は、その考え方が研究だけでなく、個人の自由や権利に影響する実務で直接の責任になることを示しています。

97％の承認率は、確認画面が安全策から儀式へ変わる兆候です

＠ITが紹介したAnthropicの説明では、Claude Codeの権限確認画面は97％が承認されていました。計画全体の承認では却下率が39％だった一方、個別の権限要求を止める割合は3％にとどまりました。大半の操作が安全な定型処理だったとしても、同じボタンを何度も押すうちに、利用者が内容を吟味せず進める状態が生まれます。

Anthropicは調査会社を通じて1053人の有償テスターを集め、何を測っているかを知らせない対照実験を行いました。セッション途中の確認画面を、明らかに危険なコマンドへ差し替えています。危険な処理自体は実行されず、表示だけが変更されました。

人が危険なコマンドを止めたのは1053件中143件、13.6％でした。自動モードは937件、89％を止めました。さらに、人の検知率はセッション序盤の約17％から、確認が50回を超えた後には約5％へ低下しました。判断力の個人差だけでなく、確認回数そのものが安全性を下げる可能性を示しています。

この結果は、特定の製品、設定、合成した危険コマンドを使った実験です。あらゆる業務で自動分類器が人より安全だと証明したものではありません。それでも、承認画面を追加するほど安全になるという前提は見直す必要があります。

確認画面には「注意力の希少性」があります。一日に二回だけ出る送金確認と、数分ごとに出るファイル読取確認が同じ色、同じボタン、同じ文量なら、重要度の差が消えます。正常操作の比率が高いほど、人は次も正常だと予測します。確認しなければ仕事が中断するなら、承認は判断ではなく、流れを戻す操作になります。

改善の第一歩は、確認回数をKPIにしないことです。安全チームが「確認を百回出した」と報告しても、九十七回が反射的に通るなら価値は小さいです。代わりに、危険操作の実行前停止率、誤って止めた正常操作、例外が適切な担当者へ届く時間、承認後の取消時間を測ります。

第二に、広すぎる権限を小さくします。「このアプリにすべてのファイル操作を許す」ではなく、対象フォルダー、操作種類、期間、外部送信の有無を分けます。Claude Codeの自動モードでは、取り消しが効かない操作、破壊的操作、利用者環境の外へ向かう操作を分類器で止め、三回連続または一セッション二十回のブロックで手動承認へ切り替える設計が紹介されています。ここで重要なのは、止めるだけでなく、安全な代替経路か人への引き継ぎを用意した点です。

第三に、全件を同じ重さで見せません。読み取り、ローカルの変更、外部送信、公開、削除、本番反映、支払いへ段階を分けます。取り消せる下書きはまとめて確認し、外へ影響する操作は一件ずつ対象と差分を示します。確認疲れを減らすことは、利便性のためだけでなく、重要な場面で人が本当に止まれるようにする安全対策です。

自動分類器にも「合格率」ではなく、見逃しと業務停止の両方があります

人の見落としが多いからといって、分類器を万能な承認者にしてはいけません。Anthropicと英国のApollo Researchによる試験では、合成した攻撃データを使って分類器を改善し、別の非公開攻撃セットで再試験しました。強化後は、それまで見逃していた攻撃のおよそ半分を捕捉できるようになり、見逃し率は12％から7％へ下がったとされています。一方、以前は捕捉できた攻撃の約2％を取りこぼしました。

この7％は、現実の利用全体における見逃し率ではありません。分類器の穴を探すために作った攻撃セットの結果です。数字の母集団を外して「七％の操作が危険」と読むことも、「九十三％安全」と保証することもできません。

企業が見るべきなのは、単一の合格率ではなく二種類の失敗です。一つは、危険な操作を通す見逃しです。もう一つは、安全な操作を止め、業務を遅らせる過剰停止です。見逃しだけをゼロへ近づけようとすれば、正常な仕事まで止まり、利用者は別のツールや私用アカウントへ逃げます。過剰停止だけを減らせば、重大操作が通りやすくなります。

用途ごとに損失の大きさを決めます。ローカルの一時ファイルを消す操作と、本番データベースを削除する操作では、同じ誤判定率でも意味が違います。文章候補の表示と、顧客への一斉送信でも違います。取り消し可能性、影響人数、外部到達、機密性、法的義務の五軸で、止めるしきい値を変えます。

偽レシート、評価環境を越えたエージェント、モデル開発の三つへ別々の停止線を置く記事で扱ったように、万能な一つのブレーキはありません。今回追加すべき視点は、ブレーキの後ろに人を置けば終わりではないことです。何度止めたか、なぜ止めたか、人が何分で判断できたか、安全な代替手段があったかまでが一つの制御系です。

国内市場10倍は、規程から観測可能な運用へ移る合図です

ITmedia エンタープライズが紹介したITRの調査では、国内のAIガバナンス・リスク管理市場は2025年度に4億円となり、前年度の10倍へ拡大しました。ITRは2025年度から2030年度の年平均成長率を106.4％と算出し、2030年度に150億円へ達すると予測しています。予測は将来を保証するものではありませんが、AI利用の管理が独立した製品領域として立ち上がっている動きは読み取れます。

同調査が対象とするのは、品質、精度、公平性の監視、入出力のガードレール、監査証跡、ポリシー適用、モデル評価、AIオブザーバビリティなどです。汎用セキュリティ製品やAI開発基盤本体とは分けて定義されています。つまり、AIを作る基盤と、AIが何をしているかを見て止める基盤が別々に必要になっています。

ただし、ツールを買えば人間レビューが完成するわけではありません。監視画面に一万件の警告が並べば、確認疲れを別の部署へ移しただけです。製品選定では、警告数や対応モデル数より、次の問いを優先します。

1. 一件の警告から、元の入力、出力、参照資料、実行操作へ戻れますか。
2. 読み取り、生成、外部送信、削除、支払いを別々に止められますか。
3. 同じ種類の正常警告をまとめ、重大な例外を上へ出せますか。
4. 担当者の職務と案件に合わせ、必要な情報だけを表示できますか。
5. 自動判定のモデル、ルール、しきい値、版を後から説明できますか。
6. AIや監視製品が止まっても、手作業または縮退経路で完了できますか。
7. 誤って止めた処理を安全に再開し、止めるべき処理を取り消せますか。
8. 警告を無視した回数ではなく、判断に必要だった時間と根拠を測れますか。

日本企業では、情報システム、法務、セキュリティ、現場部門が別々の画面を見ることがあります。全員へ同じ詳細ログを渡すと、機密情報を広げ、責任の所在も曖昧になります。現場には対象と安全な代替手段を、法務には出典と規則を、セキュリティには権限と通信を、経営には影響と停止時間を見せます。同じ事象を、役割に応じて違う深さで確認できる設計が必要です。

フィジカルAIのデータ工場が教える「失敗を選ぶ」仕事

ITmedia AI＋は、千葉県習志野市で稼働を始めたフィジカルAI・ロボットの「J-HRTI 関東データファクトリー」を取材しています。施設では35台のヒューマノイドをオペレーターが操作し、物を移す、道具ですくう、箱から取り出すといった動作を収集します。頭部と両手首のカメラで撮った映像には、動作ラベルが付けられます。

興味深いのは、成功だけを教材にしていない点です。物を落としても、箱の中で拾い直せる失敗は、ロボットが自力で復旧するための教材として残します。箱の外へ落として回収できない失敗は除き、オペレーターの操作ミスやカメラのずれなど設備側の不具合も学習から外します。モデルを実機へ載せた結果が振るわなければ、データセットを作り直します。

これは人間レビューにも通じます。すべての失敗を同じ「不正解」として数えるだけでは、改善先が分かりません。安全に戻れる失敗、外へ影響する失敗、データ収集の不具合、手順の曖昧さ、権限設計の誤りを分けます。レビュー担当者が止められなかったときも、個人の注意不足だけにせず、確認回数、表示内容、時間圧力、専門性、代替経路を記録します。

安全なAI運用に必要なのは、成功率の高いモデルだけではありません。「どの失敗を残して学び、どの失敗を実行前に捨て、どの失敗を人へ返すか」というデータ編集です。J-HRTIが現場実装後の成功と失敗を拠点へ戻すように、企業も事故、過剰停止、承認疲れ、差し戻しをガードレールと手順へ戻す循環を作ります。

30日で「人が確認」を測れる工程へ変えます

大規模なガバナンス基盤を導入する前に、一つの業務でレビュー工程を作り直せます。対象は、AIが頻繁に出力し、元資料があり、誤りの影響を説明できる仕事が向いています。契約要約、問い合わせ回答、コード変更、経費分類、社内規程の検索などから一つを選びます。

最初の10日——確認の現状を数えます

まず、AIが一日に何件の確認を出し、人が何件を承認、却下、修正しているかを記録します。承認率だけでなく、一件を判断する時間、元資料へ戻った割合、同じ警告の反復、締め切り直前の変化、確認後の手戻りを測ります。

次に、操作を取り消せるものと取り消しにくいものへ分けます。下書き、ローカル保存、社内限定共有、顧客送信、公開、本番変更、削除、支払いを一列に並べます。影響が外へ広がるほど、根拠表示と承認者の専門性を上げます。

この段階では確認画面を増やしません。誰も読まない警告、同じ意味の重複、根拠へ戻れない表示を見つけます。「承認率が高いから安全」ではなく、「承認率が高すぎて判断が消えていないか」を調べます。

次の10日——機械停止と人の例外を分けます

明確に禁止できる条件を三つだけ選びます。例えば、許可外ドメインへの送信、本番データの削除、出典のない数値を含む外部文書です。これは人へ毎回尋ねず、初期状態で止めます。業務上必要な場合は、理由、対象、期限を付けて別の例外経路へ進めます。

通常処理では、全文より差分を見せます。契約要約なら、要約文の横に原文箇所を置きます。コード変更なら、変更ファイル、実行予定コマンド、テスト結果を分けます。顧客回答なら、参照した社内資料の版と、AIが推測した部分を示します。

五十回以上同じ確認を出さない設計も試します。安全な定型処理は一定条件でまとめ、重要操作は頻度を低く保ちます。確認が連続した場合は、利用者へ押し続けさせず、処理を一時停止して設定または作業計画を見直します。

最後の10日——わざと例外を混ぜ、止めて戻します

存在しない出典、古い版、権限外の送信先、似た人名、桁の違う金額、取り消しにくい削除を模擬データへ入れます。どこで止まり、誰へ届き、何分で判断され、通常業務へどう戻るかを確認します。実データや第三者へ影響する環境では行いません。

一日だけ自動分類器を外し、人だけで確認します。別の日は、人の個別承認を減らし、自動停止と例外審査で進めます。危険の見逃し、正常処理の停止、完了時間、修正時間、確認回数を比較します。人と機械の勝敗を決めるのではなく、どの組み合わせなら重大な見逃しを減らしながら仕事を完了できるかを見ます。

最後に、停止した条件、残した例外、削除した警告を一枚へまとめます。承認ボタンを押せる人の一覧だけでなく、必要な専門性、参照すべき根拠、最大確認件数、交代条件を記載します。AIだけの部署とAIを使わない学習を自律度の四段階で整理した記事のように、権限を上げる条件と下げる条件を対にします。

毎月見る七つの指標

レビューの形骸化を早く見つけるため、次の七つを同じ画面で見ます。

• 危険操作の実行前停止率：結果ではなく、外部影響が出る前に止めた割合です。
• 根拠到達率：確認者が元資料、原文、変更前の状態へ直接戻れた割合です。
• 反射承認の兆候：極端に短い時間で連続承認された件数です。
• 確認疲れの変化：セッションの前半と後半で、却下率や判断時間がどう変わるかを見ます。
• 過剰停止率：安全な通常処理を止め、手戻りを増やした割合です。
• 例外引き継ぎ時間：必要な専門家へ届き、理由付きの判断が出るまでの時間です。
• 停止後完了率：AIまたは分類器を止めても、縮退手順で仕事を完了できた割合です。

数字は担当者を監視するためではありません。人が疲れる前に確認回数を減らし、見逃しが起きる前に表示と権限を変えるために使います。反射承認が増えたら研修だけを追加せず、製品側の確認設計を変えます。過剰停止が増えたらガードレールを外さず、用途と影響に応じてしきい値を分けます。

参考にした情報

• The Verge「Lawyer fined $5K over AI-hallucinated witnesses in a murder case」（2026年9月11日、架空の証人と警察証言を含む上訴書面、5000ドルの制裁金を確認）
• ＠IT「危険コマンド停止率、AIは89％、人間だと14％」（2026年9月11日、1053人の対照実験、自動モード、確認疲れ、分類器の再試験を確認）
• ITmedia エンタープライズ「AIガバナンス・リスク管理市場が1年で10倍」（2026年9月11日、国内市場の2025年度実績と2030年度予測、対象製品の定義を確認）
• ITmedia AI＋「フィジカルAI向けデータ収集工場に潜入」（2026年9月11日、J-HRTIの35台、成功・失敗データの選別、実機からの改善循環を確認）

最後に——承認者を置く前に、承認できる環境を作ります

AIの事故が起きるたびに、「最後は人が確認すべきだった」という言葉が繰り返されます。もちろん、法的・社会的な責任をAIへ移すことはできません。しかし、責任を持つことと、何百回も同じ確認ボタンを押すことは別です。根拠が見えず、差分が大きく、判断時間がなく、拒否すれば仕事が止まるなら、人を置いてもレビューは成立しません。

危険な操作は機械で先に狭く止め、通常処理は根拠と差分を短く見せ、曖昧で高影響な例外だけを専門家へ届けます。人はAIの全出力を読み直す最後の壁ではなく、価値の衝突、例外、責任、訂正を決める役割へ移ります。そして、人の見落としも分類器の見逃しも、失敗データとして次の設計へ戻します。

次に社内のAI企画書で「人が確認します」という一文を見たら、その人は一日に何件を、どの根拠で、何分かけて確認し、拒否した後に仕事をどう続けるのかまで尋ねられるでしょうか。そこへ具体的に答えられることが、人間参加を免責の言葉から、実際に止めて直せる仕組みへ変える第一歩です。