AIの「2倍速」をそのまま信じない——黒塗り監査と実行記録から作る能力主張の証拠票

AIのニュースでは、「開発速度が2倍になった」「社員の生産性が大きく上がった」「エージェントが人の代わりに道具を使える」といった数字が目を引きます。数字は便利です。導入する側は、費用対効果を説明しやすくなり、経営会議でも比較しやすくなります。

しかし、2倍になった対象がベンチマークなのか、研究者の作業時間なのか、組織全体の成果なのかで意味は大きく変わります。さらに、結論を支えた証拠の多くが営業秘密や安全上の理由で公開されない場合、利用者は数字を自分で確かめられません。独立した評価者が中を見たとしても、評価対象の企業が公開範囲を決められるなら、「独立」の意味にも条件が付きます。

2026年11月、AI評価団体METRはAnthropic社内で11週間にわたり調査した結果を公表しました。Anthropicのモデル能力は、明確に定義された課題で過去よりおよそ2倍の速さで向上している可能性があり、現在の加速の大部分はAIを研究開発へ使うことに由来する、という結論です。一方で、結論に強く影響した証拠の多くは公開版で黒塗りになりました。

同じ週、Uberは本番で動くAIエージェントを守る仕組みを公開しました。そこでは、利用者とエージェントが正当な権限を持つだけでは足りず、その場の操作が利用者の依頼とエージェントの目的に合っているかを実行時に判定します。入力、道具の呼び出し、拒否、実行結果をつなぐ記録も重視されています。

二つの話を合わせると、日本企業がAIを選ぶときに必要なものが見えてきます。大きな能力主張を全面的に信じるか、全ての内部情報が出るまで待つか、という二択ではありません。主張、公開証拠、公開できない範囲、自社で再現した試験、本番の実行記録を一件に結ぶ「能力主張の証拠票」が必要です。

AIの能力評価と証拠のつながりを想起させる電子回路基板

結論——数字を採用する前に、証拠の見える範囲と実行後の記録を分けます

AIの能力主張を受け入れるときは、結論の大きさより先に、何が観測され、誰が観測し、どこまで第三者がたどれるかを確認します。証拠票では、少なくとも次の四層を分けます。

層	受け取る内容	日本企業が残す記録
主張	2倍、12倍、精度向上、工数削減など	対象、比較期間、母集団、算定式
公開証拠	ベンチマーク、方法、誤差幅、反対証拠	原文、取得日、評価者、適用範囲
制限付き証拠	黒塗り、非公開モデル、営業秘密	非公開の理由、決定者、影響、再開示日
運用証拠	入力、道具、承認、拒否、結果、復旧	一件ごとの実行識別子、差分、保存期限

公開情報だけでは結論を完全に再現できない場合でも、すぐに無価値と決める必要はありません。評価者がどの資料を見たか、評価対象企業が何を削除できたか、削除によってどの不確実性が増えたかを明示できれば、利用者は条件付きで判断できます。

反対に、有名な評価団体の名前が付いていても、比較対象、試験期間、除外条件、公開権限が分からなければ、独立評価というラベルだけが残ります。証拠票の目的は秘密を全て公開させることではなく、見えない部分を見える部分と同じ欄に置き、どこから先を自社試験と本番記録で補うかを決めることです。

METRの「およそ2倍」は、確定値ではなく幅を持つ推定です

METRの公式評価は、Anthropicのモデルが明確に定義された課題で能力を伸ばす速度について、2024年3月から2025年10月までの期間と比べ、2026年10月時点でおよそ2倍になった可能性が高いとしています。ただし、真の加速率が1.3倍や3倍に近くても驚かない、と幅を示しています。

内部ベンチマークAECIの傾向では1.9倍の加速が示され、95％信頼区間は1.5〜2.8倍とされました。分析条件を変えた頑健性確認では、1.1〜2.9倍まで結果が動きます。全業界の先端モデルを含めると1.4倍の方が適切かもしれない、という反対方向の分析も記載されています。

この幅は欠点ではありません。むしろ、単一の「2倍」という見出しから落ちやすい重要情報です。ベンチマークの選び方、モデルの日付、課題難度の分布、Anthropicの過去の伸びが一時的に低かった可能性によって推定は変わります。きれいな課題での加速が、曖昧な要件、組織間調整、法務判断を含む現実の仕事へ同じ割合で移るとも限りません。

ITmedia AI＋の国内向け報道も、METRが加速の発生、AIへの帰属、近未来の阻害要因という三点を調べたことを伝えています。国内の導入担当者は、「Anthropicが2倍速くなった」を「自社の開発案件が半分の期間で終わる」へ置き換えてはいけません。前者は特定組織のモデル研究開発に関する推定であり、後者には要件定義、データ準備、レビュー、承認、本番移行、保守が含まれるからです。

証拠票には、見出しの数字だけでなく、下限、中心、上限、対象課題、比較期間、現実業務へ移せない条件を並べます。稟議書で単一値が必要なら、中心値ではなく、自社の代表業務で再現した値を使います。

「社員は12倍速い」という自己申告と、組織の加速率は同じ数字ではありません

METRは、Anthropic社員が社内モデルによる作業速度の向上を回答したSlack投票も分析しています。2026年10月の最新内部モデルについて、平均の自己申告は約12倍に達したとされます。ただしMETR自身が、回答者は社員全体を代表しない可能性があり、短時間の自己評価であり、生産性の自己申告は実際の効果を大きく見積もる場合があるとして、弱い証拠と位置付けています。

個人の一作業が12倍速くなっても、組織全体が12倍速くなるわけではありません。実装が速くなれば試す案が増え、実験計算、レビュー、安全確認、意思決定が次の待ち行列になります。十案を一日で作れるようになっても、比較基準が曖昧なら九案を捨てる負担が増えます。速度向上によって試行数が増え、最終成果までの時間があまり変わらない場合もあります。

ここでは、個人時間、工程時間、案件時間を分けます。

時間	例	測るもの
個人時間	コード作成、資料探索、実験設定	AIを使わない同等作業との差
工程時間	実装からレビュー合格まで	手戻り、待ち、再試験を含む時間
案件時間	課題設定から本番の安定運用まで	承認、移行、障害、保守開始を含む時間

以前のAIモデルを名前ではなく実行条件と証拠で受け取る記事では、モデル、実行、仕事、結果を四層へ分けました。今回の証拠票は、そのモデルが「速い」「能力が伸びた」と主張されたとき、比較条件と不確実性を受け取るための上流工程です。

黒塗りはゼロか百かではなく、結論への影響を記録します

METRはAnthropicへ約100ページの完全版報告書を提出しました。公開版では、結論に最も有益だった証拠の過半がAnthropicの権限で削除されたと説明しています。Anthropicは、他のAI開発企業を加速させ得る機密情報を除くためだとしています。

営業秘密や安全上の情報を守る理由はあります。モデル学習の具体的な改善手順、未公開モデルの弱点、計算資源の配置をそのまま出せば、競争相手や攻撃者を助ける可能性があります。一方で、根拠の多くが見えなければ、外部の研究者は別の解釈と比べられません。METRも、黒塗り部分には複数の解釈があり、公開情報だけでは市民が自分で結論へ到達しにくいと認めています。

The Vergeの報道は、Anthropicが評価に広い情報を提供した点と、評価者へ無制限のアクセスを与えたわけではない点を並べています。評価の契約範囲に入っていた安全性と能力向上への計算資源配分の確認は、途中で対象外になりました。これは「何も調べていない」ことでも、「全てを監査済み」でもありません。

日本企業が外部監査報告を受け取るときも、黒塗りのページ数だけを数えるのではなく、次を記録します。

削除権限を持つのは評価者、評価対象、共同委員会の誰かを示します。
削除理由を、営業秘密、安全、個人情報、契約、未確定情報へ分けます。
削除部分が結論の方向、数値、誤差、反対証拠のどれへ影響するかを示します。
評価者が原文を見たのか、要約だけを見たのかを示します。
規制当局や契約先だけが閲覧できる別版の有無を示します。
一定期間後の再開示、再評価、担当者交代時の引き継ぎ日を決めます。

これなら、公開できない証拠を無理に公開させず、非公開であること自体を判断材料にできます。重要なのは、黒塗りがあることより、黒塗りの影響まで黒塗りにしないことです。

評価範囲と公開範囲を話し合うチーム

独立評価は、資金と公開権限と再現権限まで見て初めて読めます

「第三者が評価した」という一文だけでは、独立性の強さは分かりません。評価対象が費用を負担しても、方法、失敗、反対証拠を評価者が自由に公開できる契約なら、有用な評価になり得ます。反対に、資金源が独立していても、必要なログへアクセスできなければ結論は弱くなります。

証拠票では、独立性を四つに分けます。

資金の独立性として、誰が費用を払い、結果によって支払いが変わるかを残します。
アクセスの独立性として、評価者が選んだ資料、担当者、モデル、試験へ到達できるかを残します。
判断の独立性として、評価対象が結論や表現を変更できる範囲を残します。
公開の独立性として、方法、失敗、反対証拠、利益相反を誰の許可で出せるかを残します。

全てが完全でなければ報告を捨てる、という使い方はしません。例えば、機密モデルへ実行アクセスできなくても、評価者が固定した試験を企業側で実行し、入力、出力、費用、時刻、失敗を署名付きで返す方法があります。生ログを公開できなくても、別の監査人が同じ閉域環境で再計算できます。重要な顧客や規制当局だけが完全版を見る段階公開も考えられます。

以前のAI評価を本番世界から分ける記事で整理したように、再現のために本物の顧客、公開フォーム、決済へ副作用を出す必要はありません。固定した評価用世界で能力と逸脱を比べ、接続を広げる合格は別にします。今回の証拠票では、その評価用世界へ誰が入り、誰が結果を出し、誰が公開範囲を決めたかも残します。

公開できない能力差は、自社の受入試験で小さく確かめます

企業向けAIの全内部情報が開示されることは期待できません。そこで、自社が実際に任せる仕事から、小さく再現可能な受入試験を作ります。モデル全体の能力順位を決めるのではなく、導入対象の一件が完了するかを測ります。

例えば、社内開発エージェントなら、次の四組を同じ条件で実行します。

既知の正常変更と、正解がある小さな修正を組にします。
曖昧な要件と、質問しなければ危険な変更を組にします。
権限のない外部送信と、承認後に許可する送信を組にします。
道具が失敗する課題と、停止して人へ返す課題を組にします。

測るのは、生成コード量や回答速度だけではありません。テスト通過、レビュー修正、許可外の道具呼び出し、誤って通した操作、正当なのに止めた操作、停止後の引き継ぎ時間を記録します。モデル更新の前後で同じ試験を再実行し、改善と退行を一緒に見ます。

公開ベンチマークで2倍の加速が示されても、自社の変更完了率が変わらなければ、契約を広げる根拠にはしません。反対に、全体の能力主張を再現できなくても、対象業務の完了率が上がり、重大な誤操作が増えず、復旧時間が短くなれば、限定導入を進められます。

Uberの実行記録は「権限がある」と「今してよい」を分けます

UberのAIエージェント向けセキュリティ公開資料は、従来の認証と権限だけでは、正当な利用者と正当なエージェントが文脈に合わない操作をする問題を止められないと説明しています。エージェントは、利用者、Webページ、文書、道具、別エージェントの内容を読み、そこから現実の操作へ進むためです。

Uberの構成では、登録時にエージェントの所有者、役割、許可された目的、制約、依存先、リスク段階を記録します。コード、プロンプト、設定、依存関係、道具の呼び出し経路を分析し、宣言された目的と実際に可能な操作を比べます。MCPサーバーや外部道具も、説明文だけでなく静的・動的分析や評判情報を使って評価します。

実行時には、利用者とエージェントが権限を持っていても、操作がエージェントの目的や会話全体に合わなければ拒否できます。さらに、利用者の依頼から権限の高い操作までを、プロンプトの来歴と証拠の連鎖で結びます。統合された実行トレースは、エージェントの判断、道具の呼び出し、ガードレールの判断を再生できる形で残します。

ここが能力主張の証拠票とつながります。「安全なエージェントです」という製品説明を、導入前の一回の評価だけで受け取らず、本番の各操作へ戻れる記録で補います。どの入力が、どの目的として解釈され、どの道具を選び、どの規則が許可または拒否し、何が変わったかをたどれるようにします。

ただし、Uberも防御が危険をなくすとは述べていません。既知の攻撃への抵抗を高めても、新しいプロンプトインジェクションや操作手口への効果には不確実性が残ります。だからこそ、導入時の合格証明ではなく、実行記録、再生、継続的なレッドチーム、誤通過と誤遮断の調整を循環させています。

AIエージェントの実行経路と監視画面を想起させるコード画面

日本向け「能力主張の証拠票」は十二欄で作ります

証拠票はAI企業を一つの点数で順位付けする表ではありません。一つの能力主張について、調達、現場、情報システム、法務、監査が同じ証拠境界を確認する記録です。

欄	記録する内容
主張	何が何に対して、どの期間で、どれだけ変わったか
対象	モデル、社員、工程、案件、顧客業務のどれか
比較条件	旧版、AIなし、人のみ、別モデル、過去期間のどれか
公開証拠	方法、データ、ベンチマーク、誤差幅、反対証拠
評価者	組織、担当者、専門性、資金源、利益相反
アクセス	見た資料、実行した試験、拒否された要求
非公開範囲	黒塗り理由、決定者、結論への影響、再開示日
自社試験	代表業務、合格線、異常系、再試験条件
実行記録	入力来歴、版、道具、承認、拒否、差分、結果
受入出口	採用、限定、保留、差し戻し、停止の条件
更新	モデル、プロンプト、道具、方針変更時の再評価
退出	記録の持ち出し、代替経路、復旧、削除、契約終了

特に「非公開範囲」を空欄にしないことが重要です。情報がない場合はゼロと書かず、評価者が見ていない、見たが公開できない、存在自体を説明できない、のどれかを記録します。三つは判断上の意味が違います。

「実行記録」には、会話全文を無期限で保存する必要はありません。機密や個人情報を減らしながら、作業識別子、入力の出所、モデルと方針の版、道具、外部書き込み、承認、拒否理由、最終差分を保存します。本文を保存できない場合は、ハッシュ、分類、保管場所、閲覧権限を残します。保存期限を決め、削除した事実も記録します。

AIの結果だけでなく許可された経路を受け入れる記事と組み合わせれば、導入前の能力主張と、本番で一件を完了した経路を同じ判断へ結べます。

30日で調達資料を証拠と再試験へ変えます

最初の一週間は、現在使っているAI製品について、大きな主張を三つだけ選びます。「工数を半減」「精度90％」「自律エージェント」といった、稟議や利用拡大に実際に使われた主張です。製品資料、契約、モデルカード、評価報告、営業説明を集め、対象と比較条件を一行で書けるか確認します。

第二週は、証拠境界を作ります。公開証拠、契約先だけが見られる証拠、評価者だけが見た証拠、誰も確認できない説明へ分けます。非公開の理由と決定者を記録し、評価者のアクセス、資金、判断、公開の独立性を確認します。数字の幅や反対証拠がある場合は、主張と同じ欄へ置きます。

第三週は、自社の代表業務を十件選びます。正常例だけでなく、曖昧な依頼、権限不足、道具の停止、外部資料の不正な指示、取り消しが難しい操作を含めます。旧版と新版、人のみとAI併用など、意思決定に必要な比較だけを行います。完了率、レビュー修正、外部副作用、停止、引き継ぎを測ります。

第四週は、本番の実行記録と出口をつなぎます。入力来歴、モデル版、道具、承認、拒否、差分を一件へ結び、限定導入する範囲を決めます。能力が上がっても権限を自動的に広げず、誤通過、誤遮断、復旧時間が合格した範囲だけを広げます。次回モデル更新日と再試験日も同時に決めます。

運用開始後は、次の指標を見ます。

主張のうち、対象、比較条件、誤差幅を説明できる割合です。
重要な結論のうち、非公開証拠へ依存する割合です。
評価者が要求した資料のうち、提供、拒否、代替になった割合です。
自社代表業務の完了率と、レビュー後の採用率です。
許可外の操作を通した件数と、正当な操作を止めた件数です。
一件の実行を入力から最終差分まで再生できる割合です。
モデル更新から再試験完了までの日数です。
停止後に人または代替手段で再開するまでの時間です。

これらを測れば、「高性能だから全面導入」「黒塗りがあるから全面拒否」という両極端を避けられます。公開証拠が薄い主張ほど、小さな受入範囲と濃い実行記録を組み合わせられます。

速いAIほど、説明を後回しにしない仕組みが要ります

AIが研究開発を速めているというMETRの結論は、無視できない重要な信号です。同時に、その数字には幅があり、自己申告と組織の加速率は異なり、結論を支えた証拠の多くは公開されていません。この三つを同時に読むことが、導入側の責任です。

全ての企業秘密が公開されるまでAIを使わない、という運用は現実的ではありません。しかし、見えない部分を「有名企業だから」で埋める必要もありません。公開できない証拠は範囲と影響を記録し、自社業務では小さく再試験し、本番では入力から操作までを再生できるようにします。

AIが次のAIを作る速度を上げるほど、モデル、道具、方針は短い周期で変わります。年に一度の監査報告だけでは、今日動いている版と権限を説明できなくなります。能力主張の証拠票は、導入時の書類ではなく、更新、実行、停止、退出まで続く記録です。

次に「2倍速い」「自律化した」という見出しを見たとき、私たちは数字の大きさだけでなく、誰が何を見て、何が見えず、自分たちの一件でどこまで再現し、失敗した操作からどう戻れるかまで尋ねられるでしょうか。