ホワイトハウスの合意に基づくAI監査が実効性を持つためには、監査人自身が検査対象を自由に選択できる必要があると、Decentralization Research Centerのリサーチ責任者Samuel Vance-Law氏が指摘した。
先週、世界で最も影響力のある6つのAI企業がホワイトハウスに対して、外部から彼らの取り組みを検証できる体制を約束した。
9月29日、Nvidia、OpenAI、Anthropic、Google、Meta、xAIは、米国大統領ドナルド・トランプが「道徳的拘束力がある」と称した最先端AIモデルに関する協定に署名した。各社は「独立した外部監査人または評価者と連携し」、独立取締役が監査報告書を精査し問題の是正を確実に行うことを約束している。
外部監査は意義があり、それが合意に入ったことは歓迎すべきだとしつつも、この合意には監査人の選定者や検査対象・調査範囲、公表の有無についての明記がなく、違反しても罰則規定がない。現状では各社が自社で監査人を選び、その監査人に何を見せるかを決定している。
2000年、かつて「ビッグファイブ」と呼ばれた国際会計事務所の一つで、アーサー・アンダーセンはエンロンの帳簿監査に2,500万ドル、税務やコンサルティング業務に2,700万ドルを受け取った。2年以内に両者が崩壊し、議会は経営陣から監査人選定権を奪い、監査人による他サービスの提供を禁じ、公的検査機関を設けるサーベンス・オクスリー法を制定した。
アーサー・アンダーセンの失敗は専門知識不足ではなく、1年で5,200万ドルを払うクライアントに厳しく対応するインセンティブの欠如にあった。同様にAI業界における自主的誓約も期待された結果を出していない。2023年、主要AI企業はホワイトハウスに自主的コミットメントを提出し、外部専門家によるリリース前テストを含めていたが、スタンフォード、ハーバード、ブラウンの研究者による16社評価の平均スコアは53％であった。問題の特定や報告協力に関しては16社中8社がゼロ点を記録した。
外部テストが実施されても、試験条件は開発者側が設定している。非営利団体METRによるOpenAIのo3モデルリリース前テストについては、「わずか3週間のテストでモデル情報へのアクセスも限定的」「逐次的推論過程の確認もできなかった」と報告されている。
OpenAIにはテストを許可したことへの敬意はあるものの、どの情報を共有するかに依存する部分が大きいことも示されている。
訓練済みのAIモデルは極めて大きな数値ファイルで、多くの場合制作に1億ドル超かかるため、コピーを持つ者がモデルの所有者となる。外部にコピーを渡すことはセキュリティリスクを伴う。従来はテスターが質問内容を事前に開示するか、モデルを提供するかの選択を迫られてきたとGoogle DeepMindは説明している。
8月、DeepMindはこの問題の回避策を提示。シンガポールのAI Safety Instituteなど3組織と共同で、二重盲検試験方式に基づく世界初のAIモデル二重盲検テストを実施し、封印されたコンピュータ機器上でテストを行った。外部テスターはモデルを直接見ることなく、Google側も質問内容を知らず、双方が情報非公開を数学的に検証したと述べている。
また、信頼が機器自体に置かれる形となる。昨年、研究者は1000ドル未満の機器でこうした封印機器に侵入した例もあるが、サーバー物理アクセスが必要だった。この問題は「誰もモデルに近づけない」よりは軽微で、機器管理を慎重に行えば十分対処可能だという。
私が所属するDecentralization Research Centerが今週発表したレポート「Alternatives to Concentrated AI」では、共同執筆者Kyle Bligenとともに36名へインタビューを行い、AIの集中管理に対抗する稼働中の約30の代替案を示した。主な発見は外部者がモデルやデータのコピーを持たずとも先進的AIを精査できる点だった。
この合意の監査が意味を持つには、監査人がコピーなしに検査可能な今、自ら検査対象を選べることが不可欠だ。企業は誰が監査人か、監査範囲を開示すべきであり、詳細な調査結果が非公開でも問題ない。上場企業は長年監査人を公表し続けているが、企業秘密が漏れた例はない。取締役委員会は監査報告書を読んで社外の誰かに責任を負わせるべきである。サーベンス・オクスリー法には監査人を監査する検査人があるが、この合意にはその仕組みがなく、議会がこの隙間を埋める必要がある。
注：本コラムの見解は著者個人のものであり、CoinDesk社およびその所有者・関連企業の見解を必ずしも反映するものではない。