AIエージェントは増やせば優秀になるのか。Ultraで感じた統括の難しさ
2026年11月15日時点の個人的な実験記録。原因については未検証の仮説を含みます。
要件漏れやミスが増え、手戻り・レビュー・修正が増えた
ここ数日、AIを使った開発で不可解なことが続いていた。私は普段、Codexを使って複数のプロジェクトを並行開発している。自分で実現したいことを考え、要件を整理し、実装をAIに任せる。完成したものを確認し、必要に応じて修正する。
この開発スタイルが非常に楽しかった。AIが実装している間に別の企画を考えたり、情報収集をしたり、ほかのことを楽しんだりできる。以前なら何日もかかった作業が、ほとんど人間の手を介さずに進んでいく。
ところが、2026年11月上旬頃から、その状況が変わった。明示した要件を無視する。依頼していない変更を加える。必要な確認を飛ばす。すでに完了している工程へ戻る。しかも、一つの案件ではなく、複数のプロジェクトで似た問題が起きていた。
それまでは比較的安定していたのに、急にAIの判断を信用できなくなった。実装する時間よりも、AIが勝手に変更した箇所を探し、修正を依頼し、再確認する時間の方が増えてしまった。
実際に起きた問題
共通部品の欠落、工程の逆戻り、公開前確認の省略
例えば、既存の商品アーカイブサイトでは、商品ページのフォーマットを統一していた。ページの構造や共通部品は原本に合わせ、商品ごとの情報だけを変更する。AIによる生成のばらつきを抑えるため、以前から採用していた方法だ。
ところが、追加された商品ページでは、この原本が正しく踏襲されていなかった。一部の共通部品が欠落し、ページによって構成が異なっていた。
調査を依頼した結果、Codexからは、公開中の399製品のうち338製品で共通部品が不足していたという報告が返ってきた。原因として説明されたのは、原本全体を使用せず、別の加工処理を流用していたことだった。
ほかにも、実装済みアプリの出力結果を確認したいだけなのに、すでに終了したプロンプト設計の工程へ戻ろうとするケースがあった。本番公開前に人間が実際の出力を確認する予定だったにもかかわらず、その確認工程を飛ばして反映へ進もうとしたこともある。
問題は、コードを書く能力そのものではない。ユーザーが何を依頼し、何を変更してはいけないのか。その境界を守れなくなっていることだった。
なお、これらの事例がすべて同じ原因で発生したとは確認できていない。
原因を疑い、設定を戻してみた
最初は、モデル自体の挙動が変わったのではないかと考えた。しかし、いろいろ振り返っているうちに、一つ気になることがあった。
最近の開発では、GPT-6.1 Solの推論設定をUltraにして作業する機会が増えていた。それまではHighを中心に使っており、比較的指示どおりに動いていたという感覚がある。
そこで、UltraからHighとExtra Highへ設定を戻してみた。すると、少なくともその後に進めた作業では、以前のように依頼の意図を外さず進んでくれる場面が増えた。
もちろん、厳密な比較実験ではない。同一の作業を同一条件で何度も実行したわけではなく、作業内容や会話の状態による影響も考えられる。それでも、設定変更後に体感が改善したことは、原因を考えるうえで重要な手掛かりになった。
さらに気になったのは、Ultraでは複数エージェントが動く様子を見かけていた一方、HighやExtra Highで試した範囲では、画面上で同様の呼び出しを確認していなかったことだ。ここから、別の仮説が浮かんだ。
問題は個々のエージェントではなく、統括する側にあるのではないか
複数エージェントを利用する仕組みでは、仕事を分担するエージェントと、それらの結果を統合する親エージェントが存在する。例えば、調査、実装、検証を別々のエージェントが担当する。個々の担当が正確に仕事をしても、それらを統合する側が元の要件を見失えば、最終的な成果物は間違ったものになってしまう。
これは人間の組織でもよくある話だ。優秀なエンジニア、デザイナー、分析担当者が集まっていても、プロジェクトマネージャーが要件や進捗を正しく管理できなければ、プロジェクト全体はうまく進まない。AIでも同じことが起きているのではないか。
例えば、親エージェントが「既存テンプレートを変更しない」という条件を理解していても、その条件を実装担当へ正確に伝えなければ意味がない。さらに、実装担当から結果が返ってきたときに、親エージェントが元の要件と照合しなければ、誤った成果物をそのまま完成品として提出してしまう。
今回の経験から、私は次の仮説を持った。個々のAIエージェントの性能が高くても、仕事の委任・統合・受入判定を担当するPM機能が不安定なら、最終的な品質は大きく低下するのではないか。
ただし、実際のサブエージェントの全作業ログを照合したわけではない。個々の担当が正しく作業していたことも、親エージェントの統合だけが失敗したことも、まだ証明できていない。現時点では、観測結果と整合する原因仮説の一つだ。
新規開発と保守開発では、最適なエージェント構成が違うかもしれない
もう一つ考えたのが、新規開発と保守開発の違いだ。新しいシステムをゼロから作る場合、AIにはある程度自由に考えてほしい。実現方法を調べ、複数の設計案を比較し、適切な技術を選び、必要に応じて仕事を分担する。こうした場面では、複数エージェントによる並列処理が強みになる可能性がある。
一方、既存システムの保守や改修では事情が異なる。すでに画面構成、データ処理、利用手順、禁止事項、受入条件などが決まっている。そこでは、新しいアイデアを出すこと以上に、既存の仕様を変えず、指定された範囲だけを正確に修正することが重要になる。
複数エージェントへの分担によって情報の受け渡しが増えれば、既存要件や承認条件が抜け落ちる可能性もある。つまり、複数エージェントの方が常に優れているとは限らない。
特に既存システムの改修では、一つのエージェントが文脈を保持しながら進めた方が安定する場面もあるのではないか。これは今後、実際の案件で検証したい。
OpenAIの公式説明とも照らしてみる
OpenAIの公式ドキュメントでも、複数エージェントは、独立して進められる調査や実装などに向いていると説明されている。一方で、作業に順序関係がある場合や、複数の担当が同じファイルを変更する場合には、慎重な調整が必要になる。つまり、複数エージェントによる並列化は、すべての作業に適した方法ではない。
ただし、この公式説明は、今回のUltraで起きた問題の原因を示すものではない。あくまで、マルチエージェントの適用条件を考える参考資料として捉えている。
AIの性能と、安心して任せられる能力は違う
今回の経験を通じて、改めて感じたことがある。それは、AIの実務能力をコーディング性能や推論能力だけでは評価できないということだ。
どれだけ高速にコードを書けても、既存の要件を勝手に変更してしまえば、実務では大きな問題になる。しかもAIは、間違った方向でも大量の成果物を一気に生成できてしまう。
以前のAIは、能力が足りずに途中で止まることが多かった。現在のAIは、能力が向上したことで、間違った判断のまま最後まで作業を進められる場合がある。この違いは大きい。
企業で利用するなら、最高性能よりも安定運用が優先される場面は多い。特に既存システムの保守では、ユーザーが許可していない変更を行わないこと、判断が必要な場合に確認すること、決められた受入条件を守ることが欠かせない。
AIエージェントの実用性能は、どれだけ自律的に仕事を進められるかだけでなく、どれだけ安心して仕事を任せられるかで決まる。この考えは、今回の一連の問題でさらに強くなった。
今後の検証と運用方針
現時点では、HighとExtra Highへ戻してからの挙動が比較的安定しているため、当面はこの設定を中心に開発を続ける予定だ。Ultraについては、今後も利用価値を検証していきたい。
特に確認したいのは、次の点だ。
- 同じ保守作業でHigh・Extra High・Ultraの結果に再現性のある差が出るか。
- Ultraで実際にサブエージェントが起動した場合、元の要件は正しく引き継がれているか。
- 個々の担当の成果物と、親エージェントが統合した最終成果物の間で、どのような差が生じているか。
- 今後のモデルや実行環境の更新によって、こうした問題が改善するか。
仮にUltraが原因ではなかったとしても、今回の経験から得た学びは残る。複数のAIを動かすことと、複数のAIを正しくマネジメントすることは別の能力だ。
そして、それは人間の組織と同じなのかもしれない。優秀なメンバーを集めるだけでは、優秀なチームにはならない。仕事の目的を共有し、進捗を把握し、成果物を統合し、最終的な品質を保証する役割が必要になる。AIエージェントがさらに進化していく中で、この「AIを統括するAI」の品質は、ますます重要になっていくのではないだろうか。
今回の観測はまだ途中段階にすぎない。Ultraそのものの問題なのか、複数エージェントの統合に問題があるのか、それとも別の要因なのか。結論は引き続き検証していきたい。ただ、一つだけ確かに感じたことがある。
参考: