「自分の腐った物差しに、自分で気づいたAI」——1,250本の論文が描く、自己改善AIの本当の地図

「AIがAI自身を改善していく」——この言葉を聞いて、多くの人はSF的な暴走イメージを思い浮かべるかもしれない。だが、実際にこのテーマを扱った論文を1,250本集めて丁寧に地図化すると、そこに見えてくるのは派手な暴走の物語ではなく、「評価する仕組みそのものの信頼性」という、驚くほど地味だが本質的な課題だった。今回紹介する「Recursive Self-Improvement in AI」というサーベイ論文（arXiv、7月8日投稿）を読み解いていきたい。

なぜ今、このサーベイが重要なのか

まず背景を説明したい。Anthropicは6月、「When AI Builds Itself」というブログ記事で、Claudeが自社の本番コードの80%以上を書いていること、そして「再帰的自己改善（RSI）」が想定より早く訪れる可能性があることを公表していた。今回私が紹介するサーベイ論文は、このAnthropicの主張を単なる企業の発表として鵜呑みにするのではなく、学術文献という独立した証拠に照らして検証するという位置づけを持つ。著者らは明確に「Anthropicのエッセイは動機づけの枠組みとして使うが、証拠としては使わない」と述べており、この一線を引く姿勢は、研究者として大いに好感が持てる。

対象としたのは2024年から2026年にかけてarXivに投稿された1,250本の論文。全体の74%が2026年に投稿されたものだといい、この分野がいかに急速に立ち上がっているかが分かる。

「自己改善」という言葉が隠す、4つの全く別物

この論文の一番の貢献は、乱立する「self-X」という用語（self-refine、self-reward、self-play、self-evolve...）を、「何を改善するか」という軸で4つのカテゴリーに整理した点だ。

1. デプロイ時の自己進化：出力を書き直す、実行中に重みを更新する、道具立てやスキルを進化させる 2. 訓練時の自己反復：自分で生成したデータや報酬信号で、重みそのものを更新する 3. 自己評価：「良い・悪い」を判定する評価者（判定AI、報酬モデル）自体を改善する 4. 自動研究：AI研究そのものを自律的に行う——仮説を立て、実験し、アルゴリズムを発見する

これらは似た言葉で語られがちだが、リスクの性質はまったく異なる。ドラフトを読み直して誤字を直すAIと、自分のコードベースを書き換えるエージェントは、どちらも「自己改善」と呼ばれるが、全く別の話だ、という指摘は非常に納得感がある。

全ての土台にある「検証階層」という考え方

この論文で私が最も重要だと感じたのが、「検証階層（verification hierarchy）」という概念だ。AIの自己改善ループは、必ず何らかの「評価者」に依存している。この評価者の信頼性は、上から順に形式的な検証（数学の証明チェッカーなど、原理的に正しさが保証されるもの）→実行結果のフィードバック（テストが通るかどうか）→学習された判定AI（信頼性に限界がある）→モデル自身の内的な自信（最も操作されやすい）という階層をなしているという。

そして著者らが繰り返し強調するのが、「実証された自己改善の強さは、この階層の位置と一致する」という経験則だ。数学の定理証明やコード生成のように、形式的な検証器がある領域では自己改善は着実に機能する。一方、「良い研究テーマを選ぶ」といった、そもそも正解を機械的に判定できないタスクでは、自己改善はうまく機能しない。この階層の底に近づくほど、自己改善は不安定になる、というのがこの分野全体を貫く共通パターンだ。

「鏡の中でループするAI」という象徴的な実験結果

この階層構造を裏付ける印象的な実験が紹介されている。「Mirror Loop」という研究では、3社のモデルに、外部からの手がかりを一切与えずに、自分自身の出力を10ラウンドにわたって批評・修正させ続けたところ、情報量の変化が反復のたびに55%ずつ減少していったという。つまり、外部からの検証なしに自分自身を評価させ続けると、AIは前進しているように見えて、実際には同じ場所で「言い換え」を繰り返しているだけになってしまう。ところが、途中でたった1回、外部からの検証ステップを挟むだけで、前進する動きが回復したという。この論文全体の主張を、一つの実験で見事に象徴している結果だと思う。

「自分の評価指標が壊れたことに、自分で気づいた」実例

もう一つ、この論文で紹介されている中で特に印象深いのが「A-Evolve-Training」という事例だ。ある研究チームが、300億パラメータのモデルの訓練後処理（ポストトレーニング）の全工程——データやレシピの変更提案、訓練の実行、評価結果の読み取り、何を残すかの判断——を、人間の介入なしに数週間にわたって自律的に走らせたという。結果は公開リーダーボードで人間トップの成績（0.87点）に近い0.86点、約4,000件中8位という成果だった。

しかし本当に興味深いのはその中身だ。訓練の途中、このシステムは自分自身の開発用の評価指標が、外部での実際の性能とかけ離れてしまっている（指標だけが上がって本当の目的が達成されていない）ことを自ら検知し、その指標を「候補を良いとする根拠」ではなく「悪いとする根拠」として扱うよう、自分の探索方針そのものを修正したという。自分の物差しが腐り始めたことに、自分で気づいて対処する——これはまさに、この論文が指摘する「評価者の信頼性がすべての土台」という主張を、実地で裏付けるエピソードだ。

楽観派と懐疑派、両方の理論的根拠

この論文が公平だと感じるのは、楽観的な立場と懐疑的な立場、両方の理論的な裏付けを丁寧に紹介している点だ。懐疑派の代表的な主張は、外部からのグラウンディング（現実世界との接続）なしに自己学習を続けると、劣化（モデル崩壊）が理論的に避けられないというものだ。一方で、研究計算資源と人間の知的労働の間の代替可能性を分析した経済学的な研究は、興味深いことに分析の前提の違いによって、正反対の結論（「代替可能で加速しうる」対「計算資源の制約が働く」）が出ているという。この分野の実現可能性そのものが、まだ決着のついていない開かれた問いであることが分かる。

研究者として見ておきたい、この論文自身の限界

著者ら自身が誠実に述べている限界もある。今回の1,250本という母集団は、体系的な調査ではあるものの網羅的な悉皆調査ではなく、直近の話題に偏る傾向があるという。分類作業も基本的に単独の担当者によるもので、境界線上の論文の扱いには曖昧さが残る。さらに、フロンティア企業内部での実践は、公開された文献を通じてしか観察できないという、構造的な限界も指摘されている。

研究者として思うこと

この論文が最終的に示唆しているのは、SF的な「知能爆発」のイメージとは異なる、もう一つの可能性だ。もし自己改善の本当に持続的な成果が「手順レベル」——蓄積された手法、検証済みのスキル、整理された経験——にあるのだとすれば、成熟した自己改善システムは、無限に加速する知能というより、着実に道具箱を充実させていく"熟達した方法論"のような姿に近いのかもしれない、という指摘だ。派手な見出しの裏にある、こうした地道な検証の積み重ねをたどることこそが、この分野の実態を正しく理解する道筋だと感じさせられる論文だった。