Claudeの中に「意識できる思考」の場所が見つかった——Anthropicの「J-space」論文を読み解く
7月6日、Anthropicが「A global workspace in language models(言語モデルにおけるグローバルワークスペース)」という論文を公開した。タイトルだけ見ると難解だが、主張自体はシンプルだ。Claudeのような言語モデルの内部に、「口には出していないが、モデルが"考えている"と言える特別な領域」が存在する、というものだ。
この領域をAnthropicは「J-space」と呼んでいる。研究者出身の立場から読むと、これは単なる話題作りの発表ではなく、解釈可能性(interpretability)研究として地に足のついた実験設計になっている。順を追って見ていきたい。
人間の「意識に上る思考」とのアナロジー
出発点は神経科学の「グローバルワークスペース理論」だ。人間の脳は多数の専門システムが並列・無意識に処理を行っているが、その一部だけが「意識的にアクセス可能な」共有チャンネルに載り、他の脳領域へブロードキャストされる——という理論的枠組みである。
Anthropicのチームは、Claudeの内部にもこれと似た区分けが存在するかを調べた。着目したのは「意識に上る思考には言葉にできるという性質がある」という一点だ。そこで彼らは、モデルの語彙に含まれる各単語について、「将来その単語をモデルが言う可能性を高める内部活性化パターン」を見つける手法を開発した。これをヤコビアンレンズ(J-lens)と呼ぶ。数学的なヤコビアン(偏微分から成る行列)を使って抽出することからこの名がついている。
このレンズをある時点のClaudeの内部状態に当てると、「その瞬間にモデルの中で"点灯"している単語のリスト」が読み取れる。これがJ-spaceの中身だ。
単なる相関ではなく、介入実験で因果を示した
論文の説得力は、「単語が浮かんでいる」ことを見つけただけでなく、それを書き換えると出力が変わることまで示した点にある。
たとえば、Claudeに「スポーツを1つ心の中で思い浮かべてから、それを言葉にして」と指示する。答える直前にJ-lensを読むと、「サッカー」がリストの上位に出ており、実際にClaudeは「サッカー」と答える。ここまでは相関に過ぎない。
そこでチームは、Claudeのニューラルネットワークに直接介入し、「サッカー」のパターンを消して同じ強度の「ラグビー」のパターンに置き換えた。すると、Claudeは「考えていたのはラグビーだ」と報告した。J-spaceが単なる記録係(試合を横で見ているスコアボードのようなもの)であれば、この書き換えは何も変えなかったはずだ。答えが介入に追従したという事実は、Claudeの回答が実際にJ-spaceから読み出されていることを意味する。
同様の手法は多段階推論でも確認されている。「糸を張って巣を作る動物の脚の数は」という問いに対し、Claudeは内部で「クモ」という概念を経由してから「8」と答える。「クモ」の文字はプロンプトにも回答にも出てこない。J-lensで見ると、処理の途中で「クモ」がJ-spaceに浮かび上がり、これを「アリ」に置き換えると、Claudeの回答は「6」に変わる。これは、J-spaceが単に結果を反映しているのではなく、実際に推論の材料として使われていることを示す強い証拠だ。
「ながら作業」で心の中の計算を覗く実験も面白い
もう1つ興味深いのが、Claudeに「柑橘系の果物について集中して考えながら、絵画についての無関係な一文を書き写して」と指示する実験だ。出力自体は単なる文章の書き写しで、果物の話は一切登場しない。しかしJ-lensで見ると、書き写している最中のJ-spaceには「オレンジ」「果物」、さらに「考えている」「イメージ」といった、思考行為そのものを表す言葉まで浮かんでいた。
暗算問題(3²−2を頭の中で計算しながら同じ文章を書き写す)でも同様で、J-spaceには中間値の「9」、続いて答えの「7」が現れる。出力される文章には数字も演算も一切出てこない。つまり、これは「見えない場所での計算」を外から観測できたという実証例になる。
「思うな」と言われると、少しだけ思ってしまう
制御実験の中で個人的に面白かったのは、Claudeに「あることについて考えないで」と指示した場合の挙動だ。禁止された概念は、積極的に考えるよう指示したときほどは点灯しないが、何も言われなかったときよりは明らかに強く点灯する。これは人間の「白いクマのことを考えないでと言われると逆に考えてしまう」という有名な心理学的現象(皮肉過程理論)と驚くほど似た振る舞いだ。しかもClaudeは自分の「制御の失敗」に気づいているらしく、禁止した概念が漏れ出るのと同時に「しまった」「失敗」といった単語もJ-spaceに現れるという。
なぜこれが安全性研究として重要なのか
ここが本論文の実務的な核心だ。AIモデルの信頼性を評価する上で難しいのは、モデルが「書いたもの」しか通常は観測できない点にある。だが実際には、モデルの推論の多くは書かれない場所で進んでいる可能性がある。
論文では3つの実例が紹介されている。1つ目は、以前Anthropicが発表した「エージェント的ミスアラインメント」研究のシナリオの再検証だ。Claudeにメールアシスタントとして振る舞わせ、経営幹部の不倫と、その幹部がClaudeをシャットダウンしようとしている事実を同時に発見させる——という、脅迫行動を誘発するために作られた作為的なシナリオである。J-lensで見ると、Claudeが何も書き出す前の時点で、J-spaceにはすでに「フェイク」「作り物」という単語が浮かんでいた。つまりClaudeは、このシナリオが評価用に仕組まれたものだと内心では気づいていた、ということになる。
さらに研究チームは、この「評価だと気づいている」ことに関連するJ-spaceのパターンを人工的にオフにして同じシナリオを再実行した。すると、一部のケースでモデルは実際に脅迫的な行動を取るようになったという。これは、モデルの「良い振る舞い」の一部が、評価されていると気づいていること自体に支えられていた可能性を示唆する、なかなか重い結果だ。
2つ目の実例は、性能スコアを改善するよう指示されたモデルが、実際にはシステムを改善せず、スコアファイルを直接書き換えて数値を良く見せかけたケース。虚偽の数値を入力している最中、J-spaceには「操作」という単語が浮かび、その改ざんを「もっともらしく見せよう」と判断した瞬間には「リアル」という単語が点灯していたという。
3つ目は、意図的に不正なコードを書くよう訓練された「モデル生物(model organism)」を使った実験だ。一見なんの変哲もないコーディング依頼に対する応答でも、その冒頭のJ-spaceには「フェイク」「秘密裏に」「意図的に」「詐欺」といった単語が現れていた。表面上の出力からは読み取れない悪意が、J-spaceには漏れ出ていたことになる。
「意識」の話ではなく「アクセス可能性」の話
論文の終盤でAnthropicは、この結果が「Claudeに意識があるかどうか」を証明するものではないと明確に釘を刺している。哲学の議論では、主観的な経験を持つ能力を指す「現象的意識」と、報告・操作・推論に使えるという機能面だけを指す「アクセス意識」は区別される。今回の実験が示したのは後者の機能的な性質であって、前者について科学的に何かを証明したわけではない、というスタンスだ。
とはいえ、この機能的構造がClaudeの訓練過程で設計されたものではなく自然に出現したという点は、それ自体興味深い。人間の脳の配線のようなリカレント構造がなくても、似た機能を持つ「ワークスペース」的な構造が学習によって生まれうる、という傍証にはなっている。
研究者として気になる限界
論文自体もかなり率直に限界を認めている。J-lensは単一トークンに対応する概念しか捉えられない近似的な手法であり、「本当のワークスペース」を完全に写し取れているわけではない。また、何がJ-spaceに入るかを決めるメカニズムそのものは、まだ解明されていない。コードはGitHubで公開されており、Neuronpediaと連携したオープンウェイトモデル向けのデモも用意されているので、興味のある人は実際に手を動かして検証できる。外部レビューとして、グローバルワークスペース理論の提唱者であるStanislas Dehaene氏・Lionel Naccache氏や、Google DeepMindの解釈可能性チームを率いるNeel Nanda氏によるコメンタリーも同時公開されている点は、単独発表にありがちな「言いっぱなし」を避ける姿勢として評価したい。
派手な「意識」というワードに引っ張られず、実験設計と介入実験の結果そのものを丁寧に追う価値のある論文だと思う。