ハーネスは安くなる。採点基準は安くならない。

すべてのAIエージェントには二つの部分がある。 推論するのはモデル。その周りのコードがハーネスだ。モデルに何を見せるか、どのツールを呼ぶか、失敗したときに何が起きるかを決める。

モデルがエンジンなら、ハーネスは車のそれ以外のすべてだ。

最近まで、ハーネスはエンジニアが手作業で組んでいた。エージェント構築の技術の大半は、そこにある。

二週間前、モデルがそのハーネスを書き換えることを学ぶ、という論文が出た。今朝それが「モデルがハーネスを飲み込む」と要約され、テスラのFSDが引き合いに出されていた。

論文を読んだ。結果は大きい。そして正確に理解すれば、とても役に立つ。

別のモデルがハーネスを書き換え、実行し、スコアを確認し、また書き換える。元のモデルの内部は何も変わらない。そして身につけたスキルは、練習していないタスクにも通用する。

ハーネスは、モデルが書くものになる。

FSDで起きたことは別物だ。あちらでは、手書きのコードがネットワークそのものに吸収された。

投資先を決める立場なら、この違いは決定的だ。

ハーネスは安く作れるようになっている。カスタムのエージェントワークフローは書き換えられていく。モデル自身の手によってかもしれない。消耗品として予算を組むべきだ。

スコアは書き換えられない。あの論文での改訂はすべて、答えのわかっている練習問題での採点に向かって登っていく。採点を取り除けば、登る先がなくなる。システムに自己採点させる研究も進んでいる。その採点を信頼できるかどうかは、まだ解かれていない問題だ。

コードなら、採点はタダで手に入る。テストが通るか、通らないか。

財務、法務、オペレーションでは、採点基準はたいていベテランの頭の中にある。きれいな照合とはどういうものか。契約条項がどこまでなら許容できるか。システムが採点できる形で書き留められていることは、まずない。

改善が止まるのはそこだ。モデルは四半期ごとに良くなる。だが、あなたの部門が良くなる速さは、誰かがその成果物を採点できる速さで決まる。

「正しい」とは何かを定義するには、その領域の判断力がいる。だからそれはリーダーの仕事だ。その部門を動かす人たちのものだ。

判断力は、もとから最も希少な資源だった。いま、システムはそれを書面で求めている。

AIは、誰かが確認できるよりも速く生み出すようになる。その山は、「良い」とはどういうことかを知っている人の机に積まれる。