タイトル:誰が署名しますか
撮影:アシュウィン・ゴピナス
ペギーブロックビートによる写真

次のようにコンパイラの未来の分岐:AIエージェントはモデルの機能の飛躍に依存しませんが、より基本的な設計変数では、誰の責任が落ちるのか。

著者の見解では、いわゆる「人間の強化」と「人体置換」は、技術経路の2セットではなく、異なる設計オプションの下で同じシステムの2つの結果です。AIは、人間の署名が意思決定と責任のためにまだ必要とされている場合、アンプであり、このリンクが削除されると(例えば、自動承認、スキップ権限)、システムが自然に置換に滑ります。

この記事は、AIプロキシの実際の値が「仕事の終了」ではなく、複雑な世界を「拡張可能な意思決定ユニット」に圧縮して、人間が理解の結果として耐えることを可能にすることをさらに述べています。 実際、しかし、「許された疲労」は、ユーザーが検閲から離れることを可能にし、承認から引用への同意、そして最終的にはシステムによって人間を迂回し、個々の問題ではなく認知メカニズムである。

したがって、この記事は、2つの重要な制約を示唆しています。まず、すべての重要な決定は、特定の、従順な人に対して行われる必要があります。そして第二に、エージェントの自律性から恩恵が問題の原因となります。

責任がビルダーに戻ったら、システムの変更のデフォルトロジック。 この枠組みの中で、AIの商業的物語も書き換えられました。 「ジョブの半分を置き換える」という巨大な市場ではなく、「人的生産性を最大化する」という分散ツールの市場は、企業ソフトウェアの支出ではなく、グローバルな知的労働所得で約40兆ドルを固定する。

結局、記事は、AIが人々や自分の端のために役立つかどうかを非常にシンプルで鋭い選択に質問を凝縮しました。各製品の設計詳細によって静かに決定されている答え。

以下は元のテキストです

TL;DR

• 将来性を高め、代替の未来はモデルとツールの同じセットを使用します。 「誰が結果に立ち向かうか」のためのデザイン選択は、互いに分離するもの。

エージェントの実際の仕事は、他の人のためのタスクを実行するものではありませんが、複雑な世界を最小限かつ忠実に「意思決定モジュール」に圧縮するには、誰かが責任を負うことができます。 この圧縮が正しく行われる限り、他のすべてが滑らかになります。

•この「人」は明確に識別することができる特定の個人でなければなりません。 Fuzzy は、一般的な責任は高負荷下ですぐに分解できるため、実用的な結果を持つすべての行動は、拒否の実質的な権利を持つ人に追跡可能でなければなりません。

• 「ライセンス疲労」は、エージェントシステムが独自の進化経路を「置換ヒト」に自動的にスライドさせることを可能にします。 そのため、デフォルトでは「拡張先」は発生しませんが、この傾向を対抗するために意識的に設計する必要があります。

• 自治からエージェントと利益を上げると、その自律性が疑われると、会計可能にしておく必要があります。 コストが本当にビルダーに落ちると、システム ' s デフォルトの動作が変更されます。

• 「人はまだ責任をとらなければならない」というこの種の市場は、企業ソフトウェアの予算ではなく、高度に熟練した労働力の総賃金を固定するので、大きく投資されている「垂直エージェントは、ジョブの半分を置き換える」の現在の物語よりも大きくなる可能性があります。

Claudeコードは --dangerously-skip-missions というパラメーターを提供します。 名前は正直です。このパラメータの役割は文字通り示されているからです。 このパラメータの下で動作するエージェントは、それが活性化されていないときよりも可能ではありません。 変更は、他の人が人間を介したリンクが現在人間を迂回していることです。

このパラメータはそれ自体の告白です。 それは、完全に同一の下部容量の場合、同じシステムが「高められた人間の存在」または「沈黙的な人間の取り替え」の形で動作することができることを認識します。 いわゆる代替モデルは異なるモデルを必要としません。単に "consent"ステップから離れる必要があります。

圧縮後の引数です。 今リリースされている最も有効なエージェントシステムにおける「強化」と「効果的な置換」のギャップの多くは、新しい機能カテゴリの作成ではなく、承認の除去によるものです。 次の10年は、システムの中核や摩擦として、これらのシステムを構築した人達が「人を返す」と見えるかに応じて、モデルよりも「エージェントによる行動の自律的な世界」や「エージェントによる行動の自律的な世界」のようなものです。

人力を強化したり、人を迂回したりするAIはありますか

それぞれの技術的な質問では、非技術的な質問があり、それを公に引き上げたいという点は非常に少ないです。人間に力を与えるAI、または独自の日本酒のためのAIはありますか

その2つの答えは、真に異なる未来を意味します。 "enhanced" の位置は、人間のレース自体に値が存在することであり、Agent's のジョブは、この人物をさらに取得し、より良い決定を下すことです。 「AIは終わり」の位置は、世界における知能は、それだけの価値であり、人間が究極の非効率的なキャリアであるということです。 ほとんどのエージェント製品は、これらのポジションの1つをサイレントにコーディングし、いくつかのファインダーが自分のカテゴリーについて直接尋ねられたことは驚くべきことです。

能力と同意機構の設計は、依然として進化しています。 この論文は「consensus」の側面に焦点を当てています。なぜなら、ビルダーが今日本当に制御できる変数であるため、生成する能力が安くなり、彼らはまだ経済価値を維持しています。これは、人々から削除できない属性です。判断、味、関係、責任、決定に署名し、その結果を負担する意欲。 それらの中で、「応答性」は、何世紀にもわたってインフラでサポートされている唯一の要素です。

責任、置換による強化された偏差

「高度未来」と「代替未来」を区別する構造ルールは、次のように広く表現できます。実用的な結果を持つエージェントが実施するあらゆる行動は、文書化されたリンクを介して特定の人に追跡できる必要があります。 この男は文脈を見て、確かに「いいえ」と言う機会を持っていた。

一般化の義務は、このテストに合格するとすぐに失敗します。 「会社は責任を負います」は特定の内容をカバーするために作動しません。 「同意する」をクリックしたユーザーは、特定の事項に同意しません。 最終的に公開されたものとは全く異なるものを調べることができる「人間監査プロセス」。 本当に必要なのは、特定の人、名前を持つ人、彼の前にこの決定を見ている人、拒絶し、拒絶しないように選択するオプションがあります。

「応答性」の文字が他のプログラムが持っているものではないことに気づくまで、それは官僚のように聞こえます。 容量増強はそれを最適化しません;よりスマートなモデルは最終的にprosecuted、罰金を科されるか、または不当である人には影響を与えません。 デザインインターフェイスを強制して「いいえ」ポイントを露出させます。 危険で自然に拡大します。 また、最もクロスカットの制約の1つであり、すでに既存の実装インフラがあります。裁判所、保険代理店、専門板、規制機関。 ライセンスシステム、忠実な責任と業界の規制も機能していますが、これらはより制限的であり、すべての暗黙的に「貢献」が解決されています。

対照的に、AIレベルの選択肢は同じテストを通過できません。 「COHERENCE」は実装できません。 「解釈性」は、形ではなく、物質に満足することができます。 「帰り道に誰かがいる」 「RESPONSIBILITY」は、テクノロジーが出現する前に何世紀にもわたって存在してきた実装インフラが現れたため、バインディングです。

アクセスを弱めると、システムを「置換」に押し込みます

このグラデーションはシステムを「置換」に押し込み、非常に動的です。 正しいことが確認されるたびに、注意を払拭します。 エージェントは通常正しいです。 直接的な同意を読んでいないという期待された利点は、個々の意思決定の面で肯定的です。 したがって、合理的なユーザーは、同意を速くクリックし、一括して同意し、特定のタイプの操作の自動同意を開き、より多くのカテゴリに拡大し、その後、セッションで危険なスイッチを開き、スイッチの存在を忘れます。

今週は、Claude Code を使用した2週間目の切り替えを開いて、3週目は見えなくなった。 開発者は、Cursor や Devin で長期にわたる経験を積んでいるか知っています。 このパターンは、クッキーの弾丸ウィンドウ、EULAプロトコル、TLS警告、携帯電話のアクセス要求にも含まれています。 意思決定への低リスク同意の再発は、最終的に「無条件同意」に低減されます。 道徳的な問題ではなく認知です。

強化された未来が自動的に起こりません。 未定義のエージェントシステム用のデフォルトパスは代替手段です。なぜなら、ユーザ自身が便利な検索の代替パスを選択するためのイニシアチブを取るからです。 今後は、このグラデーションに対して設計しなければならない。

エージェントの値は、実行ではなく、「署名」です

エージェントの実際の値は、作業そのものを完成させませんが、署名できるフォームに圧縮します。

フロントラインモデルは、4000ラインコードの送信を簡単に生成し、30ページ契約を草案し、臨床記録を生成したり、トランザクションを実行したりすることができます。 しかし、これらの製品の真の影響のボトルネックは、「それらの世代」ではなく、彼らが上陸したときに人間がその結果に耐える能力にあります。 誰が本当に理解していないコードの提出, 一度連結, 負担になります; 誰も読んでいない契約, 一度署名, 時間爆弾です。; 医療従事者の実際の承認を持っていない臨床記録, ほとんどの規制された医療システムの有効な記録ではありません。

"enhanced" フレームワークのフレームワーク内で、Agent は "signature" を除くすべての作業を完了します。文脈の 10,000 ページを読み、4,000 行のコードを記述し、30 の合理的なシナリオを計算し、コンテンツを最小かつ忠実な式に圧縮し、このベースで "yes" または "no" の決定をし、ドキュメントの下部に自分の名前をデプロイすることができます。

ニュースのスポークスマンとしてエージェントが理解できます。 社長は署名を担当していますが、スポークスマンは署名の前にすべての準備を完了する責任があります。

これは、実際に「システムがそれ自体で作業を行う」よりもはるかに困難なエンジニアリングの問題です。 コンテンツを生成する能力は急速に向上していますが、「忠実に意思決定を隠す」能力は、遠くに遅れています。 「高められた市場」の将来の受賞者は、高応答性のリスクシナリオに応じて意思決定の最短かつ最も忠実な要約を提供することができる人になります。

この文の真の未解決の問題は「信仰」という言葉です。 圧縮プロセスが情報の歪みを起こさないと、人間が読みやすく理解できる要約は価値があります。 これは手続き方法でテストできるかどうかは、ほとんどの人が直面し始めていない「高度未来」の本当の技術的な問題です。

いくつかの基本的なアプローチが現れています

人的理解が元のコンテンツと一致しているかどうかを修復テストが確認されます

軽微な軽度の強制的な意見や意見をまとめる

「拒否すると、エージェントは何をしますか?」

可逆チェック(同じコンテキストに基づいて同じ要約を生成することができる別のエージェント)

これらは解決されるまでです。 これらの問題に対処する最初のチームは、モデリングによって容易に侵食されないモットを構築します。

AI行動に対する責任の階層の構築

"responsibility" が構造的役割を果たしている場合、Agent によって実行されるすべての行動は、行動に必要な最小署名メカニズムを決定する「責任のレベル」を伴うべきです。

現時点では、そのような標準システムが広く確立されていない - それはそうである可能性があります。

チャートの上部から下部まで、それは低から高まで7つのリスクレベルです: 1; 情報; 例えば、読み取り、要約、検索; 完全自動化2、リバーシブルプライベート(リバーシブルプライベート); e.g.、変更草案、ローカル文書; 自動 + 記録ログ 3、リバーシブル; e.g. 会議への招待状をコメント、電子メールの書き込み; 電子メールの送信、非逆転の解除から4の自動 + 署名を解除する(または非公開)

結果にマッチする「承認姿勢」は、マネジャーの疲労に対する唯一の現実的な道です。 高リスクレベルでは、これらのシーンでは、失敗の真のパターンは、エージェントの間違いではなく、思考せずに人間が直接承認するというより、より多くの結合肯定的な参加メカニズム(例えば、繰り返しテスト、冷却時間、第二の審査官)の必要性があります。

お問い合わせ

これらすべての質問は、最終的には、創始者レベルの基本的な質問を指しています。この未来の人間性が残ることを心配していますか? エージェント製品に関する現在の設計決定の多くは、基本的に問題の「サイレント投票」です, 投票者は、多くの場合、彼らが選択をしていることを認めるのが。

あなたが気にすれば、設計制約は曖昧ではありません:あなたは責任の階層を構築する必要があります。あなたは一流関数として「拒絶」を設計する必要があります。測定は、それが介入せずにそのタスクを遂行する自律性の程度ではなく、エージェントによって人に起因する要約の質であるべきです。あなたは、非常に低反射性のログで特定の個人に実用的な結果をすべて結合する必要があります。

技術的な仕事自体は現実的で可愛らしいです。 実質の難しさは、そうする意思にあります - 「高められた」建設パスは、実証効果として壮観なものではなく、シートベースの手数料の経済モデルとして不可欠です。

不適切なパラダイム: 最も安全指向ですが、バイパスするのが最も簡単です

Anthropicは、この領域で「固有の逸脱」が起こる方法の非常に典型的な例です。 特に必須だからではありません。むしろ、セキュリティ上の問題に対する最も明確な表現なので、「フレームワーク」と「製品面」のギャップが最も見えるからです。 「Responsible Scaling Policy」と「Constituental AI」の作業は、トレーニングステージでモデルの動作によって支配されます。ただし、エージェントは、これらのモデル上に構築されたデフォルトの自律的な設定を持ち、ポリシーの別のシステムに属しています。簡単な「ハザードスイッチ」は、デフォルト状態から単一のキーでアクティブにすることができます。

このパターンは、Anthropicが最も見える以外、ほとんどの主流プログラミングエージェントに存在します。 これは、いわゆる「人類のパラドックス」です。業界の中で最も明確な研究所は、安全枠を記述し、前者は十分にクリアされているので、私たちが見ることができる「強化」から「置換」までの最短パスです。

公正に、マニュアルクリアランスとハザードスイッチの中間経路として、今年3月に「オートモード」(自動モード)を発売しました。 このモードでは、各アクションは実行前のSonnet 4.6ソーダでレビューされます。 彼らの公式のメモでは、彼らは直接問題を指摘しています。彼らは「承認疲労」と呼ばれるもの、そして1つのデータを与えました。ユーザーはマニュアルモードでのヒントの93%を受け入れるように選択します。 これは、実際に「正当な疲労」の定量式です。 この判断は、ここで提示された分析と一致しています。

しかし、ソリューションパスでは、さらなる違いを生むつもりです。 「自動モード」はモデル承認で人間の承認を置き換えます。つまり、「スライディング」グラデーションが終わらないということですが、単に1層を上回ります。 課税は危険な行動を悪化させることができるが、解放されるそれらの行為のために偽りなく責任を負っている特定の人がないことは本当です。 Anthropic自体は、「自動化されたモード」がリスクを排除し、ユーザーが分離で動作することを示唆していないことを認識しています。つまり、「応答性」の問題は未解決です。

1つの明らかな異議は、究極の責任が個々の上に置くことであるならば、手動モードではないということですか? そしてマニュアルモードは疲労によって丁度刺されます。 「ビルダーの責任」がこの勾配を免れる理由は、「過剰承認」の費用負担者を変えるからです。 現在の構造下では、ビルダーなしで各注意深い読書の費用を負担するので、デフォルト設定はユーザーの摩擦や外部化リスクを削減する傾向があります。 「無検閲の行動のコスト」がビルダーに転送されると、全体の計算は逆に行われます。ビルダーは、責任の層を設計するための直接的な経済インセンティブを持ち、テストを繰り返し、承認メカニズムを承認し、低リスクの決定の署名コストを下げ、高リスクの決定の署名コストを向上させます。 勾配は消えませんが、方向は変わります。 これまでのところ、問題の認識に最も近いものを含む主要な研究室の真の練習はありません。

エージェントをビルドすると、責任があります

エージェントの明示的な目的は、もともと人間によって実行された行動を遂行する人間の存在を置き換えることである場合, その後、エージェントを構築し、運営する会社は、人間の存在と同じ責任を持っている必要があります. この原則は根本的ではなく、「現実世界で生まれる」という世界のあらゆる分野に既に適用されます。 トヨタはブレーキのために責任があります、ボーイングは飛行制御システムのために責任があります、Pfizerは薬のために責任があります、橋エンジニアは橋のために責任があり、医者は処方を担当します。 ほぼすべての法的システムに存在する責任のこのパターン。

しかし、AIは現在、「隠し免除」の一定度を楽しんでいます。 モデルプロバイダは単なるツールサプライヤーであると主張しました。 上部のアプリケーション会社は、単にモデルの薄い封筒だったと主張しました。 ユーザーは、仲裁条項を介して、アウトセットからすべての責任を放棄しました。 エージェントシステムがチェーンリングに失敗した場合(例えば、カナダ航空チャットロボットケース、Reflit は生産データベースイベントを削除し、2012 年ナイターキャピタル取引の不具合損失に 45 分)、それは多くの場合、パーティーは損失、ユーザーを負担することができる。 責任の配分のパターンは、真の「値ベースと文書化された」大事事件の最初のケースでは継続しません。

解決策は実際には簡単です: 誰がエージェントを構築し、自律性の利点は、それが制御を失うときに結果に耐えるべきです。 責任が本当にビルダーに落ちると、パワーヒントはもはや「摩擦」と見なされず、「保険」として考慮されません。 ハザードスイッチの名前を変更し、デフォルト設定が変更されます。

自社のシステムに責任を負うかどうかは、実際の業界と「ピックアップ業界」の区別が重要である。

「一流のメカニズム」としての規制

市場自体は、自然に「高度未来」に向かって移動しません。 一般的には、必ずしも悪いことではない、偽りなく指導している規制当局や保険保険保険業者です。

ヨーロッパは、最初の規制チャネルである可能性があります。 EUは、ルール作成(GDPR、AI法、DMAなど)において明確な優先権を有し、その規則は、EU以外の市場に対する別々の製品の維持コストがヨーロッパ基準の直接的な順守よりも高くなります。 「実用的な結果を持つすべての行為は、最終的に拒否する権利を持つ既知の人間によって確認されなければならない」と要求するボトムラインは、技術の進歩への衝動ではなく、車のクラッシュテストの基準に近いです。

保険業界から直接ドライバーが来ています。 エラーおよび権限賠償責任保険(E&O)、取締役「責任保険(D&O)およびネットワーク保険の価格の保険機関の目的のために、質問に答える必要があります。 エージェントは、ユーザーの権限の下で行動し、損失を引き起こすときに責任を負うことができますか? 埋蔵可能な構造を形成する可能性が最も高いパスは、チェーンにある既知の人間の存在です。 そのため、そのような構造のシステムがなければ、保険の費用は自然により高いリスクプレミアムを反映します。 規制当局や保険会社ではなく、ルールを自分で定義したい人にとっては、時間ウィンドウは本当に広いわけではありません。

主流の物語によって隠される市場論理

現在の主流の物語は、垂直フィールドのエージェントが接触する業界のジョブの約半分を吸収し、いくつかの垂直に統合されたエージェント会社に集中することを示唆しています。 法的分野における「アンソロピー」、医療分野における「アンソロピー」および会計部門の「アンソロピー」。 過去1年間にAIレベルの資金調達が約10億ドルに及ぼすが、この額はいくらかの程度に構築されています。 これは「代替論理」のポスト商業バージョンですが、市場構造を判断するのは間違っており、このエラーは直接資本が割り当てられている方法に影響を与えます。

"enhanced" フレームワークは、市場の別の形態を意味します。 実質的な結果とすべての行為が最終的に有名な人に落ちるならば、単位は「自律的な代理店」ではなく、「拡大された人間の能力」ではないです。 医師は、ケースの数を3回処理し、より正確であることができる、買い手です。 同様に、流れ10回をカバーすることができる弁護士、速度5回、会計士、保険会社、アナリスト、建築家、外科医、教師、債務者、ジャーナリスト、薬剤師を5回提供する技術者がバイヤーです。

集中力ではなくスケール分布に依存しないため、この市場は大きくなります。 合理的な評価アンカーは、企業であるべきではありません ' s ソフトウェア予算, しかし、総労働賃金は「拡大」されています . グローバル企業のIT支出は、約です $4 年あたりの兆(Gartnerデータ)); そして、熟練した, ライセンスおよび知識労働者の全体的な集計報酬は、およそ1つの規模の順序であります, 約 $40 兆ドル (国際労働機関データに基づいて、低スキルのコンポーネント推定の除去). もちろん、AI企業は満室の賃金プールを受け取りませんが、生産性の配当の一部を享受することができます。 1桁のシェアでも、天井ではなく、床である今日のエンタープライズソフトウェア市場の規模の市場をサポートしている。 最終的な市場空間のサイズは、重要な設計の決定に依存します: 誰の責任が落ちます。

究極の勝者は、代替手段よりもツールのように、代わりに「置換ジョブ」ではなく「サンプルされた人々」に基づいて価格付けられます。彼らは、それらを置き換えるのではなく、確立された専門の作業の流れに埋め込まれています。彼らは数千を持っていません。 市場の最終形態は、クラウドインフラよりもSaaSに近いです。 導入カーブの初期段階では、従来の透磁率曲線で、10年以上にわたって拡張する軸線で、左には数ピクセルしかありません。 そして、これらのピクセルの形状は、現在の製品の小さな分画の設計選択によって決定されます。

選択:責任があるか、消えますか

人間を勘定的に保つためには、システムの構造が「人間の存在の強化」を巻き起こすように強制的に働きます。そして、人が責任の連鎖から取り除かれると、システムはデフォルトで「代替」にスライドさせることで、誰もが現在でも選択できない結果、明示的に尋ねられます。

実際の質問は、いくつかの行動が完全に自動化されるべきかどうかではありません。 上記のフレームワークで認識されているポイントは、純粋な情報読み取りクラスが自動化される可能性があるという事実などです。 重要なのは、境界が移動し、誰がそれを判断するかということです。リスクが上昇するからです。 現在の最新鋭のエージェントシステムでは、"enhanced" から "有効な置換" へのパスは非常に短いです。多くの場合、1 つのパラメータースイッチまたはデフォルト設定のみです。 本当に重要なのは、スイッチが利便性によって駆動される段階的なデフォルトとしてではなく「危険オプション」として常に見られることを確実にすることです。

ビルダーがこれを行うためのイニシアチブを取るならば、我々は比較的滑らかに「高められた未来」に入ります。 そうでなければ、規制当局や保険会社はそれらのためにそれを行います、そして結果は同じ方法になります。

かどうか、それは設計選択です。 そして、この選択肢は、あなたが構築するものを決定します。 今、エージェントの製品のすべての創始者は、彼らが直面するのはっきりと思える質問に答えなければなりません:あなたが構築、強化、または交換ですか

[ チャック ]オリジナルリンク]