Judul asli:
Foto oleh Ashwin Gopinath
Foto oleh Peggy Block Beats

DIVISI MASA DEPAN DARI KOMPILER OLEH: AGEN AI TIDAK TERGANTUNG PADA LOMPATAN DALAM KEMAMPUAN MODEL, TETAPI LEBIH PADA VARIABEL DESAIN YANG LEBIH MENDASAR - KEPADA SIAPA TANGGUNG JAWAB JATUH。

DALAM PANDANGAN PENULIS, BEGITU - DISEBUT "MANUSIA DITINGKATKAN" DAN "MANUSIA PENGGANTI" BUKAN DUA SET JALUR TEKNIS, TAPI DUA HASIL DARI SISTEM YANG SAMA DI BAWAH PILIHAN DESAIN YANG BERBEDA - AI ADALAH AMPLIFIER KETIKA TANDA TANGAN MANUSIA MASIH DIPERLUKAN UNTUK MEMUTUSKAN - MEMBUAT DAN TANGGUNG JAWAB DAPAT DITELUSURI KEMBALI KE INDIVIDU TERTENTU; KETIKA LINK INI DIHAPUS (MISALNYA, OTOMATIS PERSETUJUAN, MELEWATKAN IZIN), SISTEM ALAMI TERGELINCIR KE DALAM PENGGANTIAN。

ARTIKEL LEBIH LANJUT MENYATAKAN BAHWA NILAI NYATA DARI PROKSI AI TIDAK UNTUK "MENYELESAIKAN PEKERJAAN", TETAPI UNTUK MENEKAN DUNIA KOMPLEKS MENJADI "KEPUTUSAN-MEMUTUSKAN-MEMBUAT UNIT" YANG MEMUNGKINKAN MANUSIA MENANGGUNG KONSEKUENSI PEMAHAMAN. NAMUN, KENYATAANNYA, "KELELAHAN" MEMUNGKINKAN PENGGUNA UNTUK MENJAUH DARI SENSOR, DARI PERSETUJUAN OLEH ARTIKEL UNTUK MEMBAHAS PERSETUJUAN, DAN AKHIRNYA MELAMPAUI MANUSIA OLEH SISTEM, YANG MERUPAKAN MEKANISME KOGNITIF DARIPADA MASALAH INDIVIDU。

Dengan demikian, artikel ini menunjukkan dua batasan kunci: pertama, bahwa setiap keputusan penting harus dibuat terhadap orang tertentu yang lalai; dan kedua, bahwa siapa yang mendapat keuntungan dari otonomi Agen bertanggung jawab atas masalah ini。

SETELAH TANGGUNG JAWAB KEMBALI KE PEMBANGUN, LOGIKA DEFAULT SISTEM BERUBAH. DALAM KERANGKA KERJA INI, NARASI KOMERSIAL AI JUGA TELAH DITULIS ULANG. ALIH-ALIH BEBERAPA PASAR RAKSASA YANG "MENGGANTIKAN SETENGAH PEKERJAAN", PASAR UNTUK ALAT-ALAT YANG DIDISTRIBUSIKAN YANG "MEMAKSIMALKAN PRODUKTIVITAS MANUSIA" JANGKAR SEKITAR $40 TRILIUN PENDAPATAN TENAGA KERJA INTELEKTUAL GLOBAL, DARIPADA PENGELUARAN PERANGKAT LUNAK PERUSAHAAN。

PADA AKHIRNYA, ARTIKEL ITU MEMENUHI PERTANYAAN MENJADI PILIHAN YANG SANGAT SEDERHANA TAPI TAJAM: APAKAH AI MELAYANI ORANG ATAU UNTUK TUJUAN SENDIRI - JAWABAN YANG SEDANG DITENTUKAN DIAM-DIAM OLEH RINCIAN DESAIN SETIAP PRODUK。

Berikut adalah teks asli:

TL; DR

The ditingkatkan masa depan dan alternatif masa depan menggunakan set yang sama model dan alat. Apa yang benar-benar memisahkan mereka dari satu sama lain adalah pilihan desain untuk "yang akan berakhir dengan konsekuensi"。

Tugas sebenarnya dari Agen adalah tidak untuk melakukan tugas bagi orang lain, tetapi untuk menekan dunia kompleks menjadi yang terkecil dan setia "keputusan-membuat modul" di mana seseorang dapat bertanggung jawab. Selama kompresi ini dilakukan dengan benar, segala sesuatu yang lain akan berjalan lancar。

Ini "orang" harus individu tertentu yang dapat diidentifikasi dengan jelas. Tanggung jawab Fuzzy, generalisasikan dapat dengan cepat memecah di bawah beban tinggi, sehingga setiap tindakan dengan konsekuensi praktis harus dilacak kepada seseorang dengan hak nyata penolakan。

"Licens kelelahan" akan memungkinkan sistem Agen secara otomatis meluncur di jalur evolusinya sendiri ke "pengganti manusia". Oleh karena itu, "peningkatan masa depan" tidak terjadi secara default, tetapi perlu dirancang secara sadar untuk melawan tren ini。

Jika Anda membangun Agen dan keuntungan dari otonomi, maka ketika otonomi itu dipertanyakan, Anda harus bertanggung jawab. Setelah biaya benar-benar jatuh pada pembangun, sistem 's perilaku baku berubah。

Pasar semacam ini, di mana "orang-orang masih harus bertanggung jawab", kemungkinan akan lebih besar daripada narasi saat ini dari "Agen vertikal menggantikan setengah dari pekerjaan", yang sangat diinvestasikan, karena jangkar tidak anggaran perangkat lunak perusahaan, tetapi total upah dari tenaga kerja yang sangat terampil。

Claude Code menyediakan parameter yang disebut --dangerously-skip- misi. Nama adalah jujur; peran parameter ini adalah seperti itu harfiah ditampilkan. Seorang Agen yang beroperasi di bawah parameter ini tidak akan lebih mampu daripada itu ketika tidak diaktifkan; perubahan adalah bahwa link yang jika tidak akan telah melewati manusia sekarang melampaui manusia。

Parameter ini adalah dalam dirinya sendiri pengakuan. Ia mengakui bahwa, dalam kasus kapasitas bawah benar-benar identik, sistem yang sama dapat beroperasi baik dalam bentuk "manusia ditingkatkan" atau dalam bentuk "pengganti manusia diam". Model alternatif yang disebut demikian tidak memerlukan model yang berbeda; model ini harus menjauh dari langkah "persetujuan"。

Itulah argumen setelah dikompresi. Banyak kesenjangan antara "ditingkatkan" dan "substitusi efektif" dalam sistem Agen yang paling mampu yang sekarang sedang dirilis adalah karena penghapusan persetujuan daripada penciptaan kategori kapabilitas baru. dekade berikutnya lebih seperti "dunia manusia yang ditingkatkan" atau "aksi dunia otonom oleh Agen" daripada sebuah model, tergantung pada apakah orang-orang yang membangun sistem ini melihat "orang-orang sebagai imbalan" sebagai inti dari sistem atau sebagai gesekan。

APAKAH AI MEMPERKUAT ORANG ATAU MELAMPAUI ORANG

DI BAWAH SETIAP PERTANYAAN TEKNIS, ADA PERTANYAAN NON-TEKNIS, DAN SANGAT SEDIKIT YANG INGIN MENAIKKAN SECARA TERBUKA: ADALAH AI UNTUK MEMBERDAYAKAN MANUSIA, ATAU AI UNTUK KEPENTINGAN SENDIRI

Kedua jawaban itu berarti masa depan yang benar-benar berbeda. Posisi "ditingkatkan" adalah bahwa nilai-nilai ada dalam umat manusia itu sendiri, dan tugas Agen adalah untuk mendapatkan orang ini lebih lanjut dan membuat keputusan yang lebih baik. Posisi "AI sebagai akhir" adalah bahwa kecerdasan di dunia adalah nilai dalam dirinya sendiri dan bahwa manusia pada akhirnya hanya pembawa yang tidak efisien. Kebanyakan Agen produk diam-diam coding salah satu posisi ini, dan mengejutkan bahwa beberapa pendiri telah diminta langsung tentang kategori mereka。

rancangan kapasitas dan mekanisme persetujuan masih berkembang. kertas ini berfokus pada sisi "konsensus", karena itu adalah variabel yang dapat benar-benar mengendalikan hari ini, dan karena, setelah kemampuan untuk menghasilkan telah menjadi murah, mereka masih mempertahankan nilai ekonomi, yang adalah atribut yang tidak dapat dihapus dari orang: penilaian, rasa, hubungan, tanggung jawab, dan kesediaan untuk menandatangani keputusan dan menanggung konsekuensinya. di antara mereka, "tanggung jawab" adalah yang paling spesifik dan satu-satunya elemen yang telah didukung oleh infrastruktur selama berabad-abad。

Tanggung jawab, peningkatan demarkasi dengan substitusi

Aturan struktural yang membedakan antara "peningkatan masa depan" dan "masa depan alternatif" dapat dinyatakan secara luas sebagai berikut: setiap tindakan yang dilakukan oleh Agen yang memiliki konsekuensi praktis harus dapat ditelusuri kembali ke orang tertentu melalui link yang didokumentasikan. Orang ini melihat konteks dan memang memiliki kesempatan untuk mengatakan "tidak"。

Tugas generalisasi akan segera gagal untuk lulus tes ini. "Perusahaan bertanggung jawab" tidak beroperasi untuk menutupi konten tertentu. "Pengguna klik untuk setuju" tidak setuju untuk masalah tertentu. Ada proses audit manusia yang memungkinkan orang ini untuk memeriksa hal-hal yang benar-benar berbeda dari apa yang akhirnya diterbitkan. Apa yang benar-benar diperlukan adalah orang tertentu, seseorang dengan nama, yang melihat keputusan ini sebelum dia, memiliki pilihan untuk menolak dan memilih untuk tidak menolak。

Kedengarannya seperti birokrasi sampai Anda melihat bahwa karakter "tanggung jawab" adalah sesuatu yang tidak ada program lain. Peningkatan Kapasitas tidak mengoptimasikannya; model yang lebih cerdas tidak mempengaruhi siapa yang akhirnya dituntut, didenda, atau dipenjara. Hal ini memaksa antarmuka desain untuk mengekspos titik "tidak". Ini mengembang secara alami dengan risiko. Hal ini juga merupakan salah satu kendala pemotongan paling silang dan sudah memiliki infrastruktur implementasi yang sudah ada: pengadilan, lembaga asuransi, papan profesional, badan regulasi. Sistem lisensing, tanggung jawab fidusia dan regulasi industri juga bekerja, tetapi mereka lebih terbatas dan secara implisit "attrail" telah diselesaikan。

SEBALIKNYA, ALTERNATIF LEVEL-ALKITAB TIDAK DAPAT MELEWATI TES YANG SAMA. "KOHERENSI" TIDAK DAPAT DIIMPLEMENTASIKAN, KITA BAHKAN TIDAK BISA SETUJU DENGAN MAKNANYA. "INTERPRESABILITY" DAPAT PUAS DALAM BENTUK, TETAPI TIDAK DALAM SUBSTANSI. "ADA SESEORANG DALAM PERJALANAN PULANG". "TANGGUNG JAWAB" MENGIKAT KARENA INFRASTRUKTUR IMPLEMENTASI YANG MENDASARI HAL ITU SELAMA BERABAD-ABAD SEBELUM TEKNOLOGI MUNCUL。

Akses lemah, mendorong sistem untuk "pengganti"

Gradien ini mendorong sistem untuk "substitusi" dan sangat dinamis. Setiap kali kanan dikonfirmasi, itu menguras perhatian. Agen biasanya benar. Keuntungan yang diharapkan dari tidak membaca persetujuan langsung sering positif dalam hal keputusan individu. Jadi seorang pengguna yang rasional belajar untuk mengklik persetujuan lebih cepat, kemudian setuju dalam jumlah besar, kemudian membuka persetujuan otomatis ke jenis operasi tertentu, kemudian mengembang ke kategori lain, kemudian membuka bahwa berbahaya switch dalam sebuah sesi, dan akhirnya lupa keberadaan switch。

Aku membuka saklar ini pada minggu kedua aku menggunakan Claude Code, dan itu tidak lagi terlihat oleh minggu ketiga. Semua pengembang yang kukenal punya pengalaman jangka panjang dengan Cursor atau Devin. Pola ini juga ditemukan di jendela peluru kue, protokol EULA, peringatan TLS, permintaan akses ponsel. Rekursi rendah-risiko persetujuan untuk keputusan-pembuatan akhirnya akan dikurangi menjadi "persetujuan tanpa syarat". Ini adalah kognitif daripada isu moral。

Masa depan yang ditingkatkan tidak terjadi secara otomatis. Path baku bagi sistem Agen yang tidak dipertahankan adalah alternatif, karena pengguna sendiri akan mengambil inisiatif untuk memilih jalan alternatif dalam mencari kenyamanan. Masa depan lainnya, itu harus dirancang melawan gradien ini。

Nilai Agen, bukan eksekusi, tapi "tanda"

Nilai sebenarnya Agen tidak untuk menyelesaikan pekerjaan itu sendiri, tetapi untuk kompres ke dalam bentuk yang dapat ditandatangani。

Model garis depan dapat dengan mudah menghasilkan 4000 baris kode pengiriman, draft sebuah kontrak 30 halaman, menghasilkan catatan klinis atau menjalankan transaksi. Namun dampak sebenarnya dari produk-produk ini tidak terletak pada generasi "mereka" tapi dalam kemampuan manusia untuk menanggung konsekuensi mereka ketika mereka mendarat. Pengiriman kode yang tak seorang pun benar-benar mengerti, sekali konsolidasi, menjadi beban; kontrak yang tak seorang pun pernah membaca, sekali ditandatangani, adalah bom waktu; dan catatan klinis yang tidak memiliki dukungan yang sebenarnya dari praktisi medis, yang bahkan bukan catatan yang valid dalam kebanyakan sistem medis diatur。

Dalam kerangka kerja "ditingkatkan", Agen menyelesaikan semua pekerjaan kecuali "signature": membaca 10.000 halaman konteks, menulis 4.000 baris kode, menghitung 30 skenario rasional, kemudian kompres konten menjadi ekspresi minimum dan setia yang memungkinkan seseorang untuk membuat "ya" atau "tidak" keputusan pada dasar ini dan menyebarkan namanya di bagian bawah dokumen。

Agen dapat dipahami sebagai juru bicara berita. Presiden bertanggung jawab untuk menandatangani, sementara Spokesperson bertanggung jawab untuk menyelesaikan semua persiapan sebelum penandatanganan。

Ini sebenarnya masalah teknik yang jauh lebih sulit daripada "membiarkan sistem bekerja sendiri". Kemampuan untuk menghasilkan konten meningkat dengan cepat, tapi kemampuan untuk "menyembunyikan keputusan-membuat-setia" tertinggal jauh di belakang. Pemenang masa depan dalam "pasar yang ditingkatkan" adalah mereka yang akan mampu memberikan ringkasan keputusan paling pendek dan paling setia dalam menanggapi skenario risiko tanggung jawab tinggi。

Masalah nyata yang belum terselesaikan dalam kalimat ini adalah kata "iman". Ringkasan bahwa manusia dapat membaca dan memahami hanya dapat berharga jika proses kompresi tidak mengubah informasi. Apakah ini dapat diuji dengan cara prosedur adalah masalah teknis nyata dari "masa depan ditingkatkan" yang kebanyakan orang bahkan belum benar-benar mulai menghadapi。

Beberapa pendekatan dasar muncul:

Tes pernyataan ulang mengkonfirmasi apakah pemahaman manusia konsisten dengan isi asli

Terpaksa minoritas atau mengabaikan pendapat dalam ringkasan

"Jika kau menolak, apa yang akan Agen lakukan?"

Pemeriksaan terbalik (adalah Agen lain yang dapat membuat ringkasan yang sama berdasarkan konteks yang sama)

Ini jauh dari diselesaikan. Tim pertama untuk mengatasi masalah ini akan membangun parit yang tidak akan mudah terkikis dengan model。

MEMBANGUN HIRARKI TANGGUNG JAWAB UNTUK PERILAKU AI

Jika "tanggung jawab" memainkan peran struktural, maka setiap tindakan yang dilakukan oleh Agen harus disertai dengan "tingkat tanggung jawab" yang menentukan mekanisme tanda tangan minimum diperlukan untuk tindakan tersebut。

Saat ini, sistem standar seperti belum secara luas didirikan - kemungkinan besar akan。

Dari atas ke bawah grafik, itu adalah tujuh tingkat risiko dari rendah ke tinggi: 1; Informasional; misalnya, membaca, meringkas, mencari; sepenuhnya otomatis 2, Reversible- private (reversible private); misalnya, mengubah draf, lokal log 3 + Recording; Sederhana, komentar ulang berkas-berkas tersebut; -reversiable; -selfingers; -automaties + ignore;\\\\\\\\\\\\\\\\\\\\\\\\\\\\

"Postur persetujuan" yang sesuai konsekuensi adalah satu-satunya jalan realistis untuk mengelola kelelahan. Pada tingkat risiko tinggi, ada kebutuhan untuk lebih mengikat mekanisme partisipasi positif (misalnya tes ulang, pendinginan kali, kedua penguji) karena dalam adegan ini, pola sebenarnya kegagalan bukan kesalahan Agen, melainkan persetujuan langsung manusia tanpa berpikir。

Kau peduli

Semua pertanyaan ini, pada akhirnya, menunjuk pertanyaan mendasar di tingkat pendiri: apakah Anda peduli bahwa kemanusiaan tetap menjadi bagian dari masa depan ini? Banyak keputusan desain saat ini tentang produk Agen pada dasarnya adalah "suara diam" pada masalah ini, meskipun pemilih sering enggan untuk mengakui bahwa mereka membuat pilihan。

Jika Anda peduli, keterbatasan desain tidak samar: Anda perlu membangun hirarki tanggung jawab; Anda perlu merancang "penolakan" sebagai fungsi kelas pertama; ukuran harus kualitas ringkasan yang diberikan kepada manusia oleh Agen, daripada derajat otonomi yang membawa keluar tugasnya tanpa intervensi; Anda perlu mengikat setiap tindakan praktis konsekuensi untuk individu tertentu dalam log yang sangat rendah。

Pekerjaan teknis itu sendiri adalah realistis dan layak. Kesulitan sebenarnya terletak pada kesediaan untuk melakukannya - karena jalur konstruksi "ditingkatkan" tidak spektakuler sebagai efek demonstrasi, juga bukan sebagai radikal sebagai model ekonomi dari biaya-berbasis。

Antropik Paradigma: Yang paling aman-berorientasi, tapi paling mudah untuk bypass

Anthropic adalah contoh yang sangat khas bagaimana "deviasi mewarisi" terjadi di daerah ini. Ini bukan karena itu sangat lalai; melainkan, itu karena merupakan ekspresi paling jelas pada isu keamanan, sehingga kesenjangan antara "kerangka kerja" dan "permukaan produk" adalah yang paling terlihat. Karya-karyanya pada "Kebijakan Skala Bertanggung jawab" dan "Konstituental AI" didominasi oleh perilaku model pada tahap pelatihan; namun, Agen, yang dibangun pada model ini, memiliki pengaturan otonomi baku, yang dimiliki oleh sistem kebijakan lain, sedangkan "switch bahaya" mudah dapat diaktifkan dari keadaan baku dengan satu kunci。

Pola ini ada di kebanyakan program utama Agen, kecuali bahwa Anthropic adalah yang paling terlihat. Ini adalah paradoks yang disebut "Anthropic": laboratorium terjernih di industri ini untuk menulis kerangka keselamatan, dan jalur terpendek dari "ditingkatkan" menjadi "substitusi", yang kita lihat karena sebelumnya cukup jelas。

Agar adil, mereka meluncurkan "Mode Otomatis" (Modus otomatis) dalam Maret tahun ini sebagai rute perantara antara izin manual dan switch bahaya. Dalam mode ini, setiap aksi ditinjau oleh penyortiran Sonnet 4.6 sebelum eksekusi. Dalam catatan resmi mereka, mereka langsung menunjukkan masalah - apa yang mereka sebut "kelelahan persetujuan" - dan memberikan satu data: pengguna akan memilih untuk menerima 93% dari tips mereka dalam mode manual. Ini sebenarnya adalah ekspresi kuantitatif dari "kelelahan yang sah". Penilaian ini konsisten dengan analisis yang ditunjukkan di sini。

Namun pada jalur solusi, saya akan membuat perbedaan lebih lanjut. Mode "otomatis" menggantikan persetujuan manusia dengan persetujuan model, yang berarti bahwa gradien "geser" tidak berakhir, tetapi hanya bergerak naik satu lapisan. Memang benar bahwa taksonomi dapat mencegah perilaku berbahaya, tetapi tidak ada orang khusus yang benar-benar bertanggung jawab atas tindakan-tindakan yang dirilis. Antropik sendiri mengakui bahwa "modus otomatis" tidak menghilangkan risiko dan menyarankan bahwa pengguna beroperasi dalam isolasi - dengan kata lain, masalah "tanggung jawab" tetap belum terselesaikan。

Satu keberatan yang jelas adalah bahwa jika tanggung jawab tertinggi adalah untuk ditempatkan pada individu, apakah itu bukan mode manual? Dan mode manual tepat tertusuk oleh kelelahan. Alasan mengapa "bertanggung jawab oleh pembangun" bisa melarikan diri gradien ini adalah karena mengubah "over- persetujuan" cost- pembawa. Di bawah struktur saat ini, pengguna membayar biaya setiap bacaan hati tanpa pembangun harus menanggung itu, sehingga pengaturan baku cenderung mengurangi gesekan pengguna dan risiko eksternalisasi. Setelah "biaya perilaku yang tidak disensor" dipindahkan ke pembangun, seluruh perhitungan dibalik: pembangun akan memiliki insentif ekonomi langsung untuk merancang lapisan tanggung jawab, mengulang tes dan mekanisme persetujuan, membuat biaya penandatanganan keputusan berisiko rendah bahkan lebih rendah dan biaya penandatanganan keputusan berisiko tinggi lebih tinggi. Gradien tidak akan hilang, tetapi arah akan berubah. Sampai saat ini, tidak ada praktek yang benar dari laboratorium utama, termasuk yang paling dekat untuk menyadari masalah。

Jika Anda membangun Agen, Anda bertanggung jawab

Jika tujuan eksplisit Agen adalah untuk menggantikan manusia dalam melaksanakan tindakan yang awalnya dilakukan oleh manusia, maka perusahaan yang dibangun dan beroperasi Agen harus memiliki tanggung jawab yang sama sebagai manusia. Prinsip ini tidak radikal, dan sudah berlaku untuk semua sektor dunia yang "menghasilkan di dunia nyata": Toyota bertanggung jawab untuk rem, Boeing bertanggung jawab untuk sistem kontrol penerbangan, Pfizer bertanggung jawab untuk obat, Insinyur Bridge bertanggung jawab untuk jembatan dan dokter bertanggung jawab untuk resep. Pola kewajiban ini ada di hampir semua sistem hukum。

Namun, Al saat ini menikmati tingkat tertentu "pengecualian tersembunyi". Operator model mengaku sebagai pemasok alat belaka; perusahaan aplikasi atas mengklaim bahwa itu hanyalah amplop tipis untuk model; dan pengguna melepaskan semua kewajiban dari awal melalui klausul arbitrase. Ketika sistem Agen gagal dalam chaining (misalnya Canadian Air chat robot kasus, Reflit menghapus acara basis data produksi, atau mirip dengan 2012 Knight Capital Trading kehilangan kesalahan kesalahan sebesar $440 juta dalam 45 menit), seringkali partai tidak mampu menanggung kerugian, pengguna. Pola distribusi tanggung jawab ini tidak akan terus berlanjut dalam kasus pertama yang benar-benar "bernilai-berbasis dan didokumentasikan" insiden besar。

Solusinya sebenarnya sederhana: siapa pun yang membangun Agen dan manfaat dari otonomi harus menanggung konsekuensi ketika kehilangan kendali. Setelah tanggung jawab benar-benar jatuh pada pembangun, petunjuk kekuasaan tidak lagi dianggap sebagai "gesekan" tapi sebagai "asuransi". Switch bahaya akan diubah namanya dan pengaturan baku akan berubah。

Apakah mereka bersedia untuk mengambil tanggung jawab untuk sistem mereka sendiri adalah kunci untuk membedakan antara industri nyata dan "pick-up industri"。

Regulasi sebagai "mekanisme terkemuka"

Pasar itu sendiri tidak akan secara alami bergerak menuju "masa depan yang ditingkatkan". Seringkali regulator dan asuransi asuransi yang benar-benar membimbing, yang tidak selalu merupakan hal yang buruk secara umum。

EROPA KEMUNGKINAN MENJADI SALURAN REGULASI PERTAMA. UNI EROPA TELAH JELAS MENDAHULUI ATURAN YANG DIBUAT (MISALNYA GDPR, AL ACT, DMA), YANG ATURANNYA SERING DIIKUTI OLEH AKUISISI GLOBAL, KARENA BIAYA UNTUK MEMPERTAHANKAN SET PRODUK YANG TERPISAH UNTUK PASAR NON-UNI BIASANYA LEBIH TINGGI DARIPADA KESESUAIAN LANGSUNG DENGAN STANDAR EROPA. SEBUAH GARIS BAWAH YANG MEMBUTUHKAN BAHWA "SEMUA TINDAKAN DENGAN KONSEKUENSI PRAKTIS HARUS AKHIRNYA DIKONFIRMASI OLEH MANUSIA YANG DIKENAL DENGAN HAK UNTUK MENOLAK" LEBIH DEKAT DENGAN STANDAR UNTUK TES KECELAKAAN MOBIL DARIPADA HAMBATAN KEMAJUAN TEKNOLOGI。

Lebih banyak pengemudi langsung berasal dari sektor asuransi. Untuk tujuan kesalahan dan jaminan tanggung jawab kelalaian (E & O), asuransi kewajiban direktur (D & O) dan lembaga asuransi yang harga asuransi jaringan, diperlukan untuk menjawab pertanyaan, bagaimana Agen dapat bertanggung jawab ketika ia bertindak di bawah otoritas pengguna dan menyebabkan kerugian? Jalan yang paling mungkin untuk membentuk struktur penggantian adalah keberadaan manusia yang dikenal dalam rantai. Oleh karena itu, tanpa sistem yang terstruktur, biaya asuransi secara alami akan mencerminkan premium risiko yang lebih tinggi. Bagi mereka yang ingin mendefinisikan aturan itu sendiri, daripada regulator atau perusahaan asuransi yang membuatnya, jendela waktunya tidak terlalu luas。

Logika pasar bertopeng oleh narasi utama

Narasi arus utama saat ini menunjukkan bahwa Agen dalam bidang vertikal akan menyerap sekitar setengah dari pekerjaan di industri yang ia sentuh dan akan berkonsentrasi pada beberapa perusahaan Agen terpadu vertikal - sebuah "Anthropic" di bidang hukum, "Anthropic" di bidang medis dan "Anthropic" di sektor akuntansi. Hampir semua miliaran dolar pembiayaan tingkat AI- selama satu setengah tahun terakhir telah dibangun pada asumsi ini untuk beberapa tingkat. Ini adalah versi post- komersial dari "logika alternatif", tetapi salah untuk menilai struktur pasar, dan kesalahan ini secara langsung mempengaruhi cara modal dialokasikan。

Kerangka "ditingkatkan" berarti bentuk lain dari pasar. Jika setiap tindakan dengan konsekuensi praktis pada akhirnya jatuh pada orang terkenal, unit yang dijual bukan "Agen otonom" tapi "kapasitas manusia diperbesar". Para dokter, yang dapat menangani tiga kali jumlah kasus dan lebih akurat, adalah pembeli; sama, pengacara yang dapat mencakup sepuluh kali aliran, insinyur yang memberikan lima kali kecepatan, dan akuntan, pemberontak, analis, arsitek, ahli bedah, guru, kreditur, wartawan dan farmasi di belakang mereka adalah pembeli。

Pasar ini lebih besar karena tidak bergantung pada konsentrasi tapi pada distribusi skala. Jangkar penilaian yang masuk akal seharusnya bukan anggaran perangkat lunak perusahaan, tapi upah kerja total yang telah diperbesar. Pengeluaran perusahaan global adalah sekitar $4 triliun per tahun (Gartner data); dan pengangkatan global remunerasi terampil, berlisensi dan pekerja pengetahuan kira-kira satu urutan besarnya, sekitar $40 triliun (berdasarkan International Bubour Organization data dan penghapusan dari pendek-komponen perkiraan). Tentu saja, perusahaan-perusahaan AI tidak akan menerima kolam upah penuh, tetapi mereka akan mampu menuai beberapa membagi produktivitas. Bahkan saham tunggal-digit akan mendukung pasar sebesar seluruh pasar perangkat lunak perusahaan hari ini, yang merupakan lantai, bukan langit-langit. Ukuran pasar akhir tergantung pada keputusan kunci desain: kepada siapa tanggung jawab jatuh。

Pemenang utama, lebih seperti alat pengganti, dihargai berdasarkan "contoh orang" daripada "pekerjaan diganti"; mereka tertanam dalam aliran kerja profesional yang mapan daripada menggantinya; mereka memiliki ribuan, bukan hanya sedikit. Bentuk terakhir pasar lebih dekat ke SaaS daripada infrastruktur awan. Kita masih pada tahap awal dari kurva penyebaran, dengan kurva permeabilitas umum, pada sumbu yang akan memperpanjang lebih dari satu dekade, tetapi hanya beberapa piksel di sebelah kiri. Dan bentuk piksel ini ditentukan oleh pemilihan desain dari sebagian kecil dari produk saat ini。

Apakah bertanggung jawab atau menghilang

Untuk menjaga tanggung jawab manusia akan memaksa arsitektur sistem untuk berputar di sekitar "manusia ditingkatkan", dan, sekali orang dihapus dari rantai tanggung jawab, sistem akan secara baku slide ke "alternatif", hasil yang mungkin tidak dipilih bahkan oleh semua orang sekarang, jika secara eksplisit bertanya。

Pertanyaan sebenarnya adalah apakah beberapa perilaku harus sepenuhnya otomatis - titik yang telah diakui dalam kerangka yang disebutkan di atas, seperti fakta bahwa kelas membaca informasi murni dapat otomatis. Kuncinya adalah bagaimana perbatasan bergerak dan siapa yang menentukan itu, sebagai risiko naik. Dalam negara bagian saat ini - sistem Agen seni, jalan dari "ditingkatkan" ke "substitusi efektif" sangat pendek, sering dengan hanya satu parameter switch atau pengaturan baku. Apa yang benar-benar penting adalah untuk memastikan bahwa switch selalu dilihat sebagai "pilihan bahaya" daripada sebagai default bertahap didorong oleh kenyamanan。

Jika para pembangun mengambil inisiatif untuk melakukan hal ini, kita akan memasukkan "meningkatkan masa depan" dengan cukup lancar; jika mereka tidak, regulator dan asuransi akan melakukannya untuk mereka, dan hasilnya akan pergi dengan cara yang sama。

Apakah atau tidak, itu adalah pilihan desain. Dan pilihan ini akan menentukan apa yang kau bangun. Sekarang, setiap pendiri produk Agen harus menjawab secara terbuka pertanyaan bahwa mereka tampak enggan untuk menghadapi: apakah Anda membangun, memperkuat atau menggantikan

[Terkekeh]Tautan Asli]