Survei mendalam New Yorker: Mengapa orang-orang OpenAI sendiri menemukan Altman tidak dapat dipercaya?

Penulis asli: Cake, Deep air pasang TechFlow

Pada musim gugur 2023, Kepala Ilmuwan Ilya Sutskover OpenAI duduk di depan komputer dan menyelesaikan dokumen 70 halaman。

Dokumen ini dikumpulkan dari catatan pesan Slack, file komunikasi HR dan pertemuan internal menit untuk menjawab hanya satu pertanyaan: dapatkah Sam Altman, yang mengontrol apa yang mungkin merupakan teknologi paling berbahaya dalam sejarah manusia, dipercaya

Jawabannya adalah "Sam menampilkan pola perilaku yang konsisten..."

Artikel Baru I:Lie。

Hari ini, dua setengah tahun kemudian, jurnalis investigasi Ronan Farrow dan Andrew Marantz menerbitkan wawancara panjang di The New Yorker. Lebih dari 100 klien diwawancarai dan memperoleh memo internal yang belum pernah dipublikasikan sebelumnya, serta lebih dari 200 halaman catatan pribadi dari periode OpenAI oleh pendiri Anthropic Dario Amodei. Cerita dokumen-dokumen ini jauh lebih buruk daripada histeris 2023: bagaimana OpenAI beralih dari organisasi nirlaba yang lahir untuk keamanan manusia ke mesin komersial, hampir setiap pagar keamanan dihapus oleh orang yang sama。

Kesimpulan Amodei dalam catatannya bahkan lebih jelas:"Masalah dengan OpenAI adalah Sam sendiri."

Kejahatan asli OpenAI sudah ditetapkan

Untuk memahami berat cerita ini, mari kita katakan betapa istimewanya OpenAI。

Pada 2015, Altman dan sekelompok elit Silicon Valley melakukan sedikit preseden dalam sejarah bisnis: menggunakan organisasi non-profit untuk mengembangkan teknologi yang mungkin yang paling kuat dalam sejarah manusia. Peran dewan sangat jelas: keamanan mengambil prioritas atas keberhasilan perusahaan dan bahkan atas kelangsungan hidupnya. Jika suatu hari OpenAI AI menjadi berbahaya, dewan memiliki kewajiban untuk menutup perusahaan。

SELURUH ARSITEKTUR BERTARUH PADA HIPOTESIS: ORANG YANG MENGENDALIKAN AGI HARUS MENJADI ORANG YANG SANGAT JUJUR。

Bagaimana jika itu salah

Bom inti adalah dokumen 70 halaman. Dia salah satu ilmuwan terbaik di dunia. Tapi pada tahun 2023, dia semakin yakin akan satu hal:Altman terus berbohong kepada eksekutif dan dewan。

Contoh spesifik: Pada Desember 2022, Altman meyakinkan Dewan pada pertemuannya bahwa izin keamanan telah diadopsi untuk berbagai fungsi GPT-4. Anggota Dewan Toner meminta dokumen persetujuan dan menemukan bahwa dua fungsi paling kontroversial (user-defined fine-tuning dan personal assistant deployment) belum disetujui oleh panel keamanan sama sekali。

Hal yang lebih konyol terjadi di India. Salah satu karyawan yang diberi laporan "bahwa pelanggaran" kepada anggota dewan lain: Microsoft mengeluarkan versi awal ChatGPT di India tanpa menyelesaikan izin keamanan yang diperlukan。

Diawish Sutskever juga mencatat masalah lain dalam memorandum: Altman telah menyatakan kepada mantan CTO Mira Murati bahwa proses izin keamanan kurang penting dan bahwa penasihat hukum umum perusahaan telah menerimanya. Saya tidak tahu dari mana Sam berasal

Catatan pribadi dari Amodei

Berkasnya Sutskever seperti dakwaan jaksa. Amodei meninggalkan lebih dari 200 halaman catatan, lebih seperti buku harian yang ditulis oleh saksi di TKP。

Amodei sempat memimpin keamanan di OpenAI selama beberapa tahun dan menyaksikan perusahaan mundur dari tekanan bisnis. Dalam catatannya, ia menulis tentang detail kunci dalam kasus investasi Microsoft tahun 2019: ia telah memasukkan sebuah "merger dan assist" klausa dalam piagam OpenAI hingga efek bahwa jika perusahaan lain telah menemukan jalur AGI yang lebih aman, OpenAI akan menghentikan kompetisi dan berbalik untuk membantu perusahaan tersebut. Ini adalah keamanan yang paling penting dalam seluruh kesepakatan。

Ketika kesepakatan akan ditandatangani, Amodei menemukan satu hal: Microsoft mendapatkan veto pada klausa ini. Apa maksudmu? Bahkan jika suatu hari seorang pesaing menemukan cara yang lebih baik, Microsoft dapat memblokir kewajiban OpenAI untuk membantu. Klausa itu masih di atas kertas, tetapi telah kertas rongsokan sejak hari ditandatangani。

Amodei kemudian meninggalkan Openai dan menciptakan Antropik. Bagian bawah persaingan antara kedua perusahaan adalah perbedaan pendapat mendasar tentang bagaimana "AI harus berkembang"。

20% dari yang hilang

Ada detail dalam cerita, membacanya untuk mendinginkan punggungmu, tentang OpenAI's "Super Alignment Team"。

Pada pertengahan tahun 2023, Altman e-mail menghubungi mahasiswa doktoral di Berkeley yang sedang mempelajari "Ai's menipu alignmen" (yang dimasukkan pada tes, sebenarnya dikerahkan, dan dia mengatakan dia sangat khawatir tentang masalah itu dan sedang mempertimbangkan untuk mendirikan penghargaan riset global $1 miliar. Siswa doktoral itu dianjurkan, ditangguhkan, bergabung dengan OpenAI。

Kemudian Altman berubah pikiran: tidak ada lagi penghargaan eksternal, sebuah tim super di dalam perusahaan. Perusahaan ini mengumumkan bahwa akan mengalokasikan 20 persen dari kredit yang tersedia untuk tim ini, berpotensi bernilai lebih dari $1 miliar. Pengumuman ini sangat serius, mengatakan bahwa jika masalah alignmen tidak diselesaikan, AGI bisa menyebabkan " ketidakberdayaan manusia, bahkan kepunahan manusia"。

Jan Leeke, yang ditunjuk untuk memimpin tim, kemudian mengatakan kepada wartawan bahwa komitmen ini dalam dirinya sendiri sangat efektif "brain retensi alat"。

Bagaimana dengan kenyataan? Empat orang bekerja di tim ini atau di dekat mengatakanJumlah aktual yang dialokasikan hanya 1% sampai 2% dari total firma, atau perangkat keras tertua. Tim tersebut kemudian dibubarkan dan misi tersebut belum selesai。

Ketika wartawan bertanya untuk mewawancarai peneliti OpenAI pada "Sexual Safety", respon humas perusahaan membuat orang tertawa: "Itu bukan hal yang benar-benar ada."

Altman sendiri cukup jujur. Dia mengatakan kepada wartawan bahwa "intuitif nya tidak cocok banyak dari apa AI aman tradisional" dan bahwa OpenAi akan melakukan "proyek aman, atau setidaknya mereka yang tidak aman."。

CFO KOSONG DAN IPO YANG DATANG

Cerita New Yorker hanya setengah berita buruk hari ini. Pada hari yang sama, Informasi memberitakan berita besar lainnya:CFO OpenAI Sarah Friar dan Altman berselisih pendapat serius。

Friar mengatakan kepada rekan-rekannya secara pribadi bahwa dia tidak berpikir Openai siap untuk pasar tahun ini. Dua alasan adalah: beban kerja prosedural dan organisasi yang akan dicapai terlalu tinggi dan risiko keuangan yang terkait dengan $ 5-tahun $ 60 miliar dalam pengeluaran komputasi yang dilakukan oleh Altman terlalu tinggi. Dia bahkan tidak yakin bahwa pertumbuhan pendapatan OpenAI akan mempertahankan komitmen ini。

Tapi Altman ingin mencetak IPO di kuartal keempat tahun ini。

Dan bahkan lebih buruk lagi, Friar tidak lagi melaporkan langsung ke Altman. Dari Agustus 2025, dia melapor ke Fidji Simo (OpenAI Application CEO). Dan Simo baru saja sakit minggu lalu karena alasan kesehatan. Anda berada dalam situasi di mana ada perbedaan pendapat mendasar antara perusahaan yang mencetak IPO, CEO dan CFO, di mana CFO tidak melaporkan kepada CEO, dan di mana atasan CFO cuti。

Bahkan eksekutif di dalam Microsoft tidak bisa menonton, mengatakan bahwa Altman "menimbulkan fakta, bertentangan dengan kesepakatan yang dicapai." Seorang eksekutif Microsoft bahkan mengatakan, "Saya pikir ada kemungkinan bahwa ia akan berakhir dikenang sebagai Bernie Madoff atau SBF-grade pembohong."

Altman Dua-Face

A bekas anggota dewan OpenAI menggambarkan dua fitur Altman kepada wartawan. Ini mungkin sketsa karakter terburuk dalam keseluruhan cerita。

Direktur mengatakan bahwa Altman memiliki kombinasi yang sangat langka: Dalam setiap pertukaran tatap muka, ia memiliki keinginan yang kuat untuk menyenangkan dan disukai. Pada saat yang sama, ia tidak ada hubungannya dengan konsekuensi menipu orang lain。

Hal ini sangat jarang terjadi bahwa kedua karakteristik muncul dalam satu orang. Tapi untuk seorang penjual, itu adalah hadiah yang sempurna。

ADA SEBUAH METAFORA DALAM LAPORAN: JOBOS TERKENAL DENGAN MEDAN GAYA "REAL-TWISTING," DAN IA DAPAT MEYAKINKAN DUNIA VISINYA. TAPI BAHKAN JOBOS TIDAK PERNAH MENGATAKAN KEPADA PELANGGAN "ANDA TIDAK MEMBELI MP3 PLAYER SAYA, ORANG YANG ANDA CINTAI AKAN MATI."。

Altman mengatakan sesuatu seperti itu tentang AI。

SEORANG CEO MASALAH MANUSIA. MENGAPA SEMUA ORANG BERISIKO

Altman, jika itu hanya CEO dari perusahaan teknologi umum, tuduhan ini adalah, terbaik, gosip komersial besar. Tapi OpenAI tidak normal。

Dalam kata-katanya sendiri, ia mengembangkan mungkin teknologi paling kuat dalam sejarah manusia. Ia sendiri baru saja mengeluarkan makalah putih kebijakan tentang AI yang mengarah ke pengangguran, yang juga dapat digunakan untuk memproduksi senjata biologi dan kimia berskala besar atau untuk melancarkan serangan siber。

SEMUA PENJAGA KEAMANAN SUDAH MATI. MISI NON-PROFIT PENDIRINYA MEMBERI JALAN KE IPO SPRINTING. MANTAN KEPALA ILMUWAN DAN MANTAN KEPALA KEAMANAN KEDUANYA MENEMUKAN CEO "TIDAK DAPAT DIPERCAYA". PARTNERS BANDINGKAN CEO DENGAN SBF. DALAM KASUS INI, BAGAIMANA CEO BISA MEMUTUSKAN SECARA SEPIHAK KAPAN MENERBITKAN MODEL AI YANG BISA MENGUBAH NASIB MANUSIA

Setelah membaca laporan tersebut, Gary Marcus menulis: Jika salah satu model OpenAI di masa depan dapat memproduksi senjata biologi dan kimia berskala besar atau meluncurkan bencana serangan cyber, apakah Anda benar-benar percaya Altman untuk memutuskan apakah akan melepaskannya atau tidak

Tanggapan OpenAI untuk The New Yorker sederhana: "Kebanyakan artikel ini adalah tentang kisah tentang apa yang telah dilaporkan, dan jelas bahwa sumber informasi memiliki tujuan pribadi melalui pernyataan anonim dan inekstasi selektif."

Altman menanggapi dengan sangat baik: itu tidak menanggapi tuduhan spesifik, itu tidak menyangkal keaslian memorandum, itu hanya mempertanyakan motif。

Di badan yang tidak menguntungkan, ada pohon uang

10 tahun OpenAI's, dan ditulis garis besar cerita:

KELOMPOK IDEALIS BERBASIS RISIKO MENCIPTAKAN ORGANISASI NON-PROFIT YANG MENDORONG MISI. ORGANISASI ITU MEMBUAT TEROBOSAN TEKNOLOGI YANG LUAR BIASA. TEROBOSAN ITU MENARIK SEJUMLAH BESAR MODAL. IBU KOTA PERLU DIKEMBALIKAN. MISI DIMULAI UNTUK MEMBUAT JALAN. TIM KEAMANAN WAFFINE DIBUBARKAN. PRIA YANG BERTANYA ITU DIBERSIHKAN. ARSITEKTUR NON-PROFIT BERPROFIT TELAH DIUBAH MENJADI ENTITAS PEMBUAT KEUNTUNGAN. SETELAH MEMILIKI HAK UNTUK MENUTUP DEWAN DIREKTUR PERUSAHAAN, SEKARANG PENUH DENGAN SEKUTU CEO. SETELAH BERJANJI 20 PERSEN DARI KALKULUS UNTUK MELINDUNGI KEAMANAN MANUSIA, SEKARANG PR MENGATAKAN, "ITU BUKAN HAL YANG NYATA."。

Karakter utama cerita, lebih dari seratus anggota keluarga, memberinya label yang sama: "Tidak terikat oleh kebenaran."

DIA AKAN MENGAMBIL IPO PERUSAHAAN, DIHARGAI LEBIH DARI $85 MILIAR。

Jabatan ini merupakan sintesis dari liputan publik New Yorkers, Semafor, Tech Brew, Gizmodo, Business Insider dan The Information。