Tiêu đề gốc: Ai ký? Nghịch lý nhân loại và sự lựa chọn trị giá 40 nghìn tỷ đô la
Tác giả gốc: Ashwin Gopinath
Biên soạn bởi: Peggy, BlockBeats

Lưu ý của người biên tập: Sự khác biệt hóa trong tương lai của các tác nhân AI không phụ thuộc vào bước nhảy vọt về khả năng của mô hình mà phụ thuộc vào một biến số thiết kế cơ bản hơn - ai chịu trách nhiệm về nó.

Tác giả tin rằng cái gọi là "con người tăng cường" và "con người thay thế" không phải là hai tập hợp các đường dẫn kỹ thuật, mà là hai kết quả của cùng một hệ thống dưới các lựa chọn thiết kế khác nhau - khi các quyết định vẫn yêu cầu chữ ký của con người và trách nhiệm có thể được truy nguyên từ các cá nhân cụ thể, AI là một bộ khuếch đại; khi liên kết này bị xóa (chẳng hạn như phê duyệt tự động, bỏ qua quyền), hệ thống sẽ tự nhiên chuyển sang hướng thay thế.

Bài báo chỉ ra thêm rằng giá trị thực sự của tác nhân AI không phải là "hoàn thành công việc", mà là nén thế giới phức tạp thành một "đơn vị ra quyết định có thể ký được" để con người có thể gánh chịu hậu quả sau khi hiểu rõ. Nhưng trên thực tế, “sự mệt mỏi về quyền” sẽ khiến người dùng dần từ bỏ việc xem xét, từ phê duyệt từng mục đến sự đồng ý mặc định và cuối cùng là cho phép hệ thống bỏ qua con người. Đây là một cơ chế nhận thức, không phải vấn đề cá nhân.

Vì vậy, bài viết đưa ra hai hạn chế chính: thứ nhất, mọi quyết định quan trọng đều phải ứng với một người cụ thể, có thể bác bỏ; thứ hai, bất cứ ai được hưởng lợi từ quyền tự chủ của Đại lý sẽ phải chịu trách nhiệm về các vấn đề.

Sau khi trách nhiệm được trả lại cho người xây dựng, logic mặc định của hệ thống sẽ thay đổi. Trong khuôn khổ này, câu chuyện kinh doanh của AI cũng đã được viết lại. Thay vì thị trường của một vài gã khổng lồ "thay thế một nửa công việc", đó là thị trường của các công cụ phân tán nhằm "khuếch đại năng suất của con người". Quy mô của nó được củng cố bởi thu nhập lao động tri thức toàn cầu khoảng 40 nghìn tỷ USD, thay vì chi tiêu cho phần mềm doanh nghiệp.

Cuối cùng, bài viết hội tụ câu hỏi thành một lựa chọn tối giản nhưng sắc bén: AI phục vụ con người hay phục vụ mục đích riêng? Câu trả lời này đang được âm thầm xác định qua từng chi tiết thiết kế sản phẩm.

Sau đây là văn bản gốc:

TL;DR

·"Tương lai mở rộng" và "Tương lai thay thế" sử dụng cùng một bộ mô hình và cùng một bộ công cụ. Điều thực sự tách biệt hai điều này là sự lựa chọn thiết kế về "ai sẽ phải gánh chịu hậu quả".

·Công việc thực sự của Đại lý không phải là hoàn thành nhiệm vụ cho người khác mà là nén thế giới phức tạp thành một "đơn vị ra quyết định" nhỏ nhất và trung thành mà ai đó có thể ký và chịu trách nhiệm. Khi bạn thực hiện đúng cách nén này, mọi thứ khác sẽ đâu vào đấy.

·Và "ai đó" này phải là một cá nhân cụ thể có thể được xác định rõ ràng. Những trách nhiệm chung chung, mơ hồ sẽ nhanh chóng bị phá vỡ dưới tải trọng lớn, vì vậy mọi hành động gây ra hậu quả thực sự phải được truy tìm đến người có quyền thực sự để nói không.

·"Sự mệt mỏi về quyền" sẽ khiến hệ thống Đặc vụ tự động trượt về phía "thay thế con người" trên con đường tiến hóa của chính nó. Do đó, một “tương lai mở rộng” không xảy ra một cách mặc định mà cần được thiết kế một cách có ý thức để chống lại xu hướng này.

·Nếu bạn xây dựng một Đại lý và được hưởng lợi từ quyền tự chủ của nó, bạn cũng phải chịu trách nhiệm tương ứng khi quyền tự chủ này gặp trục trặc. Khi chi phí rơi vào tay người xây dựng, hành vi mặc định của toàn bộ hệ thống sẽ thay đổi.

·Quy mô của thị trường được hình thành theo tiền đề "mọi người vẫn cần phải chịu trách nhiệm" có thể sẽ lớn hơn câu chuyện hiện tại về "các tác nhân theo chiều dọc thay thế một nửa số công việc" được đầu tư rất nhiều, bởi vì nó không nằm trong ngân sách phần mềm doanh nghiệp mà nằm trong tổng tiền lương của lao động có tay nghề cao.

Mã Claude cung cấp một tham số được gọi là --quyền bỏ qua nguy hiểm. Việc đặt tên là trung thực; thông số này thực hiện chính xác những gì nó nói trên hộp thiếc. Tác nhân đang chạy với tham số này được bật sẽ không có khả năng cao hơn khi nó không được bật; điều đã thay đổi là mối liên kết ban đầu yêu cầu phải đi qua con người giờ đây đã bỏ qua con người.

Bản thân thông số này đã là một lời thú nhận. Nó thừa nhận rằng khi các khả năng cơ bản hoàn toàn giống nhau, cùng một hệ thống có thể hoạt động ở chế độ “tăng cường con người” hoặc ở chế độ “âm thầm thay thế con người”. Cái gọi là mô hình thay thế không yêu cầu một mô hình khác; nó chỉ yêu cầu thực hiện bước đồng ý.

Đây là lập luận cô đọng. Trong các hệ thống Đại lý có năng lực nhất hiện đang được phát hành, phần lớn khoảng cách giữa "cải tiến" và "thay thế hiệu quả" đến từ việc loại bỏ phê duyệt thay vì phát minh ra một loại khả năng mới. Liệu mười năm tới sẽ giống như một "thế giới con người tăng cường" hay một "thế giới nơi các tác nhân tự trị thay mặt chúng ta hành động" không phụ thuộc nhiều vào khả năng của các mô hình mà phụ thuộc nhiều hơn vào việc liệu những người xây dựng các hệ thống này có coi "những người trong vòng lặp" là cốt lõi của hệ thống hay là một loại xung đột hay không.

AI có nâng cao con người hay bỏ qua họ?

Bên dưới mỗi câu hỏi kỹ thuật, có một câu hỏi phi kỹ thuật mà ít người sẵn sàng nêu ra một cách công khai: AI có mục đích hỗ trợ con người hay bản thân AI là mục đích cuối cùng?

Hai câu trả lời này có nghĩa là những tương lai thực sự khác nhau. Vị trí "nâng cao" tin rằng giá trị tồn tại trong chính con người và công việc của Người đại diện là giúp người này tiến xa hơn và đưa ra những quyết định tốt hơn. Quan điểm "AI là mục đích cuối cùng" cho rằng bản thân trí thông minh trên thế giới mới là giá trị, và con người cuối cùng chỉ là phương tiện vận chuyển kém hiệu quả. Hầu hết các sản phẩm của Đại lý đều âm thầm mã hóa một trong những quan điểm này và đáng ngạc nhiên là rất ít người sáng lập được hỏi trực tiếp xem họ thuộc danh mục nào.

Thiết kế khả năng và thiết kế cơ chế chấp thuận vẫn đang phát triển. Bài viết này tập trung vào khía cạnh “sự đồng ý”, bởi vì đây là biến số mà các nhà xây dựng ngày nay thực sự có thể kiểm soát, và bởi vì những gì sẽ giữ được giá trị kinh tế sau khi khả năng sáng tạo trở nên rẻ mạt là những thuộc tính không thể bị tước bỏ khỏi con người: khả năng phán đoán, sở thích, các mối quan hệ, trách nhiệm và sự sẵn sàng ký quyết định và gánh chịu hậu quả. Trong đó, “trách nhiệm” là yếu tố cụ thể nhất và là yếu tố duy nhất được hỗ trợ bởi cơ sở hạ tầng thực thi hàng trăm năm nay.

Trách nhiệm, ranh giới giữa nâng cao và thay thế

Các quy tắc cấu trúc phân biệt giữa "tương lai tăng cường" và "tương lai thay thế" có thể được trình bày một cách đại khái như sau: Bất kỳ hành vi nào được thực hiện bởi một tác nhân gây hậu quả thực tế phải được truy nguyên thông qua một liên kết được ghi lại tới một người cụ thể - người này đã nhìn thấy bối cảnh liên quan và có cơ hội nói "không" với nó.

Trách nhiệm chung nhanh chóng thất bại trong cuộc thử nghiệm này. "Công ty chịu trách nhiệm" không bao gồm bất kỳ nội dung cụ thể nào đang hoạt động. "Người dùng đã nhấp vào Đồng ý" và không đồng ý với bất kỳ vấn đề cụ thể nào. "Quy trình được con người đánh giá" cho phép người này xem xét nội dung nào đó hoàn toàn khác với nội dung được xuất bản cuối cùng. Điều thực sự cần là một con người cụ thể, một người có tên tuổi, người nhìn thấy quyết định trước mặt mình, có quyền lựa chọn nói không và chọn không nói không.

Điều này nghe có vẻ quan liêu cho đến khi bạn nhận thấy rằng Trách nhiệm có những đặc điểm mà các giải pháp khác không có. Cải thiện khả năng sẽ không tối ưu hóa nó; một mô hình thông minh hơn sẽ không ảnh hưởng đến việc ai sẽ bị truy tố, phạt tiền hoặc bỏ tù. Nó buộc giao diện thiết kế phải bộc lộ “điểm từ chối”. Nó tự nhiên tăng theo rủi ro. Hơn nữa, đây là hạn chế liên ngành mạnh nhất và đã có sẵn cơ sở hạ tầng thực thi: tòa án, cơ quan bảo hiểm, hội đồng chuyên môn, cơ quan quản lý. Hệ thống cấp phép, trách nhiệm ủy thác và giám sát ngành cũng đóng một vai trò nào đó, nhưng phạm vi ràng buộc của chúng hẹp hơn và tất cả đều ngầm cho rằng vấn đề "quy trách nhiệm" đã được giải quyết.

Ngược lại, các giải pháp thay thế ở cấp độ AI lại thất bại trong bài kiểm tra tương tự. "Sự liên kết" không thể thực thi được; chúng ta thậm chí không thể đồng ý về ý nghĩa của nó. “Khả năng diễn giải” có thể được thỏa mãn ở hình thức, nhưng không phải ở bản chất. “Có một người trong mạch” đã được viết rỗng thành “có một người ở đâu đó”. Sở dĩ “trách nhiệm” có tính ràng buộc là vì cơ sở hạ tầng thực thi hỗ trợ nó đã được thiết lập hàng trăm năm trước khi công nghệ ra đời.

Sự mệt mỏi về quyền đẩy hệ thống đến trạng thái "thay thế"

Độ dốc này sẽ đẩy hệ thống đến trạng thái "thay thế", và động lực rất mạnh. Mọi xác nhận quyền đều tiêu tốn sự chú ý. Đại lý thường đúng. Từ góc độ của một quyết định duy nhất, kết quả mong đợi của việc “đồng ý trực tiếp mà không cần đọc” thường là tích cực. Do đó, người dùng hợp lý sẽ học cách nhấp vào đồng ý nhanh hơn, sau đó đồng ý theo đợt, sau đó bật đồng ý tự động cho một loại hoạt động nhất định, sau đó mở rộng sang nhiều danh mục hơn, sau đó bật công tắc nguy hiểm đó trong một phiên nhất định và cuối cùng quên rằng công tắc đó thậm chí còn tồn tại.

Tôi đã bật công tắc này trong tuần thứ hai sử dụng Claude Code và đến tuần thứ ba tôi không còn nhận thấy nó nữa. Tất cả các nhà phát triển mà tôi biết đã sử dụng Cursor hoặc Devin trong một thời gian dài đều có trải nghiệm tương tự. Mẫu này cũng xuất hiện trong cửa sổ bật lên cookie, thỏa thuận EULA, cảnh báo TLS và yêu cầu cấp phép di động. Các quyết định đồng ý có rủi ro thấp được lặp đi lặp lại cuối cùng sẽ hội tụ thành "sự đồng ý vô điều kiện". Đây là một tài sản nhận thức, không phải là một vấn đề đạo đức.

"Tương lai mở rộng" sẽ không tự động diễn ra. Con đường mặc định của một hệ thống đại lý không được thiết kế cẩn thận là hướng tới sự thay thế, bởi vì chính người dùng sẽ chủ động lựa chọn những con đường thay thế trong quá trình theo đuổi sự thuận tiện hết lần này đến lần khác. Một tương lai khác phải được thiết kế dựa trên độ dốc này.

Giá trị của Tác nhân không phải là việc thực thi mà là khiến mọi người "ký"

Giá trị thực sự của Tác nhân không phải là tự mình hoàn thành công việc mà là nén tác phẩm thành một dạng có thể ký được.

Một mô hình tiên tiến có thể dễ dàng viết một bản đệ trình dài 4.000 dòng, soạn thảo hợp đồng 30 trang, tạo ghi chú lâm sàng hoặc thực hiện giao dịch. Nhưng nút thắt đối với tác động thực sự của những sản phẩm này không phải là “tạo ra chúng” mà là liệu con người có đủ khả năng gánh chịu hậu quả sau khi chúng hạ cánh hay không. Việc gửi mã mà không ai thực sự hiểu sẽ trở thành gánh nặng một khi được hợp nhất; một hợp đồng mà không ai đọc là một quả bom hẹn giờ đã được ký kết; một hồ sơ bệnh án mà không có sự xác nhận thực tế của bác sĩ được cấp phép thậm chí không phải là một hồ sơ hợp lệ trong hầu hết các hệ thống chăm sóc sức khỏe được quản lý.

Trong khuôn khổ "nâng cao", Tác nhân hoàn thành mọi công việc ngoại trừ "ký": đọc 10.000 trang ngữ cảnh, viết 4.000 dòng mã, tính toán 30 giải pháp hợp lý, sau đó nén các nội dung này thành một biểu thức tối thiểu và trung thực, cho phép ai đó đưa ra quyết định "có" hoặc "không" dựa trên điều này và triển khai tên của họ ở cuối tài liệu.

Agent có thể được hiểu là người phát ngôn của tin tức. Chủ tịch chịu trách nhiệm ký, nhiệm vụ của người phát ngôn là hoàn tất mọi việc chuẩn bị trước khi ký.

Đây thực chất là một bài toán kỹ thuật khó hơn việc "để hệ thống tự động hoàn thành công việc". Khả năng tạo nội dung đang tiến bộ nhanh chóng nhưng khả năng nén các quyết định một cách trung thực lại bị tụt lại rất xa. Những đội giành chiến thắng trong “thị trường nâng cao” trong tương lai sẽ là những đội có thể đưa ra những bản tóm tắt quyết định ngắn gọn và trung thực nhất cho các tình huống rủi ro trách nhiệm pháp lý cao.

Vấn đề thực sự chưa được giải quyết trong câu này là từ "trung thành". Một bản tóm tắt mà con người có thể đọc được chỉ có giá trị nếu việc nén nó không làm sai lệch thông tin. Liệu điều này có thể được xác minh bằng chương trình hay không là câu hỏi kỹ thuật thực sự khó khăn trong "tương lai tăng cường" và là câu hỏi mà hầu hết mọi người thậm chí còn chưa thực sự bắt đầu đối mặt.

Một số phương pháp cơ bản đang nổi lên:

Xác nhận sự hiểu biết của con người là nhất quán với nội dung ban đầu thông qua thử nghiệm diễn giải

Buộc ý kiến ​​hoặc phản đối của thiểu số trong bản tóm tắt

Tiến hành các thử nghiệm phản thực tế ("Người đại diện này sẽ làm gì nếu bạn nói không?")

Kiểm tra khả năng tái tạo (người khác có thể tạo ra bản tóm tắt tương tự dựa trên cùng một bối cảnh không)

Những vấn đề này còn lâu mới được giải quyết. Các đội giải quyết những vấn đề này trước tiên sẽ xây dựng một con hào không dễ bị xói mòn bởi những cải tiến về khả năng của mô hình.

Thiết lập hệ thống phân cấp trách nhiệm cho hành vi AI

Nếu "trách nhiệm" đóng vai trò cấu trúc thì mọi hành vi do Tác nhân thực hiện phải đi kèm với một "cấp độ trách nhiệm" và cấp độ này xác định cơ chế ký kết tối thiểu cần thiết cho hành vi đó.

Hiện tại, hệ thống tiêu chuẩn như vậy chưa được thiết lập rộng rãi—nhưng có lẽ nên như vậy.

Từ trên xuống dưới trong hình thực tế có 7 mức độ rủi ro từ thấp đến cao: 1. Informational (thông tin); ví dụ như đọc, tóm tắt, tìm kiếm; hoàn toàn tự động 2. Reversible-private (reversible·private); ví dụ: thay đổi bản nháp, thay đổi tệp cục bộ; nhật ký tự động + ghi âm 3. Chia sẻ có thể đảo ngược (có thể đảo ngược·chia sẻ); ví dụ bình luận về PR, gửi giấy mời họp, viết email; tự động + Cho biết ai đã gửi 4. Có giới hạn về tài chính (có giới hạn số tiền); ví dụ: khoản thanh toán nhỏ (có giới hạn trên); tự động trong giới hạn, phải ký tay nếu vượt quá 5. Danh tiếng (rủi ro danh tiếng); ví dụ: sử dụng tên của bạn để đăng nội dung, bài đăng công khai; phải tự mình xác nhận + hiểu biết (kiểm tra lặp lại) 6. Không thể đảo ngược-riêng (không thể đảo ngược·riêng); ví dụ: xóa dữ liệu, đẩy nhánh chính, thu hồi quyền; chữ ký thủ công + Thời gian chờ (thời gian hồi chiêu) 7. Chia sẻ không thể đảo ngược (không thể đảo ngược, công khai/rủi ro cao); ví dụ: chuyển tiền, sản xuất trực tuyến, ra quyết định y tế, khai báo theo quy định; chữ ký cá nhân + thời gian cân nhắc + người đánh giá thứ hai

Một "thái độ tán thành" phù hợp với hậu quả là cách thực tế duy nhất để quản lý sự mệt mỏi của chính quyền. Ở các cấp độ rủi ro cao, cần phải đưa vào các cơ chế tương tác tích cực hạn chế hơn (ví dụ: thử nghiệm phát lại, thời gian hồi chiêu, người đánh giá thứ hai), bởi vì trong những trường hợp này, chế độ thất bại thực sự không phải là tác nhân đề xuất lỗi mà là sự phê duyệt trực tiếp của con người mà không cần suy nghĩ.

Bạn có quan tâm không?

Tất cả các câu hỏi trên cuối cùng đều hướng đến một câu hỏi cơ bản ở cấp độ người sáng lập: Bạn có quan tâm liệu con người có còn là một phần của tương lai này hay không? Nhiều quyết định thiết kế hiện nay về sản phẩm Agent thực chất là những cuộc “bỏ phiếu im lặng” về vấn đề này, nhưng những người bỏ phiếu thường không sẵn lòng thừa nhận rằng họ đang đưa ra lựa chọn.

Nếu bạn quan tâm, các ràng buộc trong thiết kế thực ra không mơ hồ: bạn cần xây dựng hệ thống phân cấp trách nhiệm; thiết kế "từ chối" như một chức năng hạng nhất; thước đo phải là chất lượng của bản tóm tắt được Tác nhân chuyển giao cho con người, thay vì mức độ tự chủ mà Tác nhân phải hoàn thành nhiệm vụ mà không có sự can thiệp của con người; bạn cần ràng buộc mọi hành động với hậu quả thực sự đối với một người cụ thể trong nhật ký với khả năng giả mạo cực kỳ thấp.

Bản thân những nhiệm vụ kỹ thuật này là thực tế và khả thi. Khó khăn thực sự nằm ở chỗ bạn có sẵn sàng làm như vậy hay không - bởi vì con đường xây dựng "nâng cao" không đủ tuyệt vời về mặt hiệu quả trình diễn và mô hình kinh tế dựa trên trả tiền cho mỗi chỗ ngồi không triệt để như con đường khác.

Nghịch lý nhân loại: Nhấn mạnh nhất đến an toàn là điều dễ tránh nhất của con người

Nghịch lý nhân loại là một trường hợp rất điển hình, cho thấy “sự lệch lạc nội sinh” diễn ra như thế nào trong lĩnh vực này. Điều này không phải vì nó đặc biệt cẩu thả, ngược lại, mà vì nó thể hiện vấn đề bảo mật một cách rõ ràng nhất nên khoảng cách giữa “khuôn khổ” và “bề mặt sản phẩm” cũng là dễ thấy nhất. Công việc "Chính sách mở rộng có trách nhiệm" và "AI theo hiến pháp" của nó chủ yếu hạn chế hành vi của mô hình trong giai đoạn đào tạo; nhưng cài đặt quyền tự chủ mặc định của Tác nhân được xây dựng trên các mô hình này thuộc về một nhóm hệ thống chính sách khác và "công tắc nguy hiểm" tiện lợi có thể được bật từ trạng thái mặc định chỉ bằng một nút nhấn.

Mô hình này tồn tại trong hầu hết các tác nhân lập trình chính thống, nhưng trường hợp của Anthropic là dễ quan sát rõ ràng nhất. Đây được gọi là "Nghịch lý nhân loại": phòng thí nghiệm viết khuôn khổ bảo mật rõ ràng nhất trong ngành cũng cung cấp con đường ngắn nhất từ ​​"cải tiến" đến "thay thế", và lý do tại sao chúng ta có thể nhìn thấy cái sau là chính xác vì cái trước đã đủ rõ ràng.

Công bằng mà nói, họ đã giới thiệu "chế độ tự động" vào tháng 3 năm nay như một giải pháp trung gian giữa phê duyệt thủ công và chuyển đổi nguy hiểm. Ở chế độ này, mỗi hành động được bộ phân loại Sonnet 4.6 xem xét trước khi thực hiện. Họ trực tiếp chỉ ra vấn đề trong mô tả chính thức - gọi đó là "sự mệt mỏi khi phê duyệt" và đưa ra dữ liệu: người dùng sẽ chọn chấp nhận 93% lời nhắc ở chế độ thủ công. Đây thực chất là một biểu hiện định lượng của tình trạng “mệt mỏi vì quyền”. Nhận định này phù hợp với phân tích của bài viết này.

Nhưng trên con đường giải quyết, tôi sẽ tiếp tục đưa ra những quan điểm khác nhau. "Chế độ tự động" thay thế sự chấp thuận của con người bằng sự chấp thuận của mô hình, có nghĩa là độ dốc "trượt theo hướng thay thế" không kết thúc mà chỉ tăng lên một cấp. Trình phân loại ngăn chặn hành vi nguy hiểm nhưng không ai thực sự chịu trách nhiệm về hành vi được phép. Bản thân Anthropic thừa nhận “chế độ tự động” không loại trừ rủi ro và khuyến cáo người dùng nên chạy trong môi trường biệt lập – nói cách khác, vấn đề “trách nhiệm” vẫn chưa được giải quyết.

Một sự phản đối rõ ràng là: nếu trách nhiệm cuối cùng thuộc về cá nhân thì đó chẳng phải là mô hình thủ công sao? Chế độ thủ công bị phá vỡ chính xác do mệt mỏi. Lý do tại sao "trách nhiệm của người xây dựng" có thể loại bỏ độ dốc này là vì nó làm thay đổi người chịu chi phí "phê duyệt quá mức". Theo cấu trúc hiện tại, người dùng trả tiền cho mỗi lần đọc cẩn thận, nhưng người xây dựng không cần phải chịu khoản đó, do đó cài đặt mặc định có xu hướng giảm ma sát cho người dùng và rủi ro ngoại tác. Khi "chi phí cho hành vi chưa được kiểm tra" được chuyển sang người xây dựng, toàn bộ tính toán sẽ bị đảo ngược: người xây dựng có động cơ tài chính trực tiếp để thiết kế phân cấp trách nhiệm, xem xét các cơ chế kiểm tra và phê duyệt để các quyết định có rủi ro thấp sẽ rẻ hơn khi phê duyệt và các quyết định có rủi ro cao sẽ đắt hơn khi phê duyệt. Độ dốc sẽ không biến mất nhưng hướng sẽ thay đổi. Điều này vẫn chưa thực sự được thực hiện bởi bất kỳ phòng thí nghiệm lớn nào, kể cả phòng thí nghiệm gần nhất nhận ra vấn đề.

Nếu bạn xây dựng Đại lý, bạn phải chịu trách nhiệm

Nếu mục đích rõ ràng của Đại lý là thay thế con người thực hiện các hành động do con người thực hiện ban đầu thì công ty xây dựng và vận hành Đại lý cũng phải chịu trách nhiệm tương tự như con người. Nguyên tắc này không triệt để. Từ lâu, nó đã được áp dụng cho tất cả các ngành "tạo ra hành động trong thế giới thực": Toyota chịu trách nhiệm về hệ thống phanh, Boeing chịu trách nhiệm về hệ thống điều khiển chuyến bay, Pfizer chịu trách nhiệm về thuốc, kỹ sư cầu đường chịu trách nhiệm về cầu đường và bác sĩ chịu trách nhiệm về đơn thuốc. Mô hình trách nhiệm pháp lý này tồn tại ở hầu hết các hệ thống pháp luật.

Tuy nhiên, AI hiện được hưởng "quyền miễn trừ ngầm" ở một mức độ nào đó. Nhà cung cấp mô hình tuyên bố rằng họ chỉ là nhà cung cấp công cụ; công ty ứng dụng cấp cao tuyên bố rằng nó chỉ là một gói mô hình mỏng; và người dùng từ bỏ mọi trách nhiệm thông qua điều khoản trọng tài lúc đầu. Khi xảy ra lỗi xếp tầng trong hệ thống Đại lý (chẳng hạn như trường hợp chatbot của Air Canada, sự cố Replit xóa cơ sở dữ liệu sản xuất hoặc sự cố như trục trặc giao dịch Knight Capital năm 2012, khiến thiệt hại 440 triệu USD trong 45 phút), người cuối cùng chịu tổn thất thường là bên ít có khả năng chịu đựng nhất - người dùng. Cách phân công trách nhiệm này sẽ không còn tồn tại trong vụ tai nạn lớn đầu tiên có “số tiền và tài liệu” thực sự.

Giải pháp rất đơn giản trong công thức: bất cứ ai xây dựng Đại lý và thu lợi từ quyền tự chủ của nó sẽ phải gánh chịu hậu quả khi mất quyền kiểm soát. Một khi trách nhiệm thực sự thuộc về người xây dựng, những lời nhắc xin cấp phép không còn được coi là "ma sát" nữa mà là "bảo hiểm". Công tắc báo nguy hiểm sẽ được đổi tên và cài đặt mặc định sẽ được thay đổi.

Việc bạn có sẵn sàng chịu trách nhiệm về hệ thống của chính mình hay không là chìa khóa để phân biệt một ngành thực sự với một "ngành công nghiệp khai thác".

Quy định như một "cơ chế dẫn đường"

Bản thân thị trường sẽ không tự nhiên hướng tới một "tương lai tốt đẹp hơn". Thông thường, các cơ quan quản lý và bảo lãnh bảo hiểm thực sự đóng vai trò hướng dẫn và nhìn chung, đây không hẳn là một điều xấu.

Châu Âu có khả năng trở thành kênh quản lý sớm nhất. EU có tiền lệ rõ ràng trong việc thiết lập các quy tắc (ví dụ: GDPR, Đạo luật AI, DMA) và các quy tắc của EU có xu hướng được tuân theo mặc định toàn cầu vì việc duy trì một bộ sản phẩm riêng cho các thị trường ngoài EU thường tốn kém hơn so với việc tuân thủ trực tiếp các tiêu chuẩn Châu Âu. Điểm mấu chốt yêu cầu "tất cả các hành động gây ra hậu quả thực tế cuối cùng phải được xác nhận bởi một người có quyền phản đối" gần với tiêu chuẩn thử nghiệm va chạm ô tô hơn là cản trở tiến bộ công nghệ.

Một động lực trực tiếp hơn đến từ ngành bảo hiểm. Các lỗi và thiếu sót trong định giá của người bảo lãnh (E&O), trách nhiệm pháp lý của giám đốc (D&O) và bảo hiểm mạng phải trả lời một câu hỏi: Trách nhiệm pháp lý được xác định như thế nào khi một đại lý hành động theo ủy quyền của người dùng và gây ra tổn thất? Con đường dễ dàng nhất để đạt được cấu trúc có thể bù đắp là khi có một người được nêu tên trong liên kết. Do đó, phí bảo hiểm cho các hệ thống không có cấu trúc này đương nhiên sẽ phản ánh mức phí bảo hiểm rủi ro cao hơn. Đối với những người xây dựng muốn xác định các quy tắc của riêng mình thay vì để các cơ quan quản lý hoặc công ty bảo hiểm đặt ra, cơ hội rất chặt chẽ.

Logic thị trường bị che khuất bởi các câu chuyện chính thống

Câu chuyện chính thống hiện nay tin rằng các đại lý trong lĩnh vực dọc sẽ tiếp nhận khoảng một nửa số công việc trong các ngành mà họ tiếp xúc và giá trị sẽ tập trung vào tay một số công ty Đại lý tích hợp theo chiều dọc - một "Anthropic" trong lĩnh vực pháp lý, một "Anthropic" trong lĩnh vực y tế và một "Anthropic" trong lĩnh vực kế toán. Gần như tất cả nguồn tài trợ AI trị giá hàng tỷ đô la trong năm rưỡi qua đều được xây dựng dựa trên giả định này ở một mức độ nào đó. Đây là một phiên bản “logic thay thế” được ngụy trang dưới chiêu bài kinh doanh, nhưng phán đoán của nó về cấu trúc thị trường là sai và lỗi này sẽ ảnh hưởng trực tiếp đến cách phân bổ vốn.

Khuôn khổ "nâng cao" có nghĩa là một dạng thị trường khác. Nếu mọi hành động gây ra hậu quả thực sự cuối cùng phải thuộc về một người được nêu tên, thì đơn vị được bán không phải là một "tác nhân tự chủ" mà là "khả năng khuếch đại của con người". Bác sĩ có thể xử lý số vụ việc nhiều gấp ba lần với độ chính xác cao hơn chính là người mua, cũng như luật sư có thể xử lý quy trình giao dịch gấp mười lần, kỹ sư có thể giao hàng nhanh hơn gấp năm lần và các kế toán viên, người bảo lãnh, nhà phân tích, kiến ​​trúc sư, bác sĩ phẫu thuật, giáo viên, nhân viên cho vay, nhà báo và dược sĩ đều đứng đằng sau họ.

Sở dĩ thị trường này lớn hơn là vì nó không dựa vào sự tập trung hóa mà dựa vào sự phân phối quy mô lớn. Điểm neo định giá hợp lý không phải là ngân sách phần mềm doanh nghiệp mà là tổng tiền lương lao động "được mở rộng". Chi tiêu CNTT của doanh nghiệp toàn cầu xấp xỉ 4 nghìn tỷ USD mỗi năm (dữ liệu của Gartner); và tổng mức thù lao của những người lao động có tay nghề, được chứng nhận và tri thức trên toàn cầu cao hơn gần một bậc, khoảng 40 nghìn tỷ USD (ước tính dựa trên dữ liệu của Tổ chức Lao động Quốc tế và không bao gồm các bộ phận có tay nghề thấp). Các công ty AI chắc chắn sẽ không nắm bắt được toàn bộ quỹ tiền lương, nhưng họ có thể nắm bắt được một phần cổ tức về năng suất. Ngay cả việc chiếm được thị phần một chữ số cũng đủ để hỗ trợ một thị trường có quy mô bằng toàn bộ thị trường phần mềm doanh nghiệp ngày nay và đó là giới hạn dưới chứ không phải giới hạn trên. Quy mô của không gian thị trường cuối cùng phụ thuộc vào quyết định thiết kế quan trọng: ai sẽ là người chịu trách nhiệm chính xác.

Người chiến thắng cuối cùng sẽ giống công cụ hơn là vật thay thế. Việc định giá của họ dựa trên "con người được khuếch đại" hơn là "việc làm được thay thế"; chúng được nhúng vào quy trình làm việc chuyên nghiệp hiện có thay vì thay thế chúng; sẽ có hàng nghìn thay vì chỉ một vài. Hình dạng cuối cùng của thị trường này sẽ gần với SaaS hơn là cơ sở hạ tầng đám mây. Chúng tôi vẫn đang ở giai đoạn đầu của đường cong triển khai và đường cong thâm nhập chung chỉ là một vài pixel ở bên trái trên trục sẽ kéo dài trong một thập kỷ nữa. Hình dạng của các "pixel" này được xác định bởi các lựa chọn thiết kế trong một số ít sản phẩm hiện tại.

Lựa chọn: Bắt người ta chịu trách nhiệm hay khiến người ta biến mất?

Cho phép con người tiếp tục chịu trách nhiệm sẽ buộc kiến ​​trúc hệ thống phải xoay quanh "con người tăng cường"; và một khi con người bị loại khỏi chuỗi trách nhiệm, hệ thống sẽ mặc định là "thay thế", ngay cả khi mọi người có mặt nếu được hỏi rõ ràng cũng có thể không lựa chọn kết cục này.

Câu hỏi thực sự không phải là liệu một số hành vi có nên được tự động hóa hoàn toàn hay không - khuôn khổ trên đã thừa nhận điều này, ví dụ: các hoạt động đọc thông tin thuần túy thực sự có thể được tự động hóa. Điều quan trọng là ranh giới này di chuyển như thế nào khi rủi ro leo thang và ai là người xác định nó. Trong các hệ thống Agent tiên tiến nhất hiện nay, con đường từ “tăng cường” đến “thay thế hiệu quả” là vô cùng ngắn, thường chỉ cần một công tắc tham số hoặc cài đặt mặc định. Công việc thực sự quan trọng là đảm bảo rằng công tắc này luôn được coi là một "lựa chọn nguy hiểm" thay vì dần dần trở thành mặc định do sự tiện lợi thúc đẩy.

Nếu các nhà xây dựng chủ động thực hiện việc này, chúng ta sẽ tiến tới một "tương lai tăng cường" một cách tương đối suôn sẻ; nếu không, các cơ quan quản lý và tổ chức bảo hiểm sẽ làm điều đó cho họ và kết quả sẽ như nhau.

Quan tâm hay không, đó là sự lựa chọn trong thiết kế. Và sự lựa chọn này sẽ quyết định những gì bạn xây dựng. Mọi người sáng lập tung ra sản phẩm Đại lý ngày nay đều phải trả lời công khai một câu hỏi mà họ dường như không muốn đối mặt: Bạn đang xây dựng một sản phẩm nâng cao hay thay thế?

[Liên kết gốc]