Talkie: Loại bỏ kiến ​​thức hiện đại và kiểm tra lại khả năng cơ bản của AI

Gần đây, một mô hình ngôn ngữ cổ điển có tên Talkie đã được phát hành dưới dạng Vòng kết nối AI đã kích hoạt các cuộc thảo luận. Tính năng cốt lõi của nó là dữ liệu đào tạo cực kỳ hạn chế. Điều này có 13B thông số, dựa trên 2600 Tỷ token Mô hình được đào tạo chủ yếu đọc Văn bản tiếng Anh trước năm 1931 , bao gồm sách cũ, báo, tạp chí, khoa học giấy tờ, bằng sáng chế và bách khoa toàn thư. Được xác định chính thức là Mô hình ngôn ngữ cổ điển.

Trong thời đại theo đuổi bối cảnh rộng hơn, phạm vi kiến thức rộng hơn và cập nhật theo thời gian thực, Cài đặt của Talkie có vẻ bất thường.

Các mô hình lớn hiện đại thường được đào tạo trên tập đoàn Internet hiện đại. Họ quen thuộc với Mã Python và quen thuộc với mã Vấn đề GitHub, quen thuộc với bối cảnh truyền thông xã hội ngày nay. Và Talkie giống như một người bị nhốt trong 1930 Đối tượng nghiên cứu trong ranh giới của tri thức. Nó chưa nhìn thấy thế giới hậu Thế chiến thứ hai và chưa có sự tiếp xúc thực sự với Internet, tiền điện tử hoặc công nghệ phần mềm hiện đại. Việc loại bỏ kiến ​​thức hiện đại này khiến nó trở thành một mẫu thử nghiệm để quan sát các khả năng cơ bản của mô hình.

Xóa bỏ kiến thức và khả năng cơ bản

Bằng Talkie, các nhà nghiên cứu có thể quan sát một vấn đề thiết yếu:Nếu một mô hình chưa từng nhìn thấy thế giới hiện đại, thì nó có thể học được bao nhiêu khả năng từ cấu trúc ngôn ngữ và ví dụ ngữ cảnh?

Trong việc đánh giá các mô hình hiện đại, lý luận logic thường được trộn lẫn với việc ghi nhớ dữ liệu. Khi một mô hình trả lời đúng Khi trả lời các câu hỏi về mã hoặc chính trị hiện đại, chúng ta khó có thể phân biệt được liệu nó có thực sự có các khả năng cơ bản hay chỉ vì dữ liệu đào tạo có chứa các câu hỏi kiểm tra có liên quan. Talkie phân biệt hai loại này:

• Apochronic (Lỗi thời): Nếu nó không biết"Liên Hợp Quốc được thành lập khi nào? SC,Microsoft YaHei,WenQuanYi Micro Hei,sans-serif;">", điều này không có nghĩa là khả năng hiểu ngôn ngữ của nó kém, bởi vì Trước năm 1930 không có khái niệm về Liên Hợp Quốc. Đây là sự thiếu hiểu biết, không phải thiếu khả năng.
• Tổng quát hóa mẫu: Các nhà nghiên cứu nhận thấy rằng mặc dù Talkie Chưa bao giờ thấy nó Python, nhưng thông qua một vài Ví dụ, nó có thể suy ra logic mã cực kỳ đơn giản thông qua cấu trúc ngôn ngữ. Điều này chứng tỏ bản thân kiến trúc Transformer có khả năng khái quát hóa cơ bản chứ không chỉ có bộ nhớ.

"Twins"Thử nghiệm được kiểm soát

Để xác minh tác động của việc phân phối dữ liệu, nhóm nghiên cứu đã tạo ra một kiến trúc có cùng một Modern Twin, điểm khác biệt duy nhất là cái sau đọc dữ liệu trang web hiện đạiFineWeb.

Lúc đầu, Talkie tụt hậu trong các bài kiểm tra tiêu chuẩn, nhưng điều đó không có gì đáng ngạc nhiên đối với một quốc gia thiếu 1930 Thật không công bằng đối với mô hình kiến thức sau năm. Điều thú vị là khi các nhà nghiên cứu lọc ra những cá nhân có kích thước phông chữ "Sau câu hỏi, Talkie và các mẫu hiện đại đã giảm khoảng một nửa.

Điều này cho thấy khả năng hiểu ngôn ngữ cơ bản không hoàn toàn phụ thuộc vào Internet hiện đại. Báo chí, tạp chí khoa học và tài liệu pháp lý chất lượng cao đã chứa các mẫu lẽ thường, nhân quả logic và các quy tắc lập luận được nhân loại tích lũy. Những gì mô hình học được từ các văn bản này là các khái niệm như thế nào được kết nối với nhau và cách các bằng chứng hỗ trợ cho phán đoán này có tính ổn định cao ở các thời đại khác nhau

Cảm hứng cho các nguyên tắc thiết kế

Dành cho Hệ thống AI , Talkie đã chỉ ra một nguyên tắc thiết kế hữu ích:Bản thể luận mô hình không cần đẩy mọi dữ kiện mới vào các tham số.

Một con đường mạnh mẽ hơn nên là: mô hình cơ bản tập trung vào khả năng ngôn ngữ ổn định, cấu trúc lý luận và các mẫu chung. Những khả năng này có thể học được từ các văn bản lịch sử chất lượng cao, mật độ cao. Các dữ kiện, thông số kỹ thuật và thông tin thời gian thực mới nhất được chuyển giao cho các hệ thống truy xuất, kiến thức

Hãy để mô hình chịu trách nhiệm hiểu và tháo dỡ, đồng thời để hệ thống bên ngoài chịu trách nhiệm cập nhật và thực thi. Điều này tốt hơn là chỉ theo đuổi một kho dữ liệu đào tạo trước lớn hơn, biến mô hình thành một kiểu phụ thuộc vào bộ nhớ = "font-size: kế thừa; họ phông chữ: PingFang SC,Helvetica Neue,Helvetica,Arial,Hiragino Sans GB,Heiti SC,Microsoft YaHei,WenQuanYi Micro Hei,sans-serif;">" Để gần hơn với nhu cầu thực tế của môi trường sản xuất.

Kết luận

Talkie Giá trị của là nó đặt ra ranh giới rõ ràng cho việc thử nghiệm. Nó nhắc nhở ngành: Không sử dụng "Thông tin mới" tương đương trực tiếp với "Các khả năng mới", cũng như "Nội dung kiến thức" tương đương trực tiếp với "Khả năng cơ bản”.

Logic tiến hóa của AI đang thay đổi: Thay vì chất đống dữ liệu trang web không ngừng, các hệ thống có thể tạo ra các khung logic trong tập đoàn được chọn và đang thay đổi giỏi khai thác các cơ sở tri thức bên ngoài để giải quyết các vấn đề thực tiễn gần với cốt lõi của cạnh tranh ở giai đoạn tiếp theo.