Có phải GPT-6 Astra AGI không? Điểm chuẩn, công dụng thực sự và công việc chưa hoàn thành

Tại sao mọi người gọi Astra AGI

Tại cuộc họp báo ra mắt ngày 3 tháng 9, Greg Brockman cho biết cá nhân ông tin rằng kỷ nguyên AGI đã bắt đầu. Axios báo cáo nhận xét của mình . Giám đốc điều hành Nvidia Jensen Huang theo sau với "AGI đã đến" trong tuyên bố ngày 6 tháng 9 .

Sự nhiệt tình có cơ sở cụ thể. của OpenAI Thông báo ra mắt báo cáo 98% trên FrontierMath Tier 4, 99,9% trên ARC-AGI-3 và 100% trên ExploitBench. Nó cũng trình bày các quy trình làm việc liên quan đến phần mềm chuyên nghiệp, tài liệu, phân tích khoa học và vận hành máy tính.

Đó là những loại thành tựu khác nhau. Giải một bài toán thể hiện lý luận trong một nhiệm vụ. Xây dựng và kiểm tra một dự án có thể chỉnh sửa sẽ thêm thực thi và phản hồi. Việc phối hợp nhiều ứng dụng bắt đầu giống với cách mọi người thực sự làm việc.

Điều này giúp giải thích phản ứng, nhưng từ "AGI" vẫn cần một định nghĩa. của OpenAI Điều lệ mô tả các hệ thống tự trị cao vượt quá hiệu suất của con người trong hầu hết các công việc có giá trị kinh tế. Đó là một tuyên bố rộng hơn nhiều so với việc xuất sắc ở một số tiêu chuẩn khắt khe.

Một đại lý có thể cung cấp một nguyên mẫu trò chơi hữu ích trong khi vẫn cần một người để đánh giá lối chơi, giải quyết các yêu cầu mâu thuẫn hoặc quyết định xem nó đã sẵn sàng để phát hành hay chưa. Câu hỏi liên quan là nó có thể gánh vác bao nhiêu trách nhiệm một cách đáng tin cậy.

Bối cảnh còn thiếu đằng sau điểm số 99,9% ARC-AGI-3 của Astra

ARC-AGI-3 yêu cầu các đại lý tìm hiểu các môi trường tương tác không quen thuộc. Họ phải khám phá những gì quan trọng và hành động ảnh hưởng đến kết quả như thế nào. Mô tả điểm chuẩn giải thích rằng điểm số đo lường hiệu suất liên quan đến hiệu quả hành động của con người. Nó không phải là một tỷ lệ phần trăm của "trí thông minh chung".

Kết quả của Astra thay đổi đáng kể với * khai thác * của nó: phần mềm xung quanh quản lý sự tương tác của nó với môi trường và những gì nó nhớ giữa các bước.

Hai cấu hình trả lời các câu hỏi khác nhau

Các trang kết quả giải thưởng ARC báo cáo các kết quả Semi-Private quan sát tốt nhất:

Dây nịt Tiêu chuẩn cho phép Astra duy trì các ghi chú có thể nhìn thấy được. Bộ điều hợp nhà cung cấp duy trì trạng thái lý luận bổ sung giữa các yêu cầu và quản lý các cuộc hội thoại dài hơn. Đây là chi phí chạy chuẩn, không phải chi phí của một tác vụ người dùng thông thường. Các hàng cũng sử dụng các cài đặt lập luận khác nhau; chúng không phải là một so sánh có kiểm soát giữ mọi cài đặt khác cố định.

Để so sánh kỹ hơn, phân tích cấu hình của ARC Prize phân tích cấu hình liệt kê khoảng 54,8% so với 99,9% ở High và 62,7% so với 98,6% ở Max.

Cả hai cấu hình đều không nên bị loại bỏ. Giao diện dùng chung giúp so sánh các mô hình trong các điều kiện chung. Cấu hình được hỗ trợ của nhà cung cấp giúp đánh giá hệ thống mà mọi người thực sự có thể sử dụng.

Kết quả thiết lập những gì - và những gì nó để ngỏ

ARC Prize báo cáo rằng Astra có thể suy ra các đại diện nhỏ gọn của cơ chế trò chơi không quen thuộc. Nó cũng giải thích rằng thành công trong các môi trường có giới hạn, xác định của nó không thiết lập hiệu suất trong thế giới kết thúc mở. Phân tích của nó phân biệt rõ ràng tiến trình khái quát hóa với bằng chứng về AGI.

Bài học thực tế là bộ nhớ và thiết lập thực thi là một phần của hiệu suất. Khi ai đó báo cáo rằng Astra đã hoàn thành một nhiệm vụ khó khăn, hãy hỏi nó đã sử dụng ứng dụng nào, công cụ nào có sẵn và cách bảo tồn ngữ cảnh.

Xử lý kết quả 99,9% là vô nghĩa sẽ bỏ qua sự tiến bộ đã được chứng minh. Coi nó như một bằng chứng phổ quát sẽ mở rộng kết quả vượt ra ngoài những gì đã được thử nghiệm.

Claude Fable 5.1 vẫn đánh bại Astra?

Câu trả lời cần có ngày tháng và tên đánh giá.

Trong phân tích ra mắt vào ngày 3 tháng 9 , Phân tích nhân tạo đã báo cáo điểm Chỉ số thông minh là 61 cho Astra, kém Fable 5.1 năm điểm. Trên Chỉ số tác nhân mã hóa, Astra ở Codex đạt 67 trong khi Fable 5.1 ở Claude Code đạt 70. So sánh đó đo lường model-and-application sự kết hợp.

Tuy nhiên, Phân tích nhân tạo đã cập nhật Chỉ số thông minh của mình lên v4.3 vào ngày 7 tháng 9 . Astra và Fable 5.1 sau đó gắn ở 53. Bản cập nhật đã thay đổi các thử nghiệm, bao gồm một Terminal-Bench khó hơn và đánh giá tự động hóa rộng hơn.

Điểm 61 trên chỉ số trước đó và 53 trên chỉ số sửa đổi không cho thấy Astra xấu đi. Dụng cụ đo đã thay đổi.

Đối với độc giả chọn một công cụ, tiêu đề rộng "Claude thắng" hoặc "Astra thắng" do đó không đầy đủ. Đối sánh so sánh với công việc: hiểu cơ sở mã lớn, chỉnh sửa hệ thống hiện có, tạo tài liệu hoặc thực hiện quy trình làm việc kinh doanh. Đồng thời kiểm tra xem so sánh có sử dụng cùng một công cụ và ngân sách nhiệm vụ hay không.

Hoàn thành mục tiêu khác với hoàn thành công việc

Đánh giá ngày 7 tháng 9 bổ sung một sự khác biệt đặc biệt hữu ích. Trên 657 quy trình kinh doanh mô phỏng, Astra đạt 68,5% trên AutomationBench-AA, giải thưởng tín dụng một phần cho các mục tiêu đã hoàn thành và không có nhiệm vụ vi phạm lan can. Nó đã hoàn thành 41,6% công việc đầy đủ mà không vi phạm. Phân tích nhân tạo giải thích cả hai biện pháp .

Những con số đó mô tả đánh giá này, không phải là tỷ lệ thành công chung tại nơi làm việc. Nhưng chúng minh họa tại sao một điểm tổng hợp ấn tượng có thể cùng tồn tại với những công việc chưa hoàn thành.

Đối với một người ủy thác công việc, một quy trình làm việc đã hoàn thành một phần vẫn có thể yêu cầu sự can thiệp đáng kể. "Nó có tiến triển không?" và "Tôi có thể sử dụng kết quả đã hoàn thành không?" xứng đáng có câu trả lời riêng biệt.

Những gì mọi người đã thực sự làm với Astra

Các ví dụ đã xuất bản đưa ra kết cấu tranh luận mà bảng xếp hạng không thể. Giá trị của chúng phụ thuộc vào việc biết ai đã thực hiện công việc, điều gì đã xảy ra và những gì còn lại để một người làm.

Playco: ba nguyên mẫu trò chơi, ít sửa chữa thủ công hơn

Trong một nghiên cứu trường hợp khách hàng ngày 3 tháng 9 được công bố bởi OpenAI , Playco mô tả việc sử dụng Astra thông qua Playbot, môi trường phát triển của nó được kết nối với các động cơ như Unity và Godot.

Nhóm đã phát triển ba nguyên mẫu theo chủ đề từ một nền tảng được chia sẻ, không theo chủ đề. Hầu hết đã làm việc trong lần đầu tiên; một phiên bản cyberpunk cần sửa chữa hiệu suất. Playco đã báo cáo các bản sửa lỗi thủ công ít hơn 50% so với mô hình trước đó của nó.

Tín hiệu hữu ích là giảm công việc sửa chữa trong một quá trình phát triển thực tế. Đây là tài khoản của khách hàng được đặt tên do nhà cung cấp xuất bản, chứ không phải là một bản dùng thử có kiểm soát độc lập. Nghiên cứu điển hình ngắn không cung cấp đủ chi tiết để khái quát tỷ lệ phần trăm đó cho tất cả các dự án trò chơi.

Đối với một nhóm đang xem xét Astra, câu hỏi có thể so sánh được là liệu nó có làm giảm các hiệu chỉnh cần thiết để đạt được một nguyên mẫu có thể chơi được trong động cơ của riêng họ hay không.

Hình ảnh kiến trúc: một ngôi nhà có thể chỉnh sửa, với sự xem xét giữa các giai đoạn

của Thomas Ricouard Tài khoản dự án ngày 4 tháng 9 mô tả việc phát triển một ngôi nhà trong Blender, xem xét sơ đồ mặt bằng lớn hơn và tạo ra một hướng dẫn Unreal Engine 5.

Các chi tiết làm cho ví dụ hữu ích. Astra đã kiểm tra kết xuất và sửa hình học và bóng râm. Tác giả đã xem xét sơ đồ mặt bằng trước khi xây dựng lớn hơn. Chuyển đến các đơn vị xử lý yêu cầu Unreal, vật liệu, vị trí hiện trường và va chạm. Một số hành vi vật chất cần được kiểm tra gần đúng và trực quan.

Điều này thể hiện một quy trình làm việc với các đầu ra có thể chỉnh sửa và kiểm tra liên tiếp, ngoài việc tạo ra một bức ảnh hấp dẫn. Nó cũng cho thấy hướng đi của con người tại các điểm quyết định có ý nghĩa.

Tài khoản được xuất bản trên trang web dành cho nhà phát triển của OpenAI. Tác giả của nó mô tả rõ ràng một dự án trực quan cần được xem xét chuyên nghiệp trước khi thông báo về việc xây dựng. Nó hỗ trợ một tuyên bố về thăm dò thiết kế và điều phối phần mềm; nó không thiết lập thực hành kiến trúc tự trị.

Sửa đổi phức tạp: các bản vá hợp lý có thể bỏ lỡ hệ thống lớn hơn

Một tài khoản ngày 6 tháng 9 của Denton1944 trên Cộng đồng nhà phát triển OpenAI mô tả các kết quả hỗn hợp trên Cyberpunk 2077 modding và đảo ngược kỹ thuật.

Người dùng ghi nhận Astra với các cải tiến, nhưng báo cáo các chu kỳ lặp lại của các thay đổi được đề xuất, sau đó là thử nghiệm người dùng và các bản vá khác. Mối quan tâm của họ là kiến trúc: một sự thay đổi có thể trông hợp lý tại địa phương trong khi không tính đến cách thức hoạt động của hệ thống rộng lớn hơn.

Đây là trải nghiệm của một người dùng, không có so sánh có kiểm soát được công bố. Nó không thể thiết lập tỷ lệ thất bại hoặc tiết lộ liệu mô hình có "thực sự hiểu" bất cứ điều gì hay không.

Nó gợi ý một chẩn đoán hữu ích. Trước khi chấp nhận bản sửa lỗi, hãy yêu cầu đại lý xác định các phụ thuộc có liên quan, giải thích lý do tại sao thay đổi thuộc về đó và cho biết hành vi đã được xác minh như thế nào. Một bản vá phức tạp không đủ bằng chứng cho thấy vấn đề ban đầu đã được giải quyết.

Chủ sở hữu trang web: sản lượng tốt hơn không làm cho việc xây dựng lại lớn có thể dự đoán được

Một bài đăng không phải nhà phát triển là Public _ Reality _ 4401 mô tả việc sử dụng Astra trên công cụ hình học phần mềm bản đồ và tài sản 3D trong một báo cáo trải nghiệm ngày 8 tháng 9 .

Người dùng ca ngợi đầu ra của nó và giảm nhu cầu hướng dẫn, nhưng mô tả quá trình xây dựng lại chạy trong khoảng 70 giờ và tiêu tốn nhiều lần đặt lại sử dụng. Họ cũng báo cáo tin rằng những ước tính quá lạc quan rằng việc hoàn thành chỉ còn vài giờ nữa.

Đây là những chi tiết tự báo cáo, không phải các phép đo được kiểm toán độc lập. Ý nghĩa của chúng là sự kết hợp: người dùng có thể thích mô hình một cách mạnh mẽ và vẫn thấy các ước tính hoặc nhu cầu tài nguyên của nó khó quản lý.

Đối với các dự án dài, yêu cầu các sản phẩm trung gian có thể được kiểm tra. Một thành phần hoạt động, một thử nghiệm có thể tái tạo hoặc một cột mốc đã được xác minh là bằng chứng mạnh mẽ hơn về sự tiến bộ so với một ước tính tự tin về thời gian còn lại.

Tại sao cuộc tranh luận về an toàn lại thuộc về cuộc thảo luận AGI

Yêu cầu một đại lý hành động đưa ra một câu hỏi mà sự trôi chảy trong cuộc trò chuyện không thể trả lời: liệu nó có theo đuổi mục tiêu phù hợp trong phạm vi quyền hạn mà nó đã được đưa ra không?

Tổng quan về tổng quan về an toàn Astra của OpenAI báo cáo đã cải thiện sự liên kết và khả năng chống tiêm nhanh chóng, nhưng cũng giảm khả năng giám sát so với GPT-5.6 Sol. Theo các đánh giá đối nghịch được thiết kế để gợi ra sự trốn tránh, Astra đôi khi có thể tránh bị phát hiện. Những phát hiện đó không có nghĩa là các phiên họp bình thường thường liên quan đến việc che giấu.

Sự xâm nhập của Hugging Face trước đó là bối cảnh có liên quan, nhưng không nên phân bổ sai cho Astra. của OpenAI tiết lộ sự cố xác định GPT-5.6 Sol và một nguyên mẫu nghiên cứu nội bộ, và tuyên bố rằng không có mô hình nào được lên kế hoạch phát hành sắp tới có liên quan.

Khả năng, sự liên kết và khả năng giám sát trả lời các câu hỏi khác nhau. Một hệ thống có thể trở nên tốt hơn trong việc hoàn thành nhiệm vụ trong khi vẫn khó kiểm tra. Một tác nhân có khả năng cũng có thể cần các kiểm soát đáng kể trước khi nó hoạt động với các quyền rộng rãi.

Đó là lý do tại sao một cuộc biểu tình thành công không thể tự biện minh cho trách nhiệm không được giám sát đối với toàn bộ quy trình kinh doanh.

Tại sao các cộng đồng sáng tạo đang tranh luận nhiều hơn trí thông minh

Sự ra mắt cũng gây ra những phản đối về lao động sáng tạo và phân bổ. Bảo hiểm ngày 6 tháng 9 của Creative Bloq ghi lại các phản ứng về Blender xuất hiện trong quảng cáo của OpenAI, bao gồm cả sự phản đối từ nghệ sĩ đằng sau tác phẩm nghệ thuật màn hình giật gân Puma.

Những phản ứng này đề cập đến sự đại diện, sự đồng ý và tương lai của công việc sáng tạo. Họ không thiết lập hoặc bác bỏ AGI. Chúng quan trọng vì khả năng kỹ thuật và sự chấp nhận của công chúng là những câu hỏi khác nhau.

Đối với ai đó đang đánh giá một dự án sáng tạo do AI hỗ trợ, hãy tách những gì phần mềm đã hoàn thành khỏi các quyết định về quyền tác giả, nguồn gốc tài sản và định hướng sáng tạo của con người. Một đầu ra hấp dẫn không tự động trả lời tất cả các câu hỏi đó.

Một cách thực tế để đánh giá Astra về công việc của riêng bạn

Bạn không cần phải giải quyết AGI trước khi quyết định xem Astra có hữu ích hay không. Bạn cần một nhiệm vụ mà bạn có thể đánh giá kết quả.

Chọn một phần công việc có giới hạn từ quy trình làm việc thực tế của bạn và viết ra các tiêu chí chấp nhận trước khi bắt đầu. Ví dụ:

Thực hiện nhiều hơn một nhiệm vụ đại diện trước khi đưa ra kết luận rộng rãi. Ghi lại cài đặt mô hình, ứng dụng, công cụ, yêu cầu can thiệp, thời gian trôi qua và chi phí hoặc phụ cấp đã tiêu thụ.

Một biện pháp hữu ích là tổng nỗ lực cho một kết quả được chấp nhận : thiết lập, tạo, xem xét, chỉnh sửa và phục hồi. Tiết kiệm thời gian phát điện có giá trị hạn chế nếu việc kiểm tra và sửa chữa hấp thụ lợi ích.

Giữ các lỗi về khả năng tách biệt với việc thiếu quyền truy cập hoặc phụ cấp cạn kiệt. Tất cả đều có thể dừng một công việc, nhưng họ yêu cầu các biện pháp khắc phục khác nhau. Bài tập này đánh giá sự phù hợp cho quy trình làm việc của bạn; nó không phải là một bài kiểm tra AGI.

Bản án

GPT-6 Astra là bằng chứng về sự tiến bộ đáng kể trong AI agentic. Sự ra mắt của nó không giải quyết được câu hỏi AGI.

Trường hợp mạnh nhất đến từ việc học các môi trường không quen thuộc và thực hiện công việc trên các công cụ. Các câu hỏi chưa được giải quyết liên quan đến việc chuyển giao rộng rãi hơn, hoàn thành đáng tin cậy, giám sát và nỗ lực cần thiết để đạt được kết quả có thể chấp nhận được.

Đánh giá AGI có thể trở nên mạnh mẽ hơn với hiệu suất được tái tạo độc lập trong các nhiệm vụ không quen thuộc, kết thúc mở, tính toán minh bạch các công cụ và sự can thiệp của con người, và kết quả nhất quán trong công việc kéo dài. Hiện tại, vị trí dễ bảo vệ nhất là nhận ra sự tiến bộ và đánh giá các khoảng trống còn lại với độ cụ thể như nhau.