AGI ba ang GPT-6 Astra? Ang Mga Benchmark, Tunay na Paggamit, at Hindi Natapos na Trabaho

Bakit tinatawag ng mga tao ang Astra AGI

Sa briefing ng paglulunsad noong Setyembre 3, sinabi ni Greg Brockman na personal siyang naniniwala na nagsimula na ang panahon ng AGI. Iniulat ni Axios ang kanyang mga pahayag .. Ang CEO ng Nvidia na si Jensen Huang ay sumunod na may "AGI ay dumating na" sa kanyang pahayag noong Setyembre 6 ..

Ang sigasig ay may konkretong batayan. kay OpenAI anunsyo ng paglulunsad nag-uulat ng 98% sa FrontierMath Tier 4, 99.9% sa ARC-AGI-3, at 100% sa ExploitBench. Nagpapakita rin ito ng mga daloy ng trabaho na kinasasangkutan ng propesyonal na software, mga dokumento, siyentipikong pagsusuri, at pagpapatakbo ng computer.

Iba 't ibang klase ng accomplishment yan. Ang paglutas ng problema sa matematika ay nagpapakita ng pangangatwiran sa loob ng isang gawain. Ang pagbuo at pag-inspeksyon ng isang nae-edit na proyekto ay nagdaragdag ng pagpapatupad at feedback. Ang pag-coordinate ng maramihang mga application ay nagsisimulang maging katulad kung paano gumagana ang mga tao.

Nakakatulong ito na ipaliwanag ang reaksyon, ngunit ang salitang "AGI" ay nangangailangan pa rin ng kahulugan. kay OpenAI Charter Inilalarawan ang lubos na nagsasarili na mga sistema na lumalampas sa pagganap ng tao sa pinakamahalagang gawain sa ekonomiya. Iyon ay isang mas malawak na claim kaysa sa pagiging mahusay sa ilang hinihingi na mga benchmark.

Ang isang ahente ay maaaring maghatid ng isang kapaki-pakinabang na prototype ng laro habang kailangan pa rin ng isang tao na hatulan ang gameplay, lutasin ang mga magkasalungat na kinakailangan, o magpasya kung ito ay handa na para sa pagpapalabas. Ang may-katuturang tanong ay kung gaano kalaki ang responsibilidad na iyon na maasahan nito.

Ang nawawalang konteksto sa likod ng 99.9% ARC-AGI-3 score ng Astra

Hinihiling ng ARC-AGI-3 sa mga ahente na matuto ng hindi pamilyar na mga interactive na kapaligiran. Dapat nilang matuklasan kung ano ang mahalaga at kung paano nakakaapekto ang mga aksyon sa mga resulta. Ang paglalarawan ng benchmark Ipinapaliwanag na ang marka ay sumusukat sa pagganap na may kaugnayan sa kahusayan ng pagkilos ng tao. Ito ay hindi isang porsyento ng "pangkalahatang katalinuhan".

Malaki ang pagbabago sa resulta ng Astra sa * harness * nito: ang nakapalibot na software na namamahala sa pakikipag-ugnayan nito sa kapaligiran at kung ano ang naaalala nito sa pagitan ng mga hakbang.

Dalawang configuration ang sumasagot sa magkaibang tanong

Ang Pahina ng mga resulta ng ARC Prize Iniuulat ang pinakamahusay na naobserbahang Semi-Private na mga resulta:

Hinahayaan ng Standard harness ang Astra na mapanatili ang mga nakikitang tala. Pinapanatili ng Provider Adapter ang karagdagang estado ng pangangatwiran sa pagitan ng mga kahilingan at namamahala ng mas mahabang pag-uusap. Ito ay mga benchmark-run na gastos, hindi ang halaga ng isang karaniwang gawain ng user. Gumagamit din ang mga row ng iba 't ibang setting ng pangangatwiran; ang mga ito ay hindi isang kinokontrol na paghahambing na humahawak sa bawat iba pang setting na naayos.

Para sa isang mas malapit na paghahambing, ARC Prize 's pagkasira ng configuration Naglilista ng humigit-kumulang 54.8% kumpara sa 99.9% sa Mataas, at 62.7% kumpara sa 98.6% sa Max.

Ang alinman sa pagsasaayos ay hindi dapat itapon lamang. Nakakatulong ang isang nakabahaging interface na ihambing ang mga modelo sa ilalim ng mga karaniwang kundisyon. Nakakatulong ang sinusuportahang configuration ng provider na masuri ang system na maaaring aktwal na gamitin ng mga tao.

Ano ang itinatatag ng resulta - at kung ano ang iniiwan nitong bukas

Iniulat ng ARC Prize na ang Astra ay maaaring magpahiwatig ng mga compact na representasyon ng hindi pamilyar na mekanika ng laro. Ipinapaliwanag din nito na ang tagumpay sa mga deterministiko, may hangganang kapaligiran nito ay hindi nagtatatag ng pagganap sa bukas na mundo. Pagsusuri nito Tahasang nakikilala ang pag-unlad tungo sa generalization mula sa patunay ng AGI.

Ang praktikal na aral ay ang memory at execution setup ay bahagi ng performance. Kapag may nag-ulat na nakumpleto ng Astra ang isang mahirap na gawain, itanong kung anong application ang ginamit nito, anong mga tool ang available, at kung paano napanatili ang konteksto.

Ang pagtrato sa 99.9% na resulta bilang walang kabuluhan ay makaligtaan ang ipinakitang pag-unlad. Ang pagtrato dito bilang unibersal na patunay ay magpapalawak ng resulta nang higit pa sa nasubok.

Tinalo pa ba ng Claude Fable 5.1 ang Astra?

Ang sagot ay nangangailangan ng petsa at pangalan ng pagsusuri.

Sa kanyang Pagsusuri ng paglulunsad noong Setyembre 3 , Iniulat ng Artificial Analysis ang marka ng Intelligence Index na 61 para sa Astra, limang puntos sa likod ng Fable 5.1. Sa Coding Agent Index nito, ang Astra sa Codex ay nakakuha ng 67 habang ang Fable 5.1 sa Claude Code ay nakakuha ng 70. Ang paghahambing na iyon ay sumusukat samodel-and-application kumbinasyon.

Gayunpaman, Artipisyal na Pagsusuri Na-update ang Intelligence Index nito sa v4.3 noong Setyembre 7 . Ang Astra at Fable 5.1 ay nagtabla sa 53. Binago ng update ang mga pagsubok, kabilang ang isang mas mahirap na Terminal-Bench at isang mas malawak na pagsusuri sa automation.

Ang iskor na 61 sa naunang index at 53 sa binagong index ay hindi nagtatatag na ang Astra ay lumala. Nagbago ang instrumento sa pagsukat.

Para sa mga mambabasa na pumipili ng tool, ang isang malawak na headline na "Claude wins" o "Astra wins" ay hindi kumpleto. Itugma ang paghahambing sa trabaho: pag-unawa sa isang malaking codebase, pag-edit ng isang umiiral nang system, paggawa ng isang dokumento, o pagsasagawa ng workflow ng negosyo. Suriin din kung ang paghahambing ay gumamit ng parehong mga tool at badyet ng gawain.

Ang pagkumpleto ng mga layunin ay iba sa pagtatapos ng trabaho

Ang pagsusuri sa Setyembre 7 ay nagdaragdag ng isang partikular na kapaki-pakinabang na pagkakaiba. Sa 657 simulate na daloy ng trabaho sa negosyo, nakapuntos ang Astra 68.5% sa AutomationBench-AA, na nagbibigay ng bahagyang kredito para sa mga layuning nakumpleto at nag-zero ng isang gawain para sa isang paglabag sa guardrail. Nakumpleto ito 41.6% ng mga daloy ng trabaho nang buo nang walang mga paglabag. Ipinapaliwanag ng Artipisyal na Pagsusuri ang parehong mga panukala ..

Inilalarawan ng mga bilang na iyon ang pagsusuring ito, hindi isang pangkalahatang rate ng tagumpay sa lugar ng trabaho. Ngunit inilalarawan nila kung bakit ang isang kahanga-hangang pinagsama-samang marka ay maaaring mabuhay kasama ng mga hindi natapos na trabaho.

Para sa isang taong nagde-delegate ng trabaho, ang isang bahagyang nakumpletong daloy ng trabaho ay maaari pa ring mangailangan ng malaking interbensyon. "Nakagawa ba ito ng pag-unlad?" at "Maaari ko bang gamitin ang natapos na resulta?" nararapat sa magkahiwalay na sagot.

Kung ano talaga ang ginawa ng mga tao sa Astra

Ang mga nai-publish na halimbawa ay nagbibigay ng texture ng debate na hindi magagawa ng isang leaderboard. Ang kanilang halaga ay nakasalalay sa pag-alam kung sino ang nagsagawa ng trabaho, kung ano ang nangyari, at kung ano ang natitira para sa isang tao na gawin.

Playco: tatlong prototype ng laro, mas kaunting manu-manong pag-aayos

Sa isang Setyembre 3 customer case study na inilathala ng OpenAI , inilalarawan ng Playco ang paggamit ng Astra sa pamamagitan ng Playbot, ang development environment nito na konektado sa mga engine gaya ng Unity at Godot.

Ang koponan ay bumuo ng tatlong may temang prototype mula sa isang shared, unthemed foundation. Karamihan ay nagtrabaho sa unang pagkuha; isang bersyon ng cyberpunk ang nangangailangan ng pag-aayos ng pagganap. Ang Playco ay nag-ulat ng 50% na mas kaunting mga manu-manong pag-aayos kaysa sa dati nitong modelo.

Ang kapaki-pakinabang na signal ay nabawasan ang pagkukumpuni sa loob ng isang aktwal na proseso ng pag-unlad. Ito ay isang pinangalanang account ng customer na na-publish ng vendor, sa halip na isang independiyenteng kinokontrol na pagsubok. Ang maikling case study ay hindi nagbibigay ng sapat na detalye para i-generalize ang porsyentong iyon sa lahat ng proyekto ng laro.

Para sa isang koponan na isinasaalang-alang ang Astra, ang maihahambing na tanong ay kung binabawasan nito ang mga pagwawasto na kinakailangan upang maabot ang isang nape-play na prototype sa kanilang sariling makina.

Architectural visualization: isang nae-edit na bahay, na may pagsusuri sa pagitan ng mga yugto

kay Thomas Ricouard Setyembre 4 na account ng proyekto Inilalarawan ang pagbuo ng bahay sa Blender, pagrepaso ng mas malaking floor plan, at paggawa ng Unreal Engine 5 walkthrough.

Ang mga detalye ay ginagawang kapaki-pakinabang ang halimbawa. Sinuri ng Astra ang mga render at itinama ang geometry at shading. Sinuri ng may-akda ang floor plan bago ang mas malaking build. Ang paglipat sa Unreal ay nangangailangan ng mga handling unit, materyales, paglalagay ng eksena, at banggaan. Ang ilang materyal na pag-uugali ay nangangailangan ng pagtatantya at visual na inspeksyon.

Nagpapakita ito ng workflow na may mga nae-edit na output at sunud-sunod na pagsusuri, lampas sa paggawa ng kaakit-akit na larawan. Ipinapakita rin nito ang direksyon ng tao sa mga makabuluhang punto ng desisyon.

Ang account ay nai-publish sa site ng developer ng OpenAI. Ang may-akda nito ay tahasang naglalarawan ng isang visualization project na nangangailangan ng propesyonal na pagsusuri bago ipaalam ang konstruksiyon. Sinusuportahan nito ang isang paghahabol tungkol sa paggalugad ng disenyo at koordinasyon ng software; hindi ito nagtatatag ng autonomous architectural practice.

Complex modding: maaaring makaligtaan ng mga posibleng patch ang mas malaking system

A Setyembre 6 account ni Denton1944 sa OpenAI Developer Community Inilalarawan ang magkahalong resulta sa Cyberpunk 2077 modding at reverse engineering.

Kinikilala ng user ang Astra ng mga pagpapabuti, ngunit nag-uulat ng mga paulit-ulit na cycle ng mga iminungkahing pagbabago na sinusundan ng pagsubok ng user at karagdagang mga patch. Ang kanilang alalahanin ay arkitektura: ang isang pagbabago ay maaaring magmukhang makatuwiran sa lokal habang hindi isinasaalang-alang kung paano gumagana ang mas malawak na sistema.

Ito ay karanasan ng isang user, nang walang nai-publish na kinokontrol na paghahambing. Hindi ito makakapagtatag ng rate ng pagkabigo o magbubunyag kung ang modelo ay "talagang naiintindihan" ang anuman.

Nagmumungkahi ito ng isang kapaki-pakinabang na diagnostic. Bago tumanggap ng pag-aayos, hilingin sa ahente na tukuyin ang mga nauugnay na dependency, ipaliwanag kung bakit kabilang doon ang pagbabago, at ipakita kung paano na-verify ang gawi. Ang isang sopistikadong patch ay hindi sapat na katibayan na ang orihinal na problema ay nalutas.

Isang may-ari ng website: ang mas mahusay na output ay hindi ginawang predictable ang isang malaking muling pagtatayo

Ang isang hindi developer na nagpo-post bilang Public _ Reality _ 4401 ay naglalarawan ng paggamit ng Astra sa isang map-software geometry engine at mga 3D na asset sa isang Setyembre 8 ulat ng karanasan ..

Pinupuri ng user ang output nito at binawasan ang pangangailangan para sa patnubay, ngunit inilalarawan ang muling pagtatayo na tumatakbo nang humigit-kumulang 70 oras at gumagamit ng maraming pag-reset ng paggamit. Iniuulat din nila ang paniniwalang labis na optimistikong mga pagtatantya na ang pagkumpleto ay ilang oras na lang.

Ito ay mga detalyeng iniulat sa sarili, hindi independiyenteng na-audit na mga sukat. Ang kanilang kahalagahan ay ang kumbinasyon: maaaring mas gusto ng isang user ang modelo nang husto at nahihirapan pa ring pamahalaan ang mga pagtatantya nito o mga hinihingi ng mapagkukunan.

Para sa mahahabang proyekto, nangangailangan ng mga intermediate na maihahatid na maaaring suriin. Ang isang gumaganang bahagi, isang reproducible na pagsubok, o isang na-verify na milestone ay mas malakas na ebidensya ng pag-unlad kaysa sa isang kumpiyansa na pagtatantya ng natitirang oras.

Bakit kabilang ang debate sa kaligtasan sa talakayan ng AGI

Ang paghiling sa isang ahente na kumilos ay nagpapakilala ng isang tanong na hindi masasagot ng katatasan sa pakikipag-usap: itutuloy ba nito ang tamang layunin sa loob ng awtoridad na ibinigay dito?

kay OpenAI Pangkalahatang-ideya ng kaligtasan ng Astra Ang mga ulat ay nagpabuti ng pagkakahanay at paglaban sa agarang pag-iniksyon, ngunit binawasan din ang kakayahang masubaybayan kumpara sa GPT-5.6 Sol. Sa ilalim ng adversarial evaluation na idinisenyo upang makakuha ng pag-iwas, minsan ay maiiwasan ng Astra ang pagtuklas. Ang mga natuklasang iyon ay hindi nangangahulugan na ang mga ordinaryong sesyon ay karaniwang nagsasangkot ng pagtatago.

Ang naunang panghihimasok sa Hugging Face ay may kaugnayang konteksto, ngunit hindi ito dapat maiugnay sa Astra. kay OpenAI pagsisiwalat ng insidente Kinikilala ang GPT-5.6 Sol at isang panloob na prototype ng pananaliksik, at nagsasaad na walang mga modelong binalak para sa paparating na paglabas ang kasangkot.

Ang kakayahan, pagkakahanay, at kakayahang masubaybayan ay sumasagot sa iba 't ibang tanong. Ang isang sistema ay maaaring maging mas mahusay sa pagkumpleto ng mga gawain habang nananatiling mahirap suriin. Ang isang may kakayahang ahente ay maaaring mangailangan din ng malaking kontrol bago ito dapat gumana nang may malawak na pahintulot.

Iyon ang dahilan kung bakit ang isang matagumpay na demonstrasyon ay hindi maaaring, sa kanyang sarili, bigyang-katwiran ang hindi nag-aalaga na responsibilidad para sa isang buong proseso ng negosyo.

Bakit higit pa sa katalinuhan ang pinagtatalunan ng mga malikhaing komunidad

Ang paglulunsad ay nag-udyok din ng mga pagtutol tungkol sa malikhaing paggawa at pagpapatungkol. Ang saklaw ng Creative Bloq noong Setyembre 6 Nagdodokumento ng mga reaksyon sa Blender na lumalabas sa advertisement ng OpenAI, kabilang ang isang pagtutol mula sa artist sa likod ng Puma splash-screen artwork nito.

Ang mga reaksyong ito ay tumutugon sa representasyon, pahintulot, at kinabukasan ng malikhaing gawain. Hindi nila itinatag o pinabulaanan ang AGI. Mahalaga ang mga ito dahil magkaibang katanungan ang teknikal na kakayahan at pagtanggap ng publiko.

Para sa isang taong nagsusuri ng isang proyektong creative na tinulungan ng AI, paghiwalayin kung ano ang nagawa ng software mula sa mga desisyon tungkol sa pagiging may-akda, pinagmulan ng asset, at direksyon ng creative ng tao. Ang isang nakakahimok na output ay hindi awtomatikong sumasagot sa lahat ng mga tanong na iyon.

Isang praktikal na paraan upang suriin ang Astra sa iyong sariling gawa

Hindi mo kailangang ayusin ang AGI bago magpasya kung kapaki-pakinabang ang Astra. Kailangan mo ng isang gawain na ang kinalabasan ay maaari mong hatulan.

Pumili ng may hangganang piraso ng trabaho mula sa iyong aktwal na daloy ng trabaho at isulat ang pamantayan sa pagtanggap bago magsimula. Halimbawa:

Magpatakbo ng higit sa isang kinatawan na gawain bago gumawa ng malawak na konklusyon. Itala ang setting ng modelo, aplikasyon, mga tool, interbensyon na kinakailangan, lumipas na oras, at gastos o allowance na nakonsumo.

Ang isang kapaki-pakinabang na panukala ay kabuuang pagsisikap sa isang tinanggap na resulta : setup, pagbuo, pagsusuri, pagwawasto, at pagbawi. Ang pag-save ng oras ng henerasyon ay may limitadong halaga kung ang pagsuri at pag-aayos ay sumisipsip ng pakinabang.

Panatilihing hiwalay ang mga pagkabigo sa kakayahan mula sa nawawalang access o naubos na allowance. Lahat ay maaaring huminto sa isang trabaho, ngunit tumawag sila para sa iba 't ibang mga remedyo. Sinusuri ng pagsasanay na ito ang pagiging angkop para sa iyong daloy ng trabaho; hindi ito AGI test.

Ang hatol

Ang GPT-6 Astra ay katibayan ng malaking pag-unlad sa agentic AI. Ang paglulunsad nito ay hindi sumasagot sa tanong ng AGI.

Ang pinakamalakas na kaso ay nagmumula sa pag-aaral ng mga hindi pamilyar na kapaligiran at pagsasagawa ng trabaho sa mga tool. Ang mga hindi nalutas na tanong ay may kinalaman sa mas malawak na paglipat, maaasahang pagkumpleto, pangangasiwa, at pagsisikap na kailangan upang makakuha ng katanggap-tanggap na resulta.

Ang paghatol ng AGI ay maaaring maging mas malakas sa pamamagitan ng independiyenteng muling ginawang pagganap sa mga hindi pamilyar, bukas na mga gawain, malinaw na accounting ng mga tool at interbensyon ng tao, at pare-parehong mga resulta sa pinalawig na trabaho. Sa ngayon, ang pinaka-mapagtatanggol na posisyon ay kilalanin ang advance at suriin ang natitirang mga puwang na may pantay na pagtitiyak.