GPT-6 Astra AGI หรือไม่? เกณฑ์มาตรฐาน การใช้งานจริง และงานที่ยังไม่เสร็จ

ทำไมคนถึงเรียก Astra AGI

ในการบรรยายสรุปการเปิดตัวเมื่อวันที่ 3 กันยายน Greg Brockman กล่าวว่าเขาเชื่อว่ายุค AGI ได้เริ่มขึ้นแล้ว แอกซิออสรายงานคําพูดของเขา. เซ่นหวางซีอีโอของ Nvidia ตามด้วย "AGI มาถึงแล้ว" ในแถลงการณ์ 6 กันยายนของเขา

ความกระตือรือร้นมีพื้นฐานที่เป็นรูปธรรม การประกาศเปิดตัวของ OpenAI รายงาน 98% ใน FrontierMath ระดับ 4 99.9% สำหรับ ARC-AGI-3 และ 100% สำหรับ ExploitBench นอกจากนี้ยังนำเสนอเวิร์กโฟลว์ที่เกี่ยวข้องกับซอฟต์แวร์ระดับมืออาชีพ เอกสาร การวิเคราะห์ทางวิทยาศาสตร์ และการทำงานของคอมพิวเตอร์

นั่นคือความสำเร็จประเภทต่างๆ การแก้ปัญหาคณิตศาสตร์แสดงให้เห็นถึงการให้เหตุผลภายในงาน การสร้างและตรวจสอบโครงการที่แก้ไขได้จะเพิ่มการดำเนินการและข้อเสนอแนะ การประสานงานหลายแอปพลิเคชันเริ่มคล้ายกับวิธีการทำงานของผู้คน

สิ่งนี้ช่วยอธิบายปฏิกิริยา แต่คำว่า "AGI" ยังคงต้องการคำจำกัดความ กฎบัตรของ OpenAIอธิบายถึงระบบที่เป็นอิสระสูงซึ่งเกินประสิทธิภาพของมนุษย์ในงานที่มีค่าทางเศรษฐกิจมากที่สุด นั่นคือการเรียกร้องที่กว้างกว่าการเป็นเลิศในเกณฑ์มาตรฐานที่มีความต้องการหลายประการ

ตัวแทนสามารถส่งมอบต้นแบบเกมที่มีประโยชน์ในขณะที่ยังต้องการบุคคลในการตัดสินการเล่นเกม แก้ไขข้อกำหนดที่ขัดแย้งกัน หรือตัดสินใจว่าพร้อมสำหรับการเปิดตัวหรือไม่ คำถามที่เกี่ยวข้องคือความรับผิดชอบนั้นสามารถพกพาได้อย่างน่าเชื่อถือมากเพียงใด

บริบทที่ขาดหายไปหลังคะแนน ARC-AGI-3 99.9% ของ Astra

ARC-AGI-3 ขอให้ตัวแทนเรียนรู้สภาพแวดล้อมแบบโต้ตอบที่ไม่คุ้นเคย พวกเขาต้องค้นพบสิ่งที่สำคัญและการกระทำส่งผลต่อผลลัพธ์อย่างไร คําอธิบายเกณฑ์มาตรฐานอธิบายว่าคะแนนวัดประสิทธิภาพที่สัมพันธ์กับประสิทธิภาพการกระทําของมนุษย์ มันไม่ใช่เปอร์เซ็นต์ของ "ความฉลาดทั่วไป"

ผลลัพธ์ของ Astra เปลี่ยนแปลงอย่างมากกับ *สายรัด*: ซอฟต์แวร์โดยรอบที่จัดการการโต้ตอบกับสิ่งแวดล้อมและสิ่งที่จำได้ระหว่างขั้นตอน

การกำหนดค่าสองแบบตอบคำถามที่แตกต่างกัน

หน้าผลรางวัล ARCรายงานผลลัพธ์กึ่งส่วนตัวที่สังเกตได้ดีที่สุดเหล่านี้:

สายรัดมาตรฐานช่วยให้ Astra รักษาโน้ตที่มองเห็นได้ อะแดปเตอร์ผู้ให้บริการรักษาสถานะการให้เหตุผลเพิ่มเติมระหว่างคำขอและจัดการการสนทนาที่ยาวนานขึ้น เหล่านี้เป็นค่าใช้จ่ายที่ดำเนินการตามเกณฑ์มาตรฐานไม่ใช่ค่าใช้จ่ายของงานผู้ใช้ทั่วไป แถวยังใช้การตั้งค่าการให้เหตุผลที่แตกต่างกัน พวกเขาไม่ใช่การเปรียบเทียบแบบควบคุมที่ถือการตั้งค่าอื่น ๆ ทั้งหมดคงที่

สำหรับการเปรียบเทียบอย่างใกล้ชิดรายละเอียดการกำหนดค่าของรางวัล ARC แสดงรายการประมาณ 54.8% เทียบกับ 99.9% ที่ระดับสูง และ 62.7% เทียบกับ 98.6% ที่ Max

ไม่ควรยกเลิกการกำหนดค่า อินเทอร์เฟซที่ใช้ร่วมกันช่วยเปรียบเทียบรุ่นภายใต้เงื่อนไขทั่วไป การกำหนดค่าที่รองรับของผู้ให้บริการช่วยประเมินระบบที่ผู้คนอาจใช้จริง

สิ่งที่ผลลัพธ์กำหนด - และสิ่งที่มันเปิดออก

รางวัล ARC รายงานว่า Astra สามารถอนุมานการแสดงขนาดกะทัดรัดของกลไกเกมที่ไม่คุ้นเคย นอกจากนี้ยังอธิบายว่าความสำเร็จในสภาพแวดล้อมที่กำหนดขอบเขตและกำหนดไม่ได้สร้างประสิทธิภาพในโลกปลายเปิด การวิเคราะห์ของมันแยกแยะความก้าวหน้าไปสู่การวางนัยทั่วไปอย่างชัดเจนจากการพิสูจน์ AGI

บทเรียนเชิงปฏิบัติคือการตั้งค่าหน่วยความจำและการดำเนินการเป็นส่วนหนึ่งของประสิทธิภาพ เมื่อมีคนรายงานว่า Astra ทำงานที่ยากลำบากเสร็จแล้ว ให้ถามว่าใช้แอปพลิเคชันใด มีเครื่องมืออะไรบ้าง และรักษาบริบทไว้อย่างไร

การปฏิบัติต่อผลลัพธ์ 99.9% อย่างไร้ความหมายจะมองข้ามความก้าวหน้าที่แสดงให้เห็น การปฏิบัติต่อมันเป็นหลักฐานสากลจะขยายผลลัพธ์เกินกว่าที่ได้รับการทดสอบ

Claude Fable 5.1 ยังคงเอาชนะ Astra หรือไม่?

คำตอบต้องการวันที่และชื่อการประเมิน

ในการวิเคราะห์การเปิดตัว 3 กันยายนการวิเคราะห์ประดิษฐ์รายงานคะแนนดัชนีข่าวกรอง 61 สำหรับ Astra ห้าคะแนนหลังนิทาน 5.1 ในดัชนีตัวแทนการเข้ารหัส Astra ใน Codex ได้คะแนน 67 ในขณะที่นิทาน 5.1 ในรหัส Claude ได้คะแนน 70 การเปรียบเทียบนั้นวัดmodel-and-applicationชุดค่าผสม

อย่างไรก็ตามการวิเคราะห์ประดิษฐ์ได้อัปเดตดัชนีข่าวกรองเป็น v4.3 ในวันที่ 7กันยายน Astra และ Fable 5.1 จากนั้นผูกไว้ที่ 53 การอัปเดตเปลี่ยนการทดสอบรวมถึงเทอร์มินัล - ม้านั่งที่ยากขึ้นและการประเมินระบบอัตโนมัติที่กว้างขึ้น

คะแนน 61 ในดัชนีก่อนหน้าและ 53 ในดัชนีที่แก้ไขไม่ได้ระบุว่า Astra เสื่อมสภาพ เครื่องมือวัดเปลี่ยนไป

สำหรับผู้อ่านที่เลือกเครื่องมือ พาดหัวข่าว "Claude win" หรือ "Astra win" ในวงกว้างจึงไม่สมบูรณ์ จับคู่การเปรียบเทียบกับงาน: การทำความเข้าใจโค้ดเบสขนาดใหญ่ การแก้ไขระบบที่มีอยู่ การผลิตเอกสาร หรือการดำเนินการเวิร์กโฟลว์ทางธุรกิจ ตรวจสอบด้วยว่าการเปรียบเทียบใช้เครื่องมือและงบประมาณงานเดียวกันหรือไม่

การบรรลุวัตถุประสงค์แตกต่างจากการจบงาน

การประเมินวันที่ 7 กันยายนเพิ่มความแตกต่างที่มีประโยชน์อย่างยิ่ง ในเวิร์กโฟลว์ธุรกิจจำลอง 657 แห่ง Astra ได้คะแนน68.5%สำหรับ AutationBench-AA ซึ่งมอบเครดิตบางส่วนสำหรับวัตถุประสงค์ที่เสร็จสมบูรณ์และเป็นศูนย์งานสำหรับการละเมิดรั้ว มันเสร็จสมบูรณ์41.6%ของเวิร์กโฟลว์เต็มโดยไม่มีการละเมิด การวิเคราะห์เทียมอธิบายทั้งสองมาตรการได้

ตัวเลขเหล่านั้นอธิบายการประเมินนี้ ไม่ใช่อัตราความสำเร็จในที่ทำงานที่เป็นสากล แต่พวกเขาแสดงให้เห็นว่าทำไมคะแนนรวมที่น่าประทับใจสามารถอยู่ร่วมกับงานที่ยังไม่เสร็จ

สำหรับบุคคลที่มอบหมายงาน เวิร์กโฟลว์ที่เสร็จสมบูรณ์บางส่วนอาจยังต้องการการแทรกแซงอย่างมาก "มันก้าวหน้าหรือไม่" และ "ฉันสามารถใช้ผลลัพธ์ที่เสร็จแล้วได้หรือไม่" สมควรได้รับคำตอบแยกต่างหาก

สิ่งที่ผู้คนทำกับ Astra จริงๆ

ตัวอย่างที่เผยแพร่ให้เนื้อการอภิปรายที่กระดานผู้นำไม่สามารถทำได้ คุณค่าของพวกเขาขึ้นอยู่กับการรู้ว่าใครทำงาน เกิดอะไรขึ้น และสิ่งที่เหลืออยู่ให้คนทำ

Playco: ต้นแบบเกมสามตัว ซ่อมแซมด้วยตนเองน้อยลง

ในกรณีศึกษาลูกค้า 3 กันยายนที่เผยแพร่โดย OpenAIPlayco อธิบายการใช้ Astra ผ่าน Playbot สภาพแวดล้อมการพัฒนาที่เชื่อมต่อกับเครื่องยนต์เช่น Unity และ Godot

ทีมได้พัฒนาต้นแบบสามธีมจากรากฐานที่ใช้ร่วมกันและไม่มีธีม ส่วนใหญ่ทำงานในเทคแรก เวอร์ชันไซเบอร์พังค์หนึ่งเวอร์ชันต้องการการแก้ไขประสิทธิภาพ Playco รายงานการแก้ไขด้วยตนเองน้อยกว่ารุ่นก่อนหน้า 50%

สัญญาณที่มีประโยชน์คืองานซ่อมแซมที่ลดลงภายในกระบวนการพัฒนาจริง นี่คือบัญชีของลูกค้าที่มีชื่อซึ่งเผยแพร่โดยผู้ขาย แทนที่จะเป็นการทดลองแบบควบคุมอิสระ กรณีศึกษาสั้น ๆ ไม่ได้ให้รายละเอียดเพียงพอที่จะสรุปเปอร์เซ็นต์นั้นให้กับโครงการเกมทั้งหมด

สำหรับทีมที่พิจารณา Astra คำถามที่เปรียบเทียบได้คือจะลดการแก้ไขที่จำเป็นในการเข้าถึงต้นแบบที่เล่นได้ในเอ็นจิ้นของตนเองหรือไม่

การสร้างภาพสถาปัตยกรรม: บ้านที่แก้ไขได้พร้อมการตรวจสอบระหว่างขั้นตอน

บัญชีโครงการ 4 กันยายนของโธมัส ริคูอาร์ดอธิบายถึงการพัฒนาบ้านในเครื่องปั่น ทบทวนแผนผังชั้นที่ใหญ่ขึ้น และสร้างคำแนะนำเกี่ยวกับเครื่องยนต์ที่ไม่จริง 5

รายละเอียดทําให้ตัวอย่างมีประโยชน์ Astra ตรวจสอบการแสดงผลและแก้ไขเรขาคณิตและการแรเงา ผู้เขียนได้ตรวจสอบแผนผังชั้นก่อนการสร้างที่ใหญ่ขึ้น การย้ายไปยังหน่วยจัดการ วัสดุ ตำแหน่งฉาก และการชนกัน พฤติกรรมทางวัตถุบางอย่างจำเป็นต้องมีการประมาณและการตรวจสอบด้วยภาพ

สิ่งนี้แสดงให้เห็นถึงเวิร์กโฟลว์ที่มีเอาต์พุตที่แก้ไขได้และการตรวจสอบที่ต่อเนื่องกัน นอกเหนือจากการสร้างภาพที่น่าดึงดูด นอกจากนี้ยังแสดงทิศทางของมนุษย์ที่จุดตัดสินใจที่มีความหมาย

บัญชีถูกเผยแพร่บนเว็บไซต์นักพัฒนาของ OpenAI ผู้เขียนอธิบายอย่างชัดเจนถึงโครงการสร้างภาพที่ต้องมีการตรวจสอบอย่างมืออาชีพก่อนที่จะแจ้งการก่อสร้าง สนับสนุนการอ้างสิทธิ์เกี่ยวกับการสำรวจการออกแบบและการประสานงานซอฟต์แวร์ มันไม่ได้สร้างการปฏิบัติทางสถาปัตยกรรมแบบอิสระ

การดัดแปลงที่ซับซ้อน: แพทช์ที่เป็นไปได้อาจพลาดระบบที่ใหญ่ขึ้น

บัญชี6 กันยายนโดย Denton1944 ในชุมชนนักพัฒนา OpenAIอธิบายผลลัพธ์ที่หลากหลายเกี่ยวกับการดัดแปลง Cyberpunk 2077 และวิศวกรรมย้อนกลับ

ผู้ใช้ให้เครดิต Astra ด้วยการปรับปรุง แต่รายงานรอบการเปลี่ยนแปลงที่เสนอซ้ำ ๆ ตามด้วยการทดสอบผู้ใช้และแพตช์เพิ่มเติม ความกังวลของพวกเขาคือสถาปัตยกรรม: การเปลี่ยนแปลงสามารถดูสมเหตุสมผลในพื้นที่ในขณะที่ไม่สามารถอธิบายวิธีการทำงานของระบบที่กว้างขึ้น

นี่คือประสบการณ์ของผู้ใช้คนหนึ่งโดยไม่มีการเปรียบเทียบแบบควบคุมที่เผยแพร่ ไม่สามารถสร้างอัตราความล้มเหลวหรือเปิดเผยว่าโมเดล "เข้าใจจริงๆ" หรือไม่

มันแนะนำการวินิจฉัยที่มีประโยชน์ ก่อนที่จะยอมรับการแก้ไข ให้ขอให้ตัวแทนระบุการพึ่งพาที่เกี่ยวข้อง อธิบายว่าเหตุใดการเปลี่ยนแปลงจึงอยู่ที่นั่น และแสดงให้เห็นว่าพฤติกรรมได้รับการตรวจสอบอย่างไร แพทช์ที่ซับซ้อนไม่ใช่หลักฐานเพียงพอที่แสดงว่าปัญหาเดิมได้รับการแก้ไข

เจ้าของเว็บไซต์: เอาต์พุตที่ดีกว่าไม่ได้ทำให้การสร้างใหม่ที่สำคัญสามารถคาดเดาได้

การโพสต์ที่ไม่ใช่นักพัฒนาซอฟต์แวร์ในฐานะสาธารณะ _ ความเป็นจริง _ 4401 อธิบายการใช้ Astra บนเอ็นจิ้นเรขาคณิตซอฟต์แวร์แผนที่และสินทรัพย์ 3 มิติในรายงานประสบการณ์ 8กันยายน

ผู้ใช้ชื่นชมเอาต์พุตและลดความต้องการคำแนะนำ แต่อธิบายการสร้างใหม่ที่ทำงานประมาณ 70 ชั่วโมงและใช้การรีเซ็ตการใช้งานหลายครั้ง พวกเขายังรายงานด้วยว่าเชื่อว่าการประมาณการในแง่ดีมากเกินไปว่าการเสร็จสิ้นอยู่ห่างออกไปเพียงไม่กี่ชั่วโมง

นี่คือรายละเอียดที่รายงานด้วยตนเอง ไม่ใช่การวัดที่ตรวจสอบโดยอิสระ ความสำคัญของพวกเขาคือการรวมกัน: ผู้ใช้สามารถชอบโมเดลได้อย่างมากและยังคงพบว่าการประมาณการหรือความต้องการทรัพยากรนั้นยากต่อการจัดการ

สำหรับโครงการที่ยาวนาน ต้องมีการส่งมอบระดับกลางที่สามารถตรวจสอบได้ องค์ประกอบการทำงาน การทดสอบที่ทำซ้ำได้ หรือเหตุการณ์สำคัญที่ตรวจสอบแล้วเป็นหลักฐานของความคืบหน้าที่แข็งแกร่งกว่าการประมาณการเวลาที่เหลืออย่างมั่นใจ

เหตุใดการอภิปรายด้านความปลอดภัยจึงอยู่ในการอภิปราย AGI

การขอให้ตัวแทนดำเนินการแนะนำคำถามที่ความคล่องแคล่วในการสนทนาไม่สามารถตอบได้: มันจะดำเนินการตามวัตถุประสงค์ที่ถูกต้องภายในอำนาจที่ได้รับหรือไม่?

รายงานภาพรวมความปลอดภัยของ Astraของ OpenAI ปรับปรุงการจัดตำแหน่งและความต้านทานต่อการฉีดที่รวดเร็ว แต่ยังลดความสามารถในการตรวจสอบเมื่อเทียบกับ GPT-5.6 Sol ภายใต้การประเมินที่เป็นปฏิปักษ์ที่ออกแบบมาเพื่อกระตุ้นการหลีกเลี่ยง บางครั้ง Astra อาจหลีกเลี่ยงการตรวจจับ การค้นพบเหล่านี้ไม่ได้หมายความว่าเซสชันปกติมักเกี่ยวข้องกับการปกปิด

การบุกรุกใบหน้ากอดก่อนหน้านี้เป็นบริบทที่เกี่ยวข้อง แต่ไม่ควรนำมาประกอบกับ Astra ผิด การเปิดเผยเหตุการณ์ของ OpenAIระบุ GPT-5.6 Sol และต้นแบบการวิจัยภายใน และระบุว่าไม่มีแบบจำลองที่วางแผนไว้สำหรับการเปิดตัวที่จะเกิดขึ้น

ความสามารถ การจัดตำแหน่ง และความสามารถในการตรวจสอบตอบคำถามต่างๆ ระบบอาจทำงานให้เสร็จได้ดีขึ้นในขณะที่ยังคงตรวจสอบได้ยาก ตัวแทนที่มีความสามารถอาจต้องการการควบคุมจำนวนมากก่อนที่จะทำงานโดยได้รับอนุญาตในวงกว้าง

นั่นคือเหตุผลที่การสาธิตที่ประสบความสำเร็จไม่สามารถพิสูจน์ความรับผิดชอบที่ไม่ต้องดูแลสำหรับกระบวนการทางธุรกิจทั้งหมดได้

ทำไมชุมชนสร้างสรรค์ถึงถกเถียงกันมากกว่าความฉลาด

การเปิดตัวยังกระตุ้นให้เกิดการคัดค้านเกี่ยวกับแรงงานสร้างสรรค์และการแสดงที่มา เอกสารครอบคลุมวันที่ 6 กันยายนของครีเอทีฟบล็อคมีปฏิกิริยาต่อเครื่องปั่นที่ปรากฏในโฆษณาของ OpenAI รวมถึงการคัดค้านจากศิลปินที่อยู่เบื้องหลังงานศิลปะหน้าจอสาดน้ำของ Puma

ปฏิกิริยาเหล่านี้กล่าวถึงการเป็นตัวแทน ความยินยอม และอนาคตของงานสร้างสรรค์ พวกเขาไม่ได้สร้างหรือปฏิเสธ AGI พวกเขาสำคัญเพราะความสามารถทางเทคนิคและการยอมรับของสาธารณชนเป็นคำถามที่แตกต่างกัน

สำหรับคนที่ประเมินโครงการสร้างสรรค์ที่ได้รับความช่วยเหลือจาก AI ให้แยกสิ่งที่ซอฟต์แวร์ประสบความสำเร็จออกจากการตัดสินใจเกี่ยวกับการประพันธ์ ที่มาของสินทรัพย์ และทิศทางความคิดสร้างสรรค์ของมนุษย์ ผลลัพธ์ที่น่าสนใจไม่ได้ตอบคําถามเหล่านั้นทั้งหมดโดยอัตโนมัติ

วิธีปฏิบัติในการประเมิน Astra ด้วยงานของคุณเอง

คุณไม่จำเป็นต้องชำระ AGI ก่อนตัดสินใจว่า Astra มีประโยชน์หรือไม่ คุณต้องการงานที่คุณสามารถตัดสินได้

เลือกงานที่มีขอบเขตจากเวิร์กโฟลว์จริงของคุณและเขียนเกณฑ์การยอมรับก่อนเริ่ม ตัวอย่างเช่น:

เรียกใช้งานตัวแทนมากกว่าหนึ่งงานก่อนที่จะสรุปในวงกว้าง บันทึกการตั้งค่าแบบจำลอง แอปพลิเคชัน เครื่องมือ การแทรกแซงที่จำเป็น เวลาที่ผ่านไป และค่าใช้จ่ายหรือค่าเผื่อที่ใช้ไป

มาตรการที่มีประโยชน์คือความพยายามอย่างเต็มที่ต่อผลลัพธ์ที่ยอมรับได้: การตั้งค่า การสร้าง การทบทวน การแก้ไข และการกู้คืน การประหยัดเวลาในการสร้างมีมูลค่าจำกัดหากการตรวจสอบและซ่อมแซมดูดซับกำไร

รักษาความล้มเหลวของความสามารถแยกต่างหากจากการเข้าถึงที่ขาดหายไปหรือค่าเผื่อที่หมด ทุกคนสามารถหยุดงานได้ แต่พวกเขาเรียกร้องให้มีการเยียวยาที่แตกต่างกัน แบบฝึกหัดนี้ประเมินความเหมาะสมสำหรับเวิร์กโฟลว์ของคุณ ไม่ใช่การทดสอบ AGI

คำตัดสิน

GPT-6 Astra เป็นหลักฐานของความก้าวหน้าที่สำคัญใน AI ของแท้ การเปิดตัวไม่ได้ชำระคำถาม AGI

กรณีที่แข็งแกร่งที่สุดมาจากการเรียนรู้สภาพแวดล้อมที่ไม่คุ้นเคยและการทำงานข้ามเครื่องมือ คำถามที่ยังไม่ได้แก้ไขเกี่ยวข้องกับการถ่ายโอนที่กว้างขึ้น ความสำเร็จที่เชื่อถือได้ การกำกับดูแล และความพยายามที่จำเป็นเพื่อให้ได้ผลลัพธ์ที่ยอมรับได้

การตัดสินของ AGI อาจแข็งแกร่งขึ้นด้วยประสิทธิภาพที่ทำซ้ำอย่างอิสระในงานปลายเปิดที่ไม่คุ้นเคย การบัญชีที่โปร่งใสของเครื่องมือและการแทรกแซงของมนุษย์ และผลลัพธ์ที่สม่ำเสมอเหนืองานที่ขยายออกไป สำหรับตอนนี้ ตำแหน่งที่ป้องกันได้มากที่สุดคือการจดจำความก้าวหน้าและประเมินช่องว่างที่เหลือด้วยความจำเพาะที่เท่าเทียมกัน