DeepMind โชว์โมเดล SIMA 2 เล่นเกม 3D เก่งขึ้น คิดเป็นเหตุผล ความสามารถเข้าใกล้มนุษย์
Body
ปีที่แล้ว DeepMind โชว์ปัญญาประดิษฐ์ชื่อ Scalable Instructable Multiworld Agent (SIMA) ที่มีความสามารถเล่นเกม 3 มิติ เข้าใจโลก 3 มิติในเกมได้
ปีนี้ DeepMind กลับมาพร้อม SIMA 2 ที่เพิ่มความสามารถขึ้น โดยผนวกเอาความสามารถด้านเข้าใจภาษาและการให้เหตุผลของโมเดลตระกูล Gemini เข้ามาในตัว ทำให้ SIMA 2 พัฒนาจากการทำตามคำสั่ง (เดินหน้า เลี้ยวซ้าย ปีนบันได) เพียงอย่างเดียว มาเป็นการคิดและให้เหตุผลมากขึ้น
DeepMind ลองนำ SIMA 2 มาเล่นเกมจริงๆ อย่าง AKSA เกมแนวเอาตัวรอดในยุคไวกิ้ง หากสั่งให้ SIMA 1 ด้วยคำว่า "Find a Campfire" โมเดลจะพยายามเดินวนไปเรื่อยๆ จนกว่าจะทำตามคำสั่งสำเร็จ ซึ่งอาจใช้เวลานาน ในขณะที่ SIMA 2 จะเข้าใจทันทีว่า campfire คืออะไร แล้วพยายามมองหาในบริเวณรอบๆ จุดที่ยืนอยู่ตอนนั้น และพบ campfire ได้ในเวลาไม่นาน
SIMA 2 สามารถอธิบายให้เราทราบ (กลับมาเป็นข้อความ) ว่ามันกำลังพยายามจะทำอะไรหลังจากได้รับคำสั่งของเรา ขั้นตอนที่จะทำคืออะไรบ้าง ความสามารถของมันจะเริ่มเข้าข่ายการเป็น agent เพื่อนร่วมเล่นเกม มากกว่า agent รับคำสั่งอย่างเดียว
การใช้พลังของ Gemini ยังช่วยเรื่องรับอินพุตแบบ multimodal คือใช้ภาพผสมกับข้อความได้ ตัวอย่างคือเกม No Man's Sky เราสามารถวาดภาพเครื่องบินที่ต้องการให้ตัวละครตามหา แล้วโมเดลเข้าใจได้
ความฉลาดของ SIMA 2 ทำให้มีอัตราการทำงานสำเร็จ (task completion) เพิ่มเป็น 65% ใกล้เคียงกับมนุษย์ที่ทำได้ 75% แล้ว เทียบกับ SIMA 1 ที่ทำได้ 31% เท่านั้น
นอกจากเกมที่มีอยู่จริงๆ แล้ว DeepMind ยังนำ SIMA 2 ไปลองเดินเล่นใน โลกเสมือนที่สร้างด้วยโมเดลอีกตัวคือ Genie 3 เพื่อลองให้ SIMA 2 ทำงานในสภาพแวดล้อมที่ไม่เคยเจอมาก่อน ซึ่งก็ทำงานได้ดี และ SIMA 2 ยังสามารถเก็บข้อมูลการลองผิดลองถูกในโลกของเกม เพื่อนำไปเทรนโมเดลใหม่อีกรอบให้เก่งขึ้นได้ด้วย
DeepMind บอกว่า SIMA 2 เป็นอีกเส้นทางหนึ่งไปสู่ AGI คือเป็นโมเดลที่เข้าใจโลกได้ แต่ก็ยอมรับว่า SIMA 2 ยังมีจุดอ่อนเรื่องการทำงานที่ซับซ้อน มีกระบวนการหลายขั้นตอน และต้องการการยืนยันว่าทำสำเร็จจริงหรือไม่ อีกทั้งยังมีความทรงจำที่ค่อนข้างสั้น (relatively short memory) จากข้อจำกัดเรื่อง context window ในปัจจุบันด้วย
ที่มา - DeepMind
mk Sat, 15/11/2025 - 11:27
Continue reading...
Body
ปีที่แล้ว DeepMind โชว์ปัญญาประดิษฐ์ชื่อ Scalable Instructable Multiworld Agent (SIMA) ที่มีความสามารถเล่นเกม 3 มิติ เข้าใจโลก 3 มิติในเกมได้
ปีนี้ DeepMind กลับมาพร้อม SIMA 2 ที่เพิ่มความสามารถขึ้น โดยผนวกเอาความสามารถด้านเข้าใจภาษาและการให้เหตุผลของโมเดลตระกูล Gemini เข้ามาในตัว ทำให้ SIMA 2 พัฒนาจากการทำตามคำสั่ง (เดินหน้า เลี้ยวซ้าย ปีนบันได) เพียงอย่างเดียว มาเป็นการคิดและให้เหตุผลมากขึ้น
DeepMind ลองนำ SIMA 2 มาเล่นเกมจริงๆ อย่าง AKSA เกมแนวเอาตัวรอดในยุคไวกิ้ง หากสั่งให้ SIMA 1 ด้วยคำว่า "Find a Campfire" โมเดลจะพยายามเดินวนไปเรื่อยๆ จนกว่าจะทำตามคำสั่งสำเร็จ ซึ่งอาจใช้เวลานาน ในขณะที่ SIMA 2 จะเข้าใจทันทีว่า campfire คืออะไร แล้วพยายามมองหาในบริเวณรอบๆ จุดที่ยืนอยู่ตอนนั้น และพบ campfire ได้ในเวลาไม่นาน
SIMA 2 สามารถอธิบายให้เราทราบ (กลับมาเป็นข้อความ) ว่ามันกำลังพยายามจะทำอะไรหลังจากได้รับคำสั่งของเรา ขั้นตอนที่จะทำคืออะไรบ้าง ความสามารถของมันจะเริ่มเข้าข่ายการเป็น agent เพื่อนร่วมเล่นเกม มากกว่า agent รับคำสั่งอย่างเดียว
การใช้พลังของ Gemini ยังช่วยเรื่องรับอินพุตแบบ multimodal คือใช้ภาพผสมกับข้อความได้ ตัวอย่างคือเกม No Man's Sky เราสามารถวาดภาพเครื่องบินที่ต้องการให้ตัวละครตามหา แล้วโมเดลเข้าใจได้
ความฉลาดของ SIMA 2 ทำให้มีอัตราการทำงานสำเร็จ (task completion) เพิ่มเป็น 65% ใกล้เคียงกับมนุษย์ที่ทำได้ 75% แล้ว เทียบกับ SIMA 1 ที่ทำได้ 31% เท่านั้น
นอกจากเกมที่มีอยู่จริงๆ แล้ว DeepMind ยังนำ SIMA 2 ไปลองเดินเล่นใน โลกเสมือนที่สร้างด้วยโมเดลอีกตัวคือ Genie 3 เพื่อลองให้ SIMA 2 ทำงานในสภาพแวดล้อมที่ไม่เคยเจอมาก่อน ซึ่งก็ทำงานได้ดี และ SIMA 2 ยังสามารถเก็บข้อมูลการลองผิดลองถูกในโลกของเกม เพื่อนำไปเทรนโมเดลใหม่อีกรอบให้เก่งขึ้นได้ด้วย
DeepMind บอกว่า SIMA 2 เป็นอีกเส้นทางหนึ่งไปสู่ AGI คือเป็นโมเดลที่เข้าใจโลกได้ แต่ก็ยอมรับว่า SIMA 2 ยังมีจุดอ่อนเรื่องการทำงานที่ซับซ้อน มีกระบวนการหลายขั้นตอน และต้องการการยืนยันว่าทำสำเร็จจริงหรือไม่ อีกทั้งยังมีความทรงจำที่ค่อนข้างสั้น (relatively short memory) จากข้อจำกัดเรื่อง context window ในปัจจุบันด้วย
ที่มา - DeepMind
mk Sat, 15/11/2025 - 11:27
Continue reading...