Amazon เปิดตัวชิป Trainium 3 ประสิทธิภาพดีขึ้น 4.4 เท่า ต่อกันได้สูงสุด 1 ล้านตัว
Body
Amazon เปิดตัวชิปเร่งความเร็วปัญญาประดิษฐ์ Trainium 3 ถือเป็นอัพเกรดใหญ่จาก Trainium 2 ที่เปิดตัวในปี 2023
ชิป Trainium 3 ออกแบบมาเพื่อตอบโจทย์โมเดลที่ขนาดใหญ่ขึ้นเรื่อยๆ ในช่วงหลัง ใช้กระบวนการผลิต 3nm ประหยัดพลังงานขึ้นจากเดิม 40%, ประสิทธิภาพการประมวลผลเพิ่ม 4.4 เท่า, แบนด์วิดท์แรมเพิ่มขึ้นเกือบ 4 เท่า ชิปหนึ่งตัวมีสมรรถนะ 2.52 petaflops (PFLOPs) แบบ FP8
ในโอกาสเดียวกัน Amazon EC2 เปิดบริการให้เช่าเครื่อง Trainium 3 UltraServers (Trn3) ที่อัดชิป Trainium 3 ได้สูงสุด 144 ตัว สมรรถนะรวมสูงสุด 362 FP8 PFLOPs เยอะกว่าเครื่องรุ่น Trainium 2 ถึง 4.4 เท่า, ระบบเครือข่ายเปลี่ยนมาใช้ NeuronSwitch-v1 ตัวใหม่ที่มีแบนด์วิดท์เพิ่มขึ้น 2 เท่า และลด latency ของการส่งข้อมูลระหว่างชิปลงเหลือ 10 ms
ลูกค้าที่ต้องการใช้พลังประมวลผลมากๆ ยังสามารถนำ Trn3 มาต่อกันเป็น EC2 UltraClusters 3.0 ที่รวมพลังของชิปได้สูงสุด 1 ล้านตัว (ถ้ามีเงินมากพอ!) สเกลใหญ่ขึ้นกว่ารุ่นที่แล้ว 10 เท่าตัว
ตัวอย่างลูกค้าที่ใช้ Trainium 3 แล้วคือ Anthropic, Karakuri, Metagenomi, NetoAI, Ricoh, Splash Music และตอนนี้เปิดให้บริการบน Amazon Bedrock ด้วยเช่นกัน
Amazon ยังประกาศว่าเริ่มพัฒนา Trainium 4 แล้ว ตั้งเป้าหมายมีประสิทธิภาพดีขึ้น 6 เท่า (FP4) และ 3 เท่า (FP8) แบนด์วิดท์แรมเพิ่มขึ้น 4 เท่า รวมถึงจะรองรับ การเชื่อมต่อผ่าน NVLink Fusion ของค่าย NVIDIA ด้วย
ที่มา - Amazon
mk Wed, 03/12/2025 - 06:43
Continue reading...
Body
Amazon เปิดตัวชิปเร่งความเร็วปัญญาประดิษฐ์ Trainium 3 ถือเป็นอัพเกรดใหญ่จาก Trainium 2 ที่เปิดตัวในปี 2023
ชิป Trainium 3 ออกแบบมาเพื่อตอบโจทย์โมเดลที่ขนาดใหญ่ขึ้นเรื่อยๆ ในช่วงหลัง ใช้กระบวนการผลิต 3nm ประหยัดพลังงานขึ้นจากเดิม 40%, ประสิทธิภาพการประมวลผลเพิ่ม 4.4 เท่า, แบนด์วิดท์แรมเพิ่มขึ้นเกือบ 4 เท่า ชิปหนึ่งตัวมีสมรรถนะ 2.52 petaflops (PFLOPs) แบบ FP8
ในโอกาสเดียวกัน Amazon EC2 เปิดบริการให้เช่าเครื่อง Trainium 3 UltraServers (Trn3) ที่อัดชิป Trainium 3 ได้สูงสุด 144 ตัว สมรรถนะรวมสูงสุด 362 FP8 PFLOPs เยอะกว่าเครื่องรุ่น Trainium 2 ถึง 4.4 เท่า, ระบบเครือข่ายเปลี่ยนมาใช้ NeuronSwitch-v1 ตัวใหม่ที่มีแบนด์วิดท์เพิ่มขึ้น 2 เท่า และลด latency ของการส่งข้อมูลระหว่างชิปลงเหลือ 10 ms
ลูกค้าที่ต้องการใช้พลังประมวลผลมากๆ ยังสามารถนำ Trn3 มาต่อกันเป็น EC2 UltraClusters 3.0 ที่รวมพลังของชิปได้สูงสุด 1 ล้านตัว (ถ้ามีเงินมากพอ!) สเกลใหญ่ขึ้นกว่ารุ่นที่แล้ว 10 เท่าตัว
ตัวอย่างลูกค้าที่ใช้ Trainium 3 แล้วคือ Anthropic, Karakuri, Metagenomi, NetoAI, Ricoh, Splash Music และตอนนี้เปิดให้บริการบน Amazon Bedrock ด้วยเช่นกัน
Amazon ยังประกาศว่าเริ่มพัฒนา Trainium 4 แล้ว ตั้งเป้าหมายมีประสิทธิภาพดีขึ้น 6 เท่า (FP4) และ 3 เท่า (FP8) แบนด์วิดท์แรมเพิ่มขึ้น 4 เท่า รวมถึงจะรองรับ การเชื่อมต่อผ่าน NVLink Fusion ของค่าย NVIDIA ด้วย
ที่มา - Amazon
mk Wed, 03/12/2025 - 06:43
Continue reading...