Cerebras ผู้ผลิตชิปปัญญาประดิษฐ์รัน LLM ความเร็วสูงที่สามารถรัน Llama 3.1 405B ได้ความเร็วถึง 969 token/s เปิดเผยถึงแนวทางการออกแบบชิปที่ทำให้สามารถให้บริการได้เร็วระดับนี้ ว่าอาศัยการสร้างชิปขนาดใหญ่ที่มีคอร์จำนวนมหาศาลอยู่ภายใน
แนวทางที่ Cerebras ใช้พัฒนาคือชิป Wafer Scale Engine ของบริษัทนั้นกินพื้นที่เต็มเวเฟอร์ จำนวนคอร์สูงถึง 970,000 คอร์ กินพื้นที่ 46,225 ตารางมิลลิเมตร เทียบกับชิป NVIDIA H100 ที่ขนาดเพียง 814 ตารางมิลลิเมตร ซึ่งก็นับว่าใหญ่มากแล้วเมื่อเทียบกับซีพียูที่เราใช้งานทั่วไป กระบวนการผลิต TSMC 5nm นั้นมีอัตราความผิดพลาดอยู่ที่ 0.001 จุดต่อตารางมิลลเมตร การที่ชิปมีขนาดใหญ่มากแสดงว่าจะมีจุดความผิดพลาดเกิดขึ้นในชิปอย่างค่อนข้างแน่นอน
ผู้ผลิตชิปแทบทุกรายออกแบบชิปให้ทนทานต่อความผิดพลาดการผลิตได้อยู่แล้ว โดยมักใส่จำนวนคอร์ หรือแคช เกินกว่าสเปคที่ขายจริงและเมื่อทดสอบส่วนใดพบความเสียหายก็จะปิดการทำงานในส่วนนั้นไป หรือแยกเกรดชิปออกมาขายคนละราคาแม้ที่จริงจะเป็นชิปที่ผ่านกระบวนการผลิตเดียวกัน
แต่แนวทางของ Cerebras ดันแนวทางนี้ไปไกลกว่าผู้ผลิตอื่นๆ ด้วยการใส่คอร์จำนวนมหาศาลเอาไว้ แต่ชิปสามารถเปิดปิดคอร์ที่เกิดความเสียหายได้อย่างอิสระ และการออกแบบตัวคอร์เองยังมีขนาดเล็กมาก แต่ละคอร์กินพื้นที่เพียง 0.05 ตารางมิลลิเมตร เทียบกับคอร์ H100 ที่กินพื้นที่ 6 ตารางมิลลิเมตร ทำให้เมื่อทดสอบผ่านแล้วชิปที่ทำงานจริงจะมีพื้นที่ซิลิกอนทำงาน 93% ของพื้นที่ทั้งหมด
Cerebras อยู่ระหว่างการนำหุ้นเข้าซื้อขายในตลาด Nasdaq คาดว่าจะเข้าได้กลางปีนี้ แม้บริษัทยังมีผลขาดทุนอยู่
ที่มา - Cerebras
Topics:
Cerebras
LLM
Semiconductor
Continue reading...
แนวทางที่ Cerebras ใช้พัฒนาคือชิป Wafer Scale Engine ของบริษัทนั้นกินพื้นที่เต็มเวเฟอร์ จำนวนคอร์สูงถึง 970,000 คอร์ กินพื้นที่ 46,225 ตารางมิลลิเมตร เทียบกับชิป NVIDIA H100 ที่ขนาดเพียง 814 ตารางมิลลิเมตร ซึ่งก็นับว่าใหญ่มากแล้วเมื่อเทียบกับซีพียูที่เราใช้งานทั่วไป กระบวนการผลิต TSMC 5nm นั้นมีอัตราความผิดพลาดอยู่ที่ 0.001 จุดต่อตารางมิลลเมตร การที่ชิปมีขนาดใหญ่มากแสดงว่าจะมีจุดความผิดพลาดเกิดขึ้นในชิปอย่างค่อนข้างแน่นอน
ผู้ผลิตชิปแทบทุกรายออกแบบชิปให้ทนทานต่อความผิดพลาดการผลิตได้อยู่แล้ว โดยมักใส่จำนวนคอร์ หรือแคช เกินกว่าสเปคที่ขายจริงและเมื่อทดสอบส่วนใดพบความเสียหายก็จะปิดการทำงานในส่วนนั้นไป หรือแยกเกรดชิปออกมาขายคนละราคาแม้ที่จริงจะเป็นชิปที่ผ่านกระบวนการผลิตเดียวกัน
แต่แนวทางของ Cerebras ดันแนวทางนี้ไปไกลกว่าผู้ผลิตอื่นๆ ด้วยการใส่คอร์จำนวนมหาศาลเอาไว้ แต่ชิปสามารถเปิดปิดคอร์ที่เกิดความเสียหายได้อย่างอิสระ และการออกแบบตัวคอร์เองยังมีขนาดเล็กมาก แต่ละคอร์กินพื้นที่เพียง 0.05 ตารางมิลลิเมตร เทียบกับคอร์ H100 ที่กินพื้นที่ 6 ตารางมิลลิเมตร ทำให้เมื่อทดสอบผ่านแล้วชิปที่ทำงานจริงจะมีพื้นที่ซิลิกอนทำงาน 93% ของพื้นที่ทั้งหมด
Cerebras อยู่ระหว่างการนำหุ้นเข้าซื้อขายในตลาด Nasdaq คาดว่าจะเข้าได้กลางปีนี้ แม้บริษัทยังมีผลขาดทุนอยู่
ที่มา - Cerebras
Topics:
Cerebras
LLM
Semiconductor
Continue reading...
![[Canalys] Vivo ขึ้นเป็นแชมป์สมาร์ทโฟนในจีนปี 2024, แอปเปิลร่วงมาอยู่อันดับ 3](https://www.thxf.org/data/attachments/13/13724-03dfa6f151b7de1f60687773f536c431.jpg){kind=small}