บริษัทคอมพิวเตอร์ gptshop.ai ประกาศขายพีซีสำหรับใช้ในบ้านแต่ใช้ชิป NVIDIA GH200 ซีพียูพร้อมชิปกราฟิกจาก NVIDIA ที่มักใช้งานกันในเซิร์ฟเวอร์เป็นหลัก หลักจากผู้ก่อตั้งบริษัทพบว่าชิปสำหรับผู้ใช้ทั่วไปอย่าง NVIDIA RTX 4090 นั้นไม่พอรันโมเดลปัญญาประดิษฐ์ใหม่ๆ
ชิป GH200 นั้นเริ่มต้นรุ่นต่ำสุดมาพร้อมแรม LPDDR5X ขนาด 480GB และส่วนกราฟิก H100 พร้อมแรม HBM3 96GB ทำให้รุ่นเริ่มต้นมีแรมรวม 576GB ราคารุ่นเริ่มต้นอยู่ที่ 47,500 ยูโร หรือ 1.85 ล้านบาท เพียงพอสำหรับการรัน Llama 2 70B ของ Meta แบบย่อ (quantized) เป็น FP8 หากซื้อรุ่นแรมกราฟิก 144GB ก็จะรันแบบ FP16 ได้ด้วย หรือจะคอนฟิกให้ใช้แรมซีพียูก็จะรันโมเดลขนาดใหญ่ขึ้นได้ แต่โมเดลจะรันช้าลง
ความยากในการสร้างพีซีด้วยชิป GH200 คือการระบายความร้อนที่เซิร์ฟเวอร์ปกติพยายามระบายความร้อนระดับพันวัตต์ออกจากเครื่องให้เร็วที่สุดโดยไม่สนใจเสียงนัก แต่ gptstore.ai ต้องออกแบบเครื่องใหม่ให้เสียงเบาลงพอจะใช้งานในบ้านได้
ชิป GH200 ไม่ได้มีขายแยกชิ้นจาก NVIDIA เครื่องที่มีขายได้นี้เพราะบริษัทซื้อเซิร์ฟเวอร์เต็มตัวจาก QCT มาดัดแปลงจนเป็นเครื่องใช้งานในบ้าน อย่างไรก็ดี NVIDIA เองเคยขายเครื่อง DGX Station สำหรับใช้งานแบบเดสก์ทอปมาก่อนในสมัยชิป A100 แต่ยังไม่ได้อัพเดตให้รองรับชิป H100 หรือ GH200
ที่มา - The Register
Topics:
NVIDIA
GPGPU
Artificial Intelligence
อ่านต่อ...
ชิป GH200 นั้นเริ่มต้นรุ่นต่ำสุดมาพร้อมแรม LPDDR5X ขนาด 480GB และส่วนกราฟิก H100 พร้อมแรม HBM3 96GB ทำให้รุ่นเริ่มต้นมีแรมรวม 576GB ราคารุ่นเริ่มต้นอยู่ที่ 47,500 ยูโร หรือ 1.85 ล้านบาท เพียงพอสำหรับการรัน Llama 2 70B ของ Meta แบบย่อ (quantized) เป็น FP8 หากซื้อรุ่นแรมกราฟิก 144GB ก็จะรันแบบ FP16 ได้ด้วย หรือจะคอนฟิกให้ใช้แรมซีพียูก็จะรันโมเดลขนาดใหญ่ขึ้นได้ แต่โมเดลจะรันช้าลง
ความยากในการสร้างพีซีด้วยชิป GH200 คือการระบายความร้อนที่เซิร์ฟเวอร์ปกติพยายามระบายความร้อนระดับพันวัตต์ออกจากเครื่องให้เร็วที่สุดโดยไม่สนใจเสียงนัก แต่ gptstore.ai ต้องออกแบบเครื่องใหม่ให้เสียงเบาลงพอจะใช้งานในบ้านได้
ชิป GH200 ไม่ได้มีขายแยกชิ้นจาก NVIDIA เครื่องที่มีขายได้นี้เพราะบริษัทซื้อเซิร์ฟเวอร์เต็มตัวจาก QCT มาดัดแปลงจนเป็นเครื่องใช้งานในบ้าน อย่างไรก็ดี NVIDIA เองเคยขายเครื่อง DGX Station สำหรับใช้งานแบบเดสก์ทอปมาก่อนในสมัยชิป A100 แต่ยังไม่ได้อัพเดตให้รองรับชิป H100 หรือ GH200
ที่มา - The Register
Topics:
NVIDIA
GPGPU
Artificial Intelligence
อ่านต่อ...
