AMD โชว์การรันโมเดล LLM ขนาดใหญ่ 128B บนพีซีวินโดวส์ Ryzen AI Max+
Body
AMD โชว์การรันโมเดลภาษาขนาดใหญ่ Llama 4 Scout ขนาดพารามิเตอร์ 109B และ Mistral Large 2411 ขนาด 123B บนพีซีวินโดวส์ที่ใช้ชิป AMD Ryzen AI Max+ 395 แรม 128GB
แม้ต้องใช้ซีพียูตัวแรงสุด และอัดแรมให้เยอะถึง 128GB ซึ่งคนทั่วไปมักไม่ค่อยมีใช้กัน แต่ AMD ก็สามารถปรับแต่งซอฟต์แวร์ Adrenalin Edition WHQL driver เวอร์ชันใหม่ ให้สามารถรันโมเดลขนาดใหญ่สูงสุด 128B บนพีซีได้สำเร็จ
เทคนิคที่ AMD ใช้งานคือการทำ quantization ลดขนาดของโมเดลลง จากความแม่นยำ 16-bit เหลือ 4-bit ทำให้โมเดลขนาดใหญ่ 2 ตัวดังกล่าว ต้องการแรมประมาณ 64-67GB สามารถรันในแรมจีพียูขนาด 96GB ได้ (หากใช้โมเดลตัวเล็กลง ปริมาณแรมที่ต้องใช้ก็จะลดหลั่นลงไป ดูภาพประกอบ)
ผู้ที่มีชิป Ryzen AI Max+ สามารถลองดาวน์โหลดแอพ LM Studio มาทดสอบเองบนวินโดวส์ โดยต้องใช้ไดรเวอร์ Adrenalin เวอร์ชัน 25.8.1 ที่ยังมีสถานะเป็น Preview
ที่มา - AMD, AMD
mk Wed, 30/07/2025 - 19:58
Continue reading...
Body
AMD โชว์การรันโมเดลภาษาขนาดใหญ่ Llama 4 Scout ขนาดพารามิเตอร์ 109B และ Mistral Large 2411 ขนาด 123B บนพีซีวินโดวส์ที่ใช้ชิป AMD Ryzen AI Max+ 395 แรม 128GB
แม้ต้องใช้ซีพียูตัวแรงสุด และอัดแรมให้เยอะถึง 128GB ซึ่งคนทั่วไปมักไม่ค่อยมีใช้กัน แต่ AMD ก็สามารถปรับแต่งซอฟต์แวร์ Adrenalin Edition WHQL driver เวอร์ชันใหม่ ให้สามารถรันโมเดลขนาดใหญ่สูงสุด 128B บนพีซีได้สำเร็จ
เทคนิคที่ AMD ใช้งานคือการทำ quantization ลดขนาดของโมเดลลง จากความแม่นยำ 16-bit เหลือ 4-bit ทำให้โมเดลขนาดใหญ่ 2 ตัวดังกล่าว ต้องการแรมประมาณ 64-67GB สามารถรันในแรมจีพียูขนาด 96GB ได้ (หากใช้โมเดลตัวเล็กลง ปริมาณแรมที่ต้องใช้ก็จะลดหลั่นลงไป ดูภาพประกอบ)
ผู้ที่มีชิป Ryzen AI Max+ สามารถลองดาวน์โหลดแอพ LM Studio มาทดสอบเองบนวินโดวส์ โดยต้องใช้ไดรเวอร์ Adrenalin เวอร์ชัน 25.8.1 ที่ยังมีสถานะเป็น Preview
ที่มา - AMD, AMD
mk Wed, 30/07/2025 - 19:58
Continue reading...