news Red Hat เปิดตัว AI Inference Server ระบบเซิร์ฟเวอร์รัน AI ด้วย vLLM

[News News is verified member.]

Red Hat เปิดตัว AI Inference Server ระบบเซิร์ฟเวอร์รัน AI ด้วย vLLM
Body

Red Hat เปิดตัว AI Inference Server ชุดซอฟต์แวร์สำหรับทำเซิร์ฟเวอร์รันงาน AI ตามสมัยนิยม

พื้นฐานของมันคือ Red Hat Enterprise Linux AI (RHEL AI) และ Red Hat OpenShift AI แล้วรันซอฟต์แวร์ยอดนิยมอย่าง vLLM ไลบรารีสำหรับการรัน LLM inference และเรียกโมเดลจากบน Hugging Face

ศูนย์กลางของ Red Hat AI Inference Server ย่อมเป็น vLLM ซึ่งกำเนิดจากโครงการวิจัยของ University of California, Berkeley และใช้เทคนิค PagedAttention จัดการแบ่งส่วนจีพียู รวมถึงเทคนิคปรับแต่งประสิทธิภาพอื่นๆ (เช่น LLM Compressor) เพื่อให้โมเดลรันในเครื่องเซิร์ฟเวอร์ทั่วไปได้

Red Hat AI Inference Server สามารถทำงานบนฮาร์ดแวร์ได้หลากหลาย รองรับจีพียู NVIDIA, AMD รวมถึง Google TPU

ชุดซอฟต์แวร์ Red Hat AI Inference Server สามารถรันได้บนลินุกซ์ค่ายอื่นๆ ได้ด้วย ออกแบบมาเพื่อความ portability รันได้ทั้งบนคลาวด์และรันแบบ on-premise (สโลแกนคือ any model, any accelerator, any cloud) ส่วนวิธีคิดเงินบอกว่านับตามจำนวนจีพียูหรือชิปเร่งความเร็ว AI

ที่มา - Red Hat

mk Wed, 05/21/2025 - 19:51

Continue reading...