แอปเปิลเปิดตัว MLX-LM ไลบรารีไพธอนสำหรับรัน LLM ทำ fine-tuning, KV cache, quantization ได้ในตัว
Body
แอปเปิลเปิดตัวไลบรารี MLX-LM ที่มาพร้อมชุดคำสั่งที่เปิดให้ผู้ใช้สามารถรันโมเดลปัญญาประดิษฐ์แบบ LLM โดยมีความสามารถครบถ้วนตลอดกระบวนการใช้งาน LLM ตั้งแต่การรัน, การแคช, จนถึงการฝึกโมเดลเพิ่มเติม
กระบวนการรัน LLM ของ MLX-LM นั้นรองรับการ KV cache ทำให้โมเดลรันเร็วขึ้น ผู้ใช้สามารถเลือกขนาดหน่วยความจำที่จะใช้แคชได้
คำสั่ง quantization เปิดให้ผู้ใช้สามารถย่อโมเดลได้ด้วยตัวเอง และยังคอนฟิกได้อย่างละเอียด เช่น ย่อบางชั้นเล็กน้อยและย่อบางชั้นให้เล็กเป็นพิเศษ ส่วนกระบวนการ fine-tuning นั้น MLX-LM รองรับทั้งแบบเต็มโมเดลและแบบ LoRA ซึ่งฝึกได้เร็วกว่า
โมเดลที่ใช้งานกับ MLX-LM นั้นยังมีจำกัด แต่รองรับโมเดลยอดนิยม เช่น Mistral, Mixtral, Phi-2, Qwen ตลอดจน DeepSeek
ที่มา - MLX-LM
lew Wed, 11/06/2025 - 21:20
Continue reading...
Body
แอปเปิลเปิดตัวไลบรารี MLX-LM ที่มาพร้อมชุดคำสั่งที่เปิดให้ผู้ใช้สามารถรันโมเดลปัญญาประดิษฐ์แบบ LLM โดยมีความสามารถครบถ้วนตลอดกระบวนการใช้งาน LLM ตั้งแต่การรัน, การแคช, จนถึงการฝึกโมเดลเพิ่มเติม
กระบวนการรัน LLM ของ MLX-LM นั้นรองรับการ KV cache ทำให้โมเดลรันเร็วขึ้น ผู้ใช้สามารถเลือกขนาดหน่วยความจำที่จะใช้แคชได้
คำสั่ง quantization เปิดให้ผู้ใช้สามารถย่อโมเดลได้ด้วยตัวเอง และยังคอนฟิกได้อย่างละเอียด เช่น ย่อบางชั้นเล็กน้อยและย่อบางชั้นให้เล็กเป็นพิเศษ ส่วนกระบวนการ fine-tuning นั้น MLX-LM รองรับทั้งแบบเต็มโมเดลและแบบ LoRA ซึ่งฝึกได้เร็วกว่า
โมเดลที่ใช้งานกับ MLX-LM นั้นยังมีจำกัด แต่รองรับโมเดลยอดนิยม เช่น Mistral, Mixtral, Phi-2, Qwen ตลอดจน DeepSeek
ที่มา - MLX-LM
lew Wed, 11/06/2025 - 21:20
Continue reading...