news แอปเปิลเปิดตัว MLX-LM ไลบรารีไพธอนสำหรับรัน LLM ทำ fine-tuning, KV cache, quantization ได้ในตัว

[News News is verified member.]

แอปเปิลเปิดตัว MLX-LM ไลบรารีไพธอนสำหรับรัน LLM ทำ fine-tuning, KV cache, quantization ได้ในตัว
Body

แอปเปิลเปิดตัวไลบรารี MLX-LM ที่มาพร้อมชุดคำสั่งที่เปิดให้ผู้ใช้สามารถรันโมเดลปัญญาประดิษฐ์แบบ LLM โดยมีความสามารถครบถ้วนตลอดกระบวนการใช้งาน LLM ตั้งแต่การรัน, การแคช, จนถึงการฝึกโมเดลเพิ่มเติม

กระบวนการรัน LLM ของ MLX-LM นั้นรองรับการ KV cache ทำให้โมเดลรันเร็วขึ้น ผู้ใช้สามารถเลือกขนาดหน่วยความจำที่จะใช้แคชได้

คำสั่ง quantization เปิดให้ผู้ใช้สามารถย่อโมเดลได้ด้วยตัวเอง และยังคอนฟิกได้อย่างละเอียด เช่น ย่อบางชั้นเล็กน้อยและย่อบางชั้นให้เล็กเป็นพิเศษ ส่วนกระบวนการ fine-tuning นั้น MLX-LM รองรับทั้งแบบเต็มโมเดลและแบบ LoRA ซึ่งฝึกได้เร็วกว่า

โมเดลที่ใช้งานกับ MLX-LM นั้นยังมีจำกัด แต่รองรับโมเดลยอดนิยม เช่น Mistral, Mixtral, Phi-2, Qwen ตลอดจน DeepSeek

ที่มา - MLX-LM

lew Wed, 11/06/2025 - 21:20

Continue reading...