news Mistral เปิดตัวโมเดลภาษา NeMo 12B ใช้แทน Mistral 7B ได้เลย, 128k context window

News · Jul 19, 2024

Mistral AI บริษัทปัญญาประดิษฐ์จากฝรั่งเศส เปิดตัวโมเดลภาษาเวอร์ชันใหม่ Mistral NeMo 12B ขนาด 12 พันล้านพารามิเตอร์ รองรับ context window ขนาดใหญ่ถึง 128K (โมเดลระดับเดียวกันรองรับ 8k) และสามารถนำมาใช้แทน Mistral 7B ตัวเดิมได้เลย (drop-in replacement)

Mistral NeMo 12B ออกแบบมาให้รองรับหลายภาษาตั้งแต่แรก โดยทำผลงานได้ดีในภาษาอังกฤษ ฝรั่งเศส เยอรมัน สเปน อิตาลี โปรตุเกส จีน ญี่ปุ่น เกาหลี อารบิก ฮินดี ผลการรันสามารถเอาชนะได้ทั้ง Llama 3 8B และ Gemma 2 9B ในเกือบทุกชุดทดสอบ

Mistral NeMo 12B ยังใช้ตัว tokenizer เวอร์ชันใหม่ชื่อ "Tekken" (ไม่เกี่ยวอะไรกับเกม) ถูกเทรนมาทำให้ทำงานได้กับภาษาต่างๆ เกิน 100 ภาษา และมีประสิทธิภาพในการบีบอัด (compression) ข้อความได้ดีกว่า tokenizer ตัวเดิมของโมเดลค่าย Mistral ตัวก่อนๆ โดยบางภาษามีประสิทธิภาพดีขึ้นถึง 2-3 เท่า และบีบซอร์สโค้ดได้ดีขึ้น 30%

Mistral ยังจับมือกับ NVIDIA ให้นำโมเดล NeMo ไปใช้รันบน NVIDIA NIM inference microservice ปรับแต่งประสิทธิภาพสำหรับ NVIDIA TensorRT-LLM และสามารถรันได้บน GeForce 4090 เพียงตัวเดียว นอกจากนี้ ตัวโมเดลเองถูกเทรนบนเครื่อง NVIDIA DGX Cloud

โมเดล NeMo ใช้ไลเซนส์เปิดกว้างแบบ Apache 2 เปิดให้ดาวน์โหลดบน Hugging Face

ที่มา - Mistral, NVIDIA

ภาพประกอบไม่เกี่ยวกับเนื้อหาข่าว

Topics:
Mistral
LLM
Artificial Intelligence
NVIDIA

Continue reading...