Databricks ปล่อยโมเดล DBRX ที่เป็น LLM ระดับความสามารถใกล้เคียงกับ Gemini Pro 1.0 แต่ชูจุดเด่นด้านความเร็วในการตอบคำถาม และความสามารถด้านการเขียนโปรแกรมหรือแก้ปัญหาคณิตศาสตร์
DBRX อาศัยโครงสร้างแบบ mixture-of-experts (MoE) ภายในมีโมเดลย่อยเชี่ยวชาญแต่ละหัวข้อทั้งหมด 16 ชุด และระหว่างการทำงานจะรันทีละ 4 ชุด รวมโมเดลรวม 132 พันล้านพารามิเตอร์แต่รันจริงทีละ 36 พันล้านพารามิเตอร์ ชุดข้อมูลที่ใช้ขนาด 12 ล้านล้านโทเค็น ฝึกด้วย context windows ขนาด 32k โทเค็น
ทาง Databricks ระบุว่าเมื่อนำ DBRX มารันบน Mosaic AI Model Serving (บริษัทด้าน AI ที่ Databrick ซื้อเข้ามา) สามารถสร้างโทเค็นได้ 150 โทเค็นต่อวินาที ใช้พลังประมวลผลมีประสิทธิภาพกว่าโมเดล MPT เดิมๆ 4 เท่าตัว ในแง่ความเร็วเป็นรองเพียง Mixtral แต่คุณภาพคำตอบก็ดีกว่ามาก
โมเดล DBRX ที่ปล่อยมามีทั้งรุ่นพื้นฐานและรุ่นรับคำสั่ง สัญญาอนุญาตให้ใช้งานเป็นแบบเปิดอย่างมีข้อจำกัดทั้งการใช้งานผิดวัตถุประสงค์ และห้ามองค์กรที่มีผู้ใช้เกิน 700 ล้านคนต่อเดือนใช้งาน
ที่มา - Databricks
Topics:
Databricks
LLM
อ่านต่อ...
DBRX อาศัยโครงสร้างแบบ mixture-of-experts (MoE) ภายในมีโมเดลย่อยเชี่ยวชาญแต่ละหัวข้อทั้งหมด 16 ชุด และระหว่างการทำงานจะรันทีละ 4 ชุด รวมโมเดลรวม 132 พันล้านพารามิเตอร์แต่รันจริงทีละ 36 พันล้านพารามิเตอร์ ชุดข้อมูลที่ใช้ขนาด 12 ล้านล้านโทเค็น ฝึกด้วย context windows ขนาด 32k โทเค็น
ทาง Databricks ระบุว่าเมื่อนำ DBRX มารันบน Mosaic AI Model Serving (บริษัทด้าน AI ที่ Databrick ซื้อเข้ามา) สามารถสร้างโทเค็นได้ 150 โทเค็นต่อวินาที ใช้พลังประมวลผลมีประสิทธิภาพกว่าโมเดล MPT เดิมๆ 4 เท่าตัว ในแง่ความเร็วเป็นรองเพียง Mixtral แต่คุณภาพคำตอบก็ดีกว่ามาก
โมเดล DBRX ที่ปล่อยมามีทั้งรุ่นพื้นฐานและรุ่นรับคำสั่ง สัญญาอนุญาตให้ใช้งานเป็นแบบเปิดอย่างมีข้อจำกัดทั้งการใช้งานผิดวัตถุประสงค์ และห้ามองค์กรที่มีผู้ใช้เกิน 700 ล้านคนต่อเดือนใช้งาน
ที่มา - Databricks
Topics:
Databricks
LLM
อ่านต่อ...
