แอปเปิลเผยแพร่ OpenELM (Open-source Efficient Language Models) ชุดโมเดล AI ภาษาขนาดใหญ่ (LLM) แบบโอเพนซอร์ส ที่สามารถทำงานได้บนอุปกรณ์ ไม่ต้องเชื่อมต่อกับคลาวด์เซิร์ฟเวอร์ โดยสามารถดูรายละเอียดเพิ่มเติมได้ที่ Hugging Face
OpenELM มีทั้งหมด 8 โมเดล เป็น 4 โมเดลที่ยังไม่ถูกเทรน และอีก 4 โมเดลที่ผ่านการเทรนปรับแต่งมาแล้ว ขนาดพารามิเตอร์มีตั้งแต่ 270M ถึง 3B
ในรายละเอียดงานวิจัยที่เผยแพร่ แอปเปิลบอกว่า OpenELM ใช้วิธีจัดสรรพารามิเตอร์ในแต่ละเลเยอร์โมเดลเพื่อเพิ่มความแม่นยำ ผลลัพธ์ที่ได้คือโมเดลทำงานแม่นยำขึ้น 2.36% เมื่อเทียบกับ OLMo แต่ใช้โทเค็นที่ยังไม่ถูกเทรนน้อยกว่าสองเท่า
โมเดล AI ที่สามารถรันได้บนอุปกรณ์ขนาดเล็ก เป็นอีกทิศทางหนึ่งที่บริษัทเทคโนโลยีขนาดใหญ่พยายามผลักดัน เมื่อวันก่อนไมโครซอฟท์ก็เปิดตัว Phi-3 ที่สามารถรันบนโทรศัพท์ได้
ที่มา: VentureBeat
Topics:
Apple
LLM
Open Source
อ่านต่อ...
OpenELM มีทั้งหมด 8 โมเดล เป็น 4 โมเดลที่ยังไม่ถูกเทรน และอีก 4 โมเดลที่ผ่านการเทรนปรับแต่งมาแล้ว ขนาดพารามิเตอร์มีตั้งแต่ 270M ถึง 3B
ในรายละเอียดงานวิจัยที่เผยแพร่ แอปเปิลบอกว่า OpenELM ใช้วิธีจัดสรรพารามิเตอร์ในแต่ละเลเยอร์โมเดลเพื่อเพิ่มความแม่นยำ ผลลัพธ์ที่ได้คือโมเดลทำงานแม่นยำขึ้น 2.36% เมื่อเทียบกับ OLMo แต่ใช้โทเค็นที่ยังไม่ถูกเทรนน้อยกว่าสองเท่า
โมเดล AI ที่สามารถรันได้บนอุปกรณ์ขนาดเล็ก เป็นอีกทิศทางหนึ่งที่บริษัทเทคโนโลยีขนาดใหญ่พยายามผลักดัน เมื่อวันก่อนไมโครซอฟท์ก็เปิดตัว Phi-3 ที่สามารถรันบนโทรศัพท์ได้
ที่มา: VentureBeat
Topics:
Apple
LLM
Open Source
อ่านต่อ...