ข่าว บริษัท AI เปิดโมเดล RedPajama 7B ชนะ LLaMA ของ Meta ที่ขนาดเท่ากัน เปิดให้ใช้งานฟรี

News · 8 มิถุนายน 2023

Together บริษัทปัญญาประดิษฐ์ เปิดตัวโมเดลปัญญาประดิษฐ์ RedPajama 7B โมเดล LLM ขนาดเล็กที่มีคะแนนทดสอบชุดทดสอบ HELM เฉลี่ยสูงกว่า LLaMA ของ Meta และยังเปิดไลเซนส์ให้ใช้งานแบบ Apache 2.0 ที่ใช้งานได้ค่อนข้างอิสระ

ก่อนหน้านี้โมเดลปัญญาประดิษฐ์ขนาดใกล้เคียงกันที่เปิดให้ใช้งานได้อิสระมีมาแล้วหลายตัว เช่น MPT-7B หรือ Falcon 7B แต่โมเดลเหล่านี้ก็ยังทำคะแนนทดสอบสู้ LLaMA ของ Meta ที่ปล่อยออกมาให้ใช้สำหรับงานวิจัยเท่านั้นไม่ได้

โมเดลที่ปล่อยออกมามีหลายตัว แต่ตัวเริ่มต้นคือ RedPajama-INCITE-7B-Base โครงสร้างภายในเป็นของ Pythia แต่ฝึกบนชุดข้อมูล RedPajama เอง และใช้โค้ดฝึกโมเดลของ EleutherAI จากนั้นพัฒนาอีกสองโมเดล เพิ่ม คือ RedPajama-INCITE-7B-Chat สำหรับใช้แชต และ RedPajama-INCITE-7B-Instruct

ตัวโมเดลสามารถลองเล่นได้ที่เว็บ Together ผมเองทดสอบแล้วพบว่ายังมีปัญหากับภาษาไทย

ที่มา - Together

Topics:
Artificial Intelligence
LLM
Open Source

อ่านต่อ...