DeepSeek ประกาศแนวทางการพัฒนาซอฟต์แวร์รันโมเดลปัญญาประดิษฐ์ (inference engine) หลังจากก่อนหน้านี้บริษัทใช้ vLLM รุ่นพิเศษที่แก้ไขภายในเพื่อให้บริการ มาเป็นการทำงานร่วมกับโครงการโอเพนซอร์ส
ก่อนหน้านี้ DeepSeek เปิดซอฟต์แวร์ที่เกี่ยวข้องกับระบบรันปัญญาประดิษฐ์จำนวนมาก โดยซอฟต์แวร์มักเป็นการออปติไมซ์ประสิทธิภาพการรันปัญญาประดิษฐ์บนชิป NVIDIA Hopper ทาง DeepSeek ระบุว่าเคยพิจารณาว่าจะเปิดเอนจินออกมาทั้งชุด แต่พบปัญหา 3 ประการ
แนวทางหลังจากนี้ทาง DeepSeek จะทำงานร่วมกับโครงการโอเพนซอร์สเดิม (น่าจะเป็น vLLM แต่ไม่ได้ประกาศออกมา) โดยจะส่งโค้ดที่เป็นฟีเจอร์เฉพาะทางให้โครงการนำไปใช้ พร้อมกับเข้าไปช่วยออปติไมซ์เอนจินรันปัญญาประดิษฐ์ให้มีประสิทธิภาพสูงขึ้น
แนวทางนี้จะทำให้เอนจินรันปัญญาประดิษฐ์แบบโอเพนซอร์ส สามารถรันโมเดลของ DeepSeek รุ่นใหม่ๆ ได้เต็มประสิทธิภาพตั้งแต่วันแรกที่ปล่อยโมเดลออกมาทำให้คนภายนอกนำโมเดลไปใช้งานได้ง่ายขึ้น
ที่มา - GitHub
eepSeek-AI
Topics:
DeepSeek
LLM
Open Source
Continue reading...
ก่อนหน้านี้ DeepSeek เปิดซอฟต์แวร์ที่เกี่ยวข้องกับระบบรันปัญญาประดิษฐ์จำนวนมาก โดยซอฟต์แวร์มักเป็นการออปติไมซ์ประสิทธิภาพการรันปัญญาประดิษฐ์บนชิป NVIDIA Hopper ทาง DeepSeek ระบุว่าเคยพิจารณาว่าจะเปิดเอนจินออกมาทั้งชุด แต่พบปัญหา 3 ประการ
- โค้ด vLLM ของ DeepSeek แยกจากโครงการหลักมานาน และแก้ไขไปเยอะจนแปลงไปใช้งานอื่นๆ ได้ยาก
- ตัวเอนจินถูกออกแบบให้ผูกกับโครงสร้างพื้นฐานของ DeepSeek เอง รวมถึงระบบจัดการคลัสเตอร์ภายใน ทำให้นำไปใช้ที่อื่นได้ยาก
- ทีมงานไม่มีกำลังพอจะเป็นกำลังหลักในการดูแลโครงการโอเพนซอร์สขนาดใหญ่
แนวทางหลังจากนี้ทาง DeepSeek จะทำงานร่วมกับโครงการโอเพนซอร์สเดิม (น่าจะเป็น vLLM แต่ไม่ได้ประกาศออกมา) โดยจะส่งโค้ดที่เป็นฟีเจอร์เฉพาะทางให้โครงการนำไปใช้ พร้อมกับเข้าไปช่วยออปติไมซ์เอนจินรันปัญญาประดิษฐ์ให้มีประสิทธิภาพสูงขึ้น
แนวทางนี้จะทำให้เอนจินรันปัญญาประดิษฐ์แบบโอเพนซอร์ส สามารถรันโมเดลของ DeepSeek รุ่นใหม่ๆ ได้เต็มประสิทธิภาพตั้งแต่วันแรกที่ปล่อยโมเดลออกมาทำให้คนภายนอกนำโมเดลไปใช้งานได้ง่ายขึ้น
ที่มา - GitHub
eepSeek-AITopics:
DeepSeek
LLM
Open Source
Continue reading...
