TAALAS ฝังโมเดล Llama 3.1 8B ลงชิปโดยตรง อัตราการตอบสูงถึง 16,960 token/s
Body
TAALAS บริษัทออกแบบชิปจากแคนาดา สาธิตชิป Taalas HC1 ที่ฝังโมเดลปัญญาประดิษฐ์ Llama 3.1 8B ลงไปในชิปตรงๆ ไม่สามารถแก้ไขได้อีก แต่ให้ความเร็วในการรันสูงถึง 16,960 token/s อยู่ในระดับที่เห็นผลลัพธ์ทันที
โมเดลที่รันไม่ใช่โมเดลเต็ม แต่เป็นรุ่นย่อ 3-bit ทำให้คุณภาพไม่เท่ากับ Llama 3.1 8B ที่ใช้งานกัน แต่ตัวชิปรองรับการรัน LoRA adapter ด้วย ทำให้สามารถปรับแต่งงานเฉพาะทางได้บางส่วนในอนาคต แม้จะแก้ไขโมเดลหลักไม่ได้ก็ตามที โดยรวมชิปมีทรานซิสเตอร์ทั้งหมด 53,000 ล้านตัว กินไฟ 2.5kW
ตัวบริษัท TAALAS เป็นสตาร์ตอัพอายุเพียง 2.5 ปี แต่ได้รับเงินทุนมาแล้วกว่า 200 ล้านดอลลาร์ ทาง TAALAS คาดว่าจะอัพเดต HC1 ให้รันโมเดลขนาดใหญ่ขึ้นและเป็นโมเดลคิดก่อนตอบเพื่อนำมาให้บริการต่อไป และมีแผนจะเปิดตัว HC2 ภายในปีนี้
ที่มา - TAALAS
lew Mon, 23/02/2026 - 11:26
Continue reading...
Body
TAALAS บริษัทออกแบบชิปจากแคนาดา สาธิตชิป Taalas HC1 ที่ฝังโมเดลปัญญาประดิษฐ์ Llama 3.1 8B ลงไปในชิปตรงๆ ไม่สามารถแก้ไขได้อีก แต่ให้ความเร็วในการรันสูงถึง 16,960 token/s อยู่ในระดับที่เห็นผลลัพธ์ทันที
โมเดลที่รันไม่ใช่โมเดลเต็ม แต่เป็นรุ่นย่อ 3-bit ทำให้คุณภาพไม่เท่ากับ Llama 3.1 8B ที่ใช้งานกัน แต่ตัวชิปรองรับการรัน LoRA adapter ด้วย ทำให้สามารถปรับแต่งงานเฉพาะทางได้บางส่วนในอนาคต แม้จะแก้ไขโมเดลหลักไม่ได้ก็ตามที โดยรวมชิปมีทรานซิสเตอร์ทั้งหมด 53,000 ล้านตัว กินไฟ 2.5kW
ตัวบริษัท TAALAS เป็นสตาร์ตอัพอายุเพียง 2.5 ปี แต่ได้รับเงินทุนมาแล้วกว่า 200 ล้านดอลลาร์ ทาง TAALAS คาดว่าจะอัพเดต HC1 ให้รันโมเดลขนาดใหญ่ขึ้นและเป็นโมเดลคิดก่อนตอบเพื่อนำมาให้บริการต่อไป และมีแผนจะเปิดตัว HC2 ภายในปีนี้
ที่มา - TAALAS
lew Mon, 23/02/2026 - 11:26
Continue reading...