นักพัฒนาสร้าง μLM AI ขนาดจิ๋ว คุยพอรู้เรื่องแม้ใช้แรม 64KB รันบนซีพียู Z80
Body
Harry Reed นักพัฒนา Unix ปล่อยโครงการ Z80-μLM โมเดลปัญญาประดิษฐ์ขนาดจิ๋วที่ตั้งเป้าจะพยายามทำแชตให้คุยรู้เรื่องโดยที่รันบนซีพียู Z80 ที่ทำงานที่สัญญาณนาฬิกาเพียง 4MHz และมีแรมเพียง 64KB ผลที่ได้คือโมเดลภาษาที่แสดงความเข้าใจผู้ใช้พอสมควร แถมใช้พื้นที่จริงเพียง 40KB แม้จะตอบโต้ได้จำกัดเป็นประเด็นๆ ไปเท่านั้น
โมเดลที่ Reed ออกแบบมามีขนาดเล็กมาก พารามิเตอร์รวมเพียง 150,000 พารามิเตอร์แบบ 2-bit เท่านั้น กระบวนการฝึกอาศัย Quantization-Aware Training (QAT) ที่ตอนฝึกจะฝึกพารามิเตอร์แบบเลขทศนิยมพร้อมๆ กับเลขจำนวนเต็ม 2-bit เพื่อให้แน่ใจว่าความรู้ของโมเดลยังอยู่หลังทำ quantize แล้ว กระบวนการฝึกอาศัยโมเดลขนาดใหญ่กว่าช่วยสร้างชุดข้อมูลเฉพาะทางให้
ผลที่ได้เป็นโมเดลขนาดเล็กมากๆ เช่น tinychat เป็นโมเดลภาษาที่ตอบเพียงสั้นๆ ไม่กี่คำ แต่แสดงความเข้าใจภาษาที่เราคุยด้วยได้ หรือ guess แชตบอตเฉพาะทางที่ให้เราถาม 20 คำถามแล้วให้บอตตอบว่า ใช่หรือไม่ใช่เพื่อทายว่าของที่บอตกำลังคิดอยู่คืออะไร
Z80 นั้นเป็นซีพียูที่ออกมาในปี 1976 สำหรับแชตบอตยุคก่อนหน้านั้นก็ยังมี ELIZA ที่ออกมาตั้งแต่ปี 1965
ที่มา - GitHub: HarryR/z80ai, Hacker News
lew Mon, 29/12/2025 - 23:25
Continue reading...
Body
Harry Reed นักพัฒนา Unix ปล่อยโครงการ Z80-μLM โมเดลปัญญาประดิษฐ์ขนาดจิ๋วที่ตั้งเป้าจะพยายามทำแชตให้คุยรู้เรื่องโดยที่รันบนซีพียู Z80 ที่ทำงานที่สัญญาณนาฬิกาเพียง 4MHz และมีแรมเพียง 64KB ผลที่ได้คือโมเดลภาษาที่แสดงความเข้าใจผู้ใช้พอสมควร แถมใช้พื้นที่จริงเพียง 40KB แม้จะตอบโต้ได้จำกัดเป็นประเด็นๆ ไปเท่านั้น
โมเดลที่ Reed ออกแบบมามีขนาดเล็กมาก พารามิเตอร์รวมเพียง 150,000 พารามิเตอร์แบบ 2-bit เท่านั้น กระบวนการฝึกอาศัย Quantization-Aware Training (QAT) ที่ตอนฝึกจะฝึกพารามิเตอร์แบบเลขทศนิยมพร้อมๆ กับเลขจำนวนเต็ม 2-bit เพื่อให้แน่ใจว่าความรู้ของโมเดลยังอยู่หลังทำ quantize แล้ว กระบวนการฝึกอาศัยโมเดลขนาดใหญ่กว่าช่วยสร้างชุดข้อมูลเฉพาะทางให้
ผลที่ได้เป็นโมเดลขนาดเล็กมากๆ เช่น tinychat เป็นโมเดลภาษาที่ตอบเพียงสั้นๆ ไม่กี่คำ แต่แสดงความเข้าใจภาษาที่เราคุยด้วยได้ หรือ guess แชตบอตเฉพาะทางที่ให้เราถาม 20 คำถามแล้วให้บอตตอบว่า ใช่หรือไม่ใช่เพื่อทายว่าของที่บอตกำลังคิดอยู่คืออะไร
Z80 นั้นเป็นซีพียูที่ออกมาในปี 1976 สำหรับแชตบอตยุคก่อนหน้านั้นก็ยังมี ELIZA ที่ออกมาตั้งแต่ปี 1965
ที่มา - GitHub: HarryR/z80ai, Hacker News
lew Mon, 29/12/2025 - 23:25
Continue reading...