กูเกิลปล่อย Magika 1.0 โปรแกรมตรวจจับฟอร์แมตไฟล์ เขียนใหม่ด้วย Rust
Body
กูเกิลปล่อย Magika โปรแกรมตรวจจับฟอร์แมตไฟล์เวอร์ชั่น 1.0 หลังจากเปิดตัวตั้งแต่ต้นปี 2024 ความเปลี่ยนแปลงสำคัญคือทีมงานเปลี่ยนโค้ดแกนกลางเป็น Rust จากเดิมที่มีโค้ด Rust เฉพาะส่วนประกอบอื่น เช่น command line เท่านั้น แนวทางนี้เพิ่มความปลอดภัยให้กับระบบโดยรวมเพราะ Magika ต้องใช้สแกนไฟล์จากที่ต่างๆ จำนวนมาก
ตอนนี้ Magika รองรับการตรวจจับฟอร์แมตไฟล์มากกว่า 200 ฟอร์แมต แบ่งฟอร์แมตได้ละเอียดขึ้น เช่น แยก JSONL ออกจาก JSON หรือแยกไฟล์ C++ ออกจาก C ได้ โดยการเพิ่มฟอร์แมตที่เก่ามากๆ อาจจะมีข้อมูลตัวอย่างไม่เพียงพอ ทีมงานอาศัย Gemini สร้างชุดทดสอบสำหรับไฟล์เก่าๆ เพิ่มเติม
Magika อาศัยโมเดลปัญญาประดิษฐ์ขนาดเล็กสำหรับการตรวจสอบชนิดไฟล์ แม้จะเป็นโมเดลแบบ deep learning แต่ก็มีความสามารถในการสแกนไฟล์ระดับหลายร้อยไฟล์ต่อวินาที โดยตอนนี้ชุดข้อมูลสำหรับฝึกโมเดลมีขนาดเกิน 3TB ไปแล้ว
ที่มา - Google Open Source Blog
lew Mon, 10/11/2025 - 13:16
Continue reading...
Body
กูเกิลปล่อย Magika โปรแกรมตรวจจับฟอร์แมตไฟล์เวอร์ชั่น 1.0 หลังจากเปิดตัวตั้งแต่ต้นปี 2024 ความเปลี่ยนแปลงสำคัญคือทีมงานเปลี่ยนโค้ดแกนกลางเป็น Rust จากเดิมที่มีโค้ด Rust เฉพาะส่วนประกอบอื่น เช่น command line เท่านั้น แนวทางนี้เพิ่มความปลอดภัยให้กับระบบโดยรวมเพราะ Magika ต้องใช้สแกนไฟล์จากที่ต่างๆ จำนวนมาก
ตอนนี้ Magika รองรับการตรวจจับฟอร์แมตไฟล์มากกว่า 200 ฟอร์แมต แบ่งฟอร์แมตได้ละเอียดขึ้น เช่น แยก JSONL ออกจาก JSON หรือแยกไฟล์ C++ ออกจาก C ได้ โดยการเพิ่มฟอร์แมตที่เก่ามากๆ อาจจะมีข้อมูลตัวอย่างไม่เพียงพอ ทีมงานอาศัย Gemini สร้างชุดทดสอบสำหรับไฟล์เก่าๆ เพิ่มเติม
Magika อาศัยโมเดลปัญญาประดิษฐ์ขนาดเล็กสำหรับการตรวจสอบชนิดไฟล์ แม้จะเป็นโมเดลแบบ deep learning แต่ก็มีความสามารถในการสแกนไฟล์ระดับหลายร้อยไฟล์ต่อวินาที โดยตอนนี้ชุดข้อมูลสำหรับฝึกโมเดลมีขนาดเกิน 3TB ไปแล้ว
ที่มา - Google Open Source Blog
lew Mon, 10/11/2025 - 13:16
Continue reading...