กูเกิลเพิ่มฟีเจอร์แคชอัตโนมัติให้ Gemini คุยต่อเนื่องได้ลดค่าใช้งานสูงสุด 75%
Body
กูเกิลเพิ่มฟีเจอร์ Implicit Caching ให้กับลูกค้าที่ซื้อ Gemini ใช้งานผ่าน API โดยหลังจากนี้ไม่จำเป็นต้องระบุให้กูเกิลเก็บแคชไว้เอง
แนวทางการทำ caching ใน LLM นั้นอาศัยแนวทางการใช้งานที่หลายครั้งผู้ใช้มักเริ่มต้นบทสนทนากับปัญญาประดิษฐ์เหมือนๆ กัน เช่น การใส่ system prompt หรือการคุยกับเอกสารชุดเดิมๆ แต่เปลี่ยนคำถามใหม่ทำให้มีข้อความเดิมๆ ไปทุกครั้ง ผู้ให้บริการ LLM นั้นสามารถเก็บสถานะที่ประมวลผลข้อความเริ่มต้นแล้วเอาไว้ ทำให้สามารถตอบคำถามต่อไปได้ทันที ก่อนหน้านี้กูเกิลรองรับการทำ caching อยู่แล้ว แต่ผู้ใช้ต้องประกาศใช้งานเอง และเสียค่าสตอเรจเก็บแคช
ฟีเจอร์ใหม่นี้ทำให้ผู้ใช้ที่เรียกใช้ Gemini ด้วยข้อความเริ่มต้นซ้ำๆ ประหยัดค่าอินพุตไป 75% แต่เนื่องจากไม่มีการประกาศระยะเวลาใช้งานแคช กูเกิลก็ไม่รับประกันว่าจะเก็บแคชให้ผู้ใช้นานแค่ไหน แต่ถ้าใครได้แคชก็จะเห็นค่า
ฟีเจอร์แคชอัตโนมัติเป็นฟีเจอร์หนึ่งที่ DeepSeek โชว์มานาน โดยระบุว่ามีเทคโนโลยีการแคช์บนดิสก์ทำให้สามารถแคชข้อมูลได้จำนวนมากโดยผู้ใช้ไม่ต้องประกาศขอใช้งาน และแคชก็อยู่บนระบบของ DeepSeek นานหลายชั่วโมง
ที่มา - Google Developers Blog
lew Mon, 05/12/2025 - 02:26
Continue reading...
Body
กูเกิลเพิ่มฟีเจอร์ Implicit Caching ให้กับลูกค้าที่ซื้อ Gemini ใช้งานผ่าน API โดยหลังจากนี้ไม่จำเป็นต้องระบุให้กูเกิลเก็บแคชไว้เอง
แนวทางการทำ caching ใน LLM นั้นอาศัยแนวทางการใช้งานที่หลายครั้งผู้ใช้มักเริ่มต้นบทสนทนากับปัญญาประดิษฐ์เหมือนๆ กัน เช่น การใส่ system prompt หรือการคุยกับเอกสารชุดเดิมๆ แต่เปลี่ยนคำถามใหม่ทำให้มีข้อความเดิมๆ ไปทุกครั้ง ผู้ให้บริการ LLM นั้นสามารถเก็บสถานะที่ประมวลผลข้อความเริ่มต้นแล้วเอาไว้ ทำให้สามารถตอบคำถามต่อไปได้ทันที ก่อนหน้านี้กูเกิลรองรับการทำ caching อยู่แล้ว แต่ผู้ใช้ต้องประกาศใช้งานเอง และเสียค่าสตอเรจเก็บแคช
ฟีเจอร์ใหม่นี้ทำให้ผู้ใช้ที่เรียกใช้ Gemini ด้วยข้อความเริ่มต้นซ้ำๆ ประหยัดค่าอินพุตไป 75% แต่เนื่องจากไม่มีการประกาศระยะเวลาใช้งานแคช กูเกิลก็ไม่รับประกันว่าจะเก็บแคชให้ผู้ใช้นานแค่ไหน แต่ถ้าใครได้แคชก็จะเห็นค่า
cached_content_token_count ส่งกลับมาเองฟีเจอร์แคชอัตโนมัติเป็นฟีเจอร์หนึ่งที่ DeepSeek โชว์มานาน โดยระบุว่ามีเทคโนโลยีการแคช์บนดิสก์ทำให้สามารถแคชข้อมูลได้จำนวนมากโดยผู้ใช้ไม่ต้องประกาศขอใช้งาน และแคชก็อยู่บนระบบของ DeepSeek นานหลายชั่วโมง
ที่มา - Google Developers Blog
lew Mon, 05/12/2025 - 02:26
Continue reading...