ข้ามไปยังเนื้อหาหลัก

3 บทความ ที่ติดแท็ก "inference"

ดูแท็กทั้งหมด

ปิดเน็ตแล้ว AI ยังทำงาน! โน้ตบุ๊กชิป NVIDIA RTX Spark กับการใช้ AI ในเครื่อง 3 วิธี (Kobkrit.com EP.4)

· อ่าน 10 นาที
Kobkrit Viriyayudhakorn
CEO, iApp Technology

ถ้าปิดเน็ตแล้ว AI ในโน้ตบุ๊กยังฟังเสียงภาษาไทย เปิดโปรแกรม และพิมพ์งานให้ได้ คุณจะเอาไปใช้ทำอะไรก่อน? ใน EP.4 ผมลองกับโน้ตบุ๊ก RTX Spark ที่ NVIDIA ทำชิปเองทั้งก้อน แล้วตอบ 3 เรื่อง: มันต่างจากโน้ตบุ๊ก Windows ทั่วไปและ Mac ยังไง ใช้ทำอะไรได้จริง และจะเริ่มใช้ AI ในเครื่องได้ด้วยวิธีไหนบ้าง

DGX Spark เครื่องเดียว ให้คนถาม AI กฎหมายพร้อมกันได้กี่คน? ทดสอบโหลดจริง (Kobkrit.com EP.3)

· อ่าน 14 นาที
Kobkrit Viriyayudhakorn
CEO, iApp Technology

ถ้าออฟฟิศมี NVIDIA DGX Spark หนึ่งเครื่อง แล้วให้ทุกคนถาม AI กฎหมายพร้อมกัน เครื่องจะรับได้กี่คนก่อนจะช้าจนใช้ไม่ได้? ใน EP.3 ผมแกะกล่อง ลง OpenThai 2.0 Legal พร้อมระบบค้นตัวบทกฎหมาย 2,065 ฉบับ ไว้ในเครื่องนี้ทั้งหมด แล้วทดสอบตั้งแต่ 1 ถึง 20 คนพร้อมกัน คำตอบสั้นๆ คือ 5 คน ถ้าทุกคนกดส่งพร้อมกันเป๊ะ และ ราว 2,000 คำถามต่อชั่วโมง ถ้าคำถามทยอยเข้ามาแบบออฟฟิศจริง

[LLM 10/10] Deployment: คุณไม่ได้รอการคำนวณ คุณรอน้ำหนักเดินทาง

· อ่าน 8 นาที
Kobkrit Viriyayudhakorn
CEO, iApp Technology

เก้าบทที่ผ่านมาเราใส่ความรู้ สอนรูปแบบ จัด preference กลั่นโมเดล กันโมเดลพัง และวัดผลอย่างซื่อสัตย์ แต่โมเดลที่ดีที่สุดของเราก็ยังเป็นแค่ไฟล์ checkpoint ที่ไม่มีใครเรียกใช้ได้ บทสุดท้ายนี้เอามันขึ้นเสิร์ฟจริง และพิสูจน์ประโยคเดียวที่ควบคุมทุกการตัดสินใจของงานเสิร์ฟ LLM: การ decode ทีละ token ไม่ได้ถูกจำกัดด้วยพลังคำนวณ แต่ถูกจำกัดด้วยแบนด์วิดท์หน่วยความจำ — เราจะคำนวณเพดานความเร็วจาก datasheet ของ GPU ก่อนเขียนโค้ดแม้แต่บรรทัดเดียว แล้วค่อยวัดของจริงมาเทียบ