Skip to main content

3 posts tagged with "inference"

View all tags

ปิดเน็ตแล้ว AI ยังทำงาน! โน้ตบุ๊กชิป NVIDIA RTX Spark กับการใช้ AI ในเครื่อง 3 วิธี (Kobkrit.com EP.4)

· 10 min read
Kobkrit Viriyayudhakorn
CEO, iApp Technology

ถ้าปิดเน็ตแล้ว AI ในโน้ตบุ๊กยังฟังเสียงภาษาไทย เปิดโปรแกรม และพิมพ์งานให้ได้ คุณจะเอาไปใช้ทำอะไรก่อน? ใน EP.4 ผมลองกับโน้ตบุ๊ก RTX Spark ที่ NVIDIA ทำชิปเองทั้งก้อน แล้วตอบ 3 เรื่อง: มันต่างจากโน้ตบุ๊ก Windows ทั่วไปและ Mac ยังไง ใช้ทำอะไรได้จริง และจะเริ่มใช้ AI ในเครื่องได้ด้วยวิธีไหนบ้าง

DGX Spark เครื่องเดียว ให้คนถาม AI กฎหมายพร้อมกันได้กี่คน? ทดสอบโหลดจริง (Kobkrit.com EP.3)

· 14 min read
Kobkrit Viriyayudhakorn
CEO, iApp Technology

ถ้าออฟฟิศมี NVIDIA DGX Spark หนึ่งเครื่อง แล้วให้ทุกคนถาม AI กฎหมายพร้อมกัน เครื่องจะรับได้กี่คนก่อนจะช้าจนใช้ไม่ได้? ใน EP.3 ผมแกะกล่อง ลง OpenThai 2.0 Legal พร้อมระบบค้นตัวบทกฎหมาย 2,065 ฉบับ ไว้ในเครื่องนี้ทั้งหมด แล้วทดสอบตั้งแต่ 1 ถึง 20 คนพร้อมกัน คำตอบสั้นๆ คือ 5 คน ถ้าทุกคนกดส่งพร้อมกันเป๊ะ และ ราว 2,000 คำถามต่อชั่วโมง ถ้าคำถามทยอยเข้ามาแบบออฟฟิศจริง

[LLM 10/10] Deployment: You're Not Waiting on Compute, You're Waiting on Weights to Travel

· 8 min read
Kobkrit Viriyayudhakorn
CEO, iApp Technology

Across nine chapters we've injected knowledge, taught format, arranged preferences, distilled models, kept models from breaking, and measured honestly. But even our best model is still just a checkpoint file that nobody can call. This final chapter puts it into real service, and proves the single sentence that governs every decision in LLM serving: decoding one token at a time is not limited by compute power, it is limited by memory bandwidth — we'll compute the speed ceiling from the GPU's datasheet before writing a single line of code, then measure the real thing against it.