跳到主要内容

3 篇博文 含有标签「inference」

查看所有标签

ปิดเน็ตแล้ว AI ยังทำงาน! โน้ตบุ๊กชิป NVIDIA RTX Spark กับการใช้ AI ในเครื่อง 3 วิธี (Kobkrit.com EP.4)

· 阅读需 10 分钟
Kobkrit Viriyayudhakorn
CEO, iApp Technology

ถ้าปิดเน็ตแล้ว AI ในโน้ตบุ๊กยังฟังเสียงภาษาไทย เปิดโปรแกรม และพิมพ์งานให้ได้ คุณจะเอาไปใช้ทำอะไรก่อน? ใน EP.4 ผมลองกับโน้ตบุ๊ก RTX Spark ที่ NVIDIA ทำชิปเองทั้งก้อน แล้วตอบ 3 เรื่อง: มันต่างจากโน้ตบุ๊ก Windows ทั่วไปและ Mac ยังไง ใช้ทำอะไรได้จริง และจะเริ่มใช้ AI ในเครื่องได้ด้วยวิธีไหนบ้าง

DGX Spark เครื่องเดียว ให้คนถาม AI กฎหมายพร้อมกันได้กี่คน? ทดสอบโหลดจริง (Kobkrit.com EP.3)

· 阅读需 14 分钟
Kobkrit Viriyayudhakorn
CEO, iApp Technology

ถ้าออฟฟิศมี NVIDIA DGX Spark หนึ่งเครื่อง แล้วให้ทุกคนถาม AI กฎหมายพร้อมกัน เครื่องจะรับได้กี่คนก่อนจะช้าจนใช้ไม่ได้? ใน EP.3 ผมแกะกล่อง ลง OpenThai 2.0 Legal พร้อมระบบค้นตัวบทกฎหมาย 2,065 ฉบับ ไว้ในเครื่องนี้ทั้งหมด แล้วทดสอบตั้งแต่ 1 ถึง 20 คนพร้อมกัน คำตอบสั้นๆ คือ 5 คน ถ้าทุกคนกดส่งพร้อมกันเป๊ะ และ ราว 2,000 คำถามต่อชั่วโมง ถ้าคำถามทยอยเข้ามาแบบออฟฟิศจริง

[LLM 10/10] 部署:你等的不是计算,而是权重在路上

· 阅读需 8 分钟
Kobkrit Viriyayudhakorn
CEO, iApp Technology

前面九章里,我们灌进了知识、教会了格式、对齐了 preference、把模型蒸馏变小、给它加上护栏,还诚实地做了测量。 但我们手上最好的那个模型,到现在为止仍然只是一个没有人能调用的 checkpoint 文件。 最后这一章把它真正送上线,并且证明一句话——这句话支配着 LLM 服务里的每一个决策: 逐 token 的 decode 不是被算力限制住的,而是被内存带宽限制住的—— 我们会在写下第一行代码之前,先从 GPU 的 datasheet 算出速度上限,然后再拿实测数字来对照。