跳到主要内容

13 篇博文 含有标签「llm」

查看所有标签

[LLM 8/10] Guardrails:真正的安全护栏不是模型,而是阈值

· 阅读需 8 分钟
Kobkrit Viriyayudhakorn
CEO, iApp Technology

我和团队给客户上线的泰语聊天机器人,遇到的从来不只是彬彬有礼的提问—— 有人来要违法物品的配方,有人变着法子想诱导它去骂别人, 也有那么一天,模型自己把客户的电话号码吐了出来。 这一章我们要在两个方向上都建起防线:拦截危险 prompt 的入站分类器,以及出站的 PII 过滤器。 但本章真正的核心不是模型本身——而是这样一个事实:护栏是一个在成本不对称条件下所做的阈值决策, 而大家最爱拿出来展示的那个"accuracy 94%",其实几乎什么也没说。

[LLM 9/10] Benchmarking:没有置信区间的 accuracy 只是传闻

· 阅读需 8 分钟
Kobkrit Viriyayudhakorn
CEO, iApp Technology

从第 1 章开始,这个系列每次报告数字时都会重复同一句话: "没有置信区间的 accuracy 不是实验结果,它只是传闻", 并且承诺会在第 9 章完整解释——就是这一章。 我们一个 step 都不会训练,而是要从零搭出一套三种模式的评测系统, 把整个系列训练出来的每一个 checkpoint 都拿到真实的泰语考题上测一遍, 然后证明那些从来没人写进 paper 的设置,能让同一个模型的分数移动得比 leaderboard 上大家争来争去的差距还要大。

[LLM 10/10] 部署:你等的不是计算,而是权重在路上

· 阅读需 8 分钟
Kobkrit Viriyayudhakorn
CEO, iApp Technology

前面九章里,我们灌进了知识、教会了格式、对齐了 preference、把模型蒸馏变小、给它加上护栏,还诚实地做了测量。 但我们手上最好的那个模型,到现在为止仍然只是一个没有人能调用的 checkpoint 文件。 最后这一章把它真正送上线,并且证明一句话——这句话支配着 LLM 服务里的每一个决策: 逐 token 的 decode 不是被算力限制住的,而是被内存带宽限制住的—— 我们会在写下第一行代码之前,先从 GPU 的 datasheet 算出速度上限,然后再拿实测数字来对照。