02A / 直接读取
选项概率
读取模型的选项 logits,只在你自己给出的这些选项范围内做归一化。
- 总计
- —
- 输入
- —
- 输出
- 1 次读取
一个实时、本地的实验
同一个本地模型,既可以在不解码的情况下直接读取各个候选选项的概率,也可以逐 token 地把同样的分布写出来。选一个规模,在你自己的 GPU 上把两种方式都跑一遍,量一量差别。
这里没有等待名单!直接试就是了 ↓
默认选中 MiniCPM5 2B。在手机或配置较低的设备上,如有需要可在模型框里切换到 Qwen3 0.6B。
00 / 准备
更大的模型。加载可能较慢,在部分低端设备上也可能放不下。
| 模型 | 下载大小 | 自有集 | 扰动集 | TypeSafe |
|---|---|---|---|---|
| Qwen3 0.6B | 639 MB | 44.0% | 52.8% | 40.7% |
| MiniCPM5 2B | 1.56 GB | 68.6% | 69.3% | 63.7% |
| Qwen3.5 4B | 3.01 GB | 81.3% | 76.6% | 84.5% |
| 官方发布的 Jev | 托管服务 | — | — | 88.3% |
自有集两列用的是平衡准确率(balanced accuracy)。TypeSafe 是在同一份 102 行公开子集上的等样本一致率;Jev 为官方公布数值。浏览器端量化可能改变模型的准确率。
{{ text }}
权重来自 Hugging Face(通过 hf-mirror.com 镜像下载),并保存在你的浏览器缓存里。输入内容不会离开这个页面。首次加载可能需要几分钟,取决于所选模型、网络和 GPU。
01 / 决策
两条路径拿到的是同一个决策问题。一条直接读取选项概率,另一条让模型把选项概率写成 JSON 文本。
02A / 直接读取
读取模型的选项 logits,只在你自己给出的这些选项范围内做归一化。
02B / 生成
让模型估计同一组展示选项上的分布,并用 JSON 写出来。你可以看到每个 token 逐个到达。
等待运行
两种方法在同一个已加载的模型上顺序运行,以免争抢同一块 GPU。先跑直接读取,再跑生成。
条件概率。直接读取得到的分数,只对展示出来的那些选项 token 做 softmax。它不是经过校准的置信度,也没有涵盖模型可能偏好的全部答案。
本地模型档位。手机档模型是用准确率换体积。MiniCPM 是桌面端默认项。4B 这个选项需要明显更多内存。它们都不声称能与 Jev 持平。
真实的本地计时。环境准备、预热、提示词准备、直接执行、首个生成的 token 和生成完成,都用 performance.now() 计时。页面上不会出现任何预置结果。
量化权重。这个演示通过 wllama 使用固定版本的 GGUF 构建。量化会同时影响生成质量和速度。