🔢
Token 计数器
OpenAI GPT-4 / GPT-3.5 兼容 · 实时统计 · 中英文混合估算
💰
API 成本估算
GPT-4 Turbo
输入价格
$0.0000
输出价格 (假设相同Token数)
$0.0000
总计预估
$0.0000
* GPT-4 Turbo: $0.01/1K tokens (输入), $0.03/1K tokens (输出)
📊
1 汉字 ≈ 1.8 tokens
📉
1 英文词 ≈ 1.3 tokens
⚡
cl100k_base 编码
📖 在线Token计数器:OpenAI API 成本估算工具
Token 是OpenAI、Anthropic等大模型处理文本的基本单位。1个Token约等于0.75个英文单词或0.4个中文字符。ng.cc推出的在线Token计数器基于OpenAI cl100k_base编码规则,为GPT-4、GPT-3.5、GPT-4 Turbo等模型提供精确的Token估算。实时统计字符数、单词数、Token数,并自动计算API调用成本。纯浏览器本地处理,您的提示词不会上传至任何服务器。
⚡ 实时统计
输入即计算,无延迟。支持中英文混合文本,自动识别汉字、英文、数字、标点。
💰 成本估算
基于OpenAI官方定价,自动计算输入/输出成本。支持GPT-4 Turbo、GPT-3.5 Turbo。
🔢 三指标显示
Token数、字符数、单词数三栏并列,全面评估文本长度。
🔒 隐私安全
纯本地计算,零网络请求。您的API提示词、商业文案、论文草稿均不会离开浏览器。
🎯 Token 计数应用场景
- 🤖 Prompt 优化:确保提示词不超过模型上下文窗口(GPT-4 Turbo 128K)。
- 💰 成本控制:预估API调用费用,避免意外超支。
- 📚 长文本处理:计算《三体》《百年孤独》等著作的Token总量。
- 🎓 学术研究:统计分析不同语言与Token的转换比例。
- 🧪 模型对比:比较同一段文本在不同编码器下的Token数量差异。
💡 Token 估算规则详解
🔹 中文字符
1个汉字 ≈ 1.8 tokens。这是因为OpenAI的cl100k_base编码将中文字符拆分为2-3个字节,转换为约2个token。本工具采用加权平均算法,比简单按字符数/2更准确。
🔹 英文字符
1个英文字母 ≈ 0.25 tokens;1个英文单词 ≈ 1.3 tokens。常见单词如"the"、"is"占1个token,长单词可能拆分为多个token。
🔹 标点符号/空格
约 0.5 tokens/字符。标点通常与单词合并计算,独立标点占1个token。
📊 模型上下文窗口对比
- GPT-3.5 Turbo (16K):16,385 tokens
- GPT-4 (8K):8,192 tokens
- GPT-4 (32K):32,768 tokens
- GPT-4 Turbo (128K):128,000 tokens
- Claude 2.1:200,000 tokens
❓ 常见问题解答
❓ Q1:本工具与OpenAI官方计数完全一致吗?
本工具采用估算算法,与OpenAI官方tiktoken库的差异在±5%以内。官方库使用BPE(字节对编码)精确分词,本工具为轻量级前端实现,无需加载大文件。对于绝大多数场景,估算结果足够准确。如需100%精确计数,请使用OpenAI官方SDK。
❓ Q2:为什么1个汉字≈1.8 tokens,而不是2?
根据实测,cl100k_base编码中:常见汉字(如“的”、“是”)占1个token,生僻字占2-3个token。本工具采用加权平均值,比固定系数2更接近真实分布。您可以通过输入纯中文段落验证,误差通常在可接受范围。
❓ Q3:如何降低Token消耗?
1. 精简提示词:移除冗余修饰词;
2. 使用英文:相同信息量下,英文token少于中文;
3. 缩短指令:将“请详细解释”改为“解释”;
4. 复用对话:使用assistant角色存储上下文。本工具的「简洁化」润色模式可帮助压缩文本。
❓ Q4:支持其他模型的Token计数吗?
本工具基于cl100k_base编码,专为OpenAI GPT-4/GPT-3.5系列优化。Anthropic Claude使用不同的编码器,暂不兼容。Llama 2、文心一言等模型的Token定义与OpenAI不同,请勿直接套用。
❓ Q5:我的文本会上传到服务器吗?
绝对不会。 本工具是纯静态页面,所有Token统计、成本估算均在您的浏览器JavaScript引擎中执行。您可以断开网络测试,工具依然完整工作。您的提示词、API密钥、商业数据完全不经过任何服务器。
❓ Q6:最大支持多少字的文本?
无硬性限制。但浏览器对textarea输入框有性能边界,建议单次输入不超过1万字。如需处理超长文档,请分割后分批统计。我们计划未来增加文件上传功能。
🔗 关联工具推荐
本工具是ng.cc开发者工具箱AI工具系列的一员,您可能还需要:
⚡ 所有统计均在浏览器本地完成,您的文本不会上传至任何服务器。