提示词令牌分析器

提示词令牌分析器是一款轻量级CLI工具，用于计算提示词包含的令牌数量。
它使用gpt-tokenizer包来近似模拟GPT风格的令牌化处理。

该工具可帮助AI智能体和开发者：

• - 估算提示词大小
• 减少不必要的令牌使用
• 调试大型提示词
• 优化RAG管道

安装

安装令牌化器：

bash
npm install -g gpt-tokenizer

创建CLI工具：

bash
cat < prompt-token
#!/usr/bin/env node

import { encode } from gpt-tokenizer
import fs from fs

const args = process.argv.slice(2)

if (args.length === 0) {
console.log(用法：)
console.log( prompt-token analyze <文件>)
console.log( prompt-token text \您的提示词\)
process.exit(1)
}

let text =

if (args[0] === analyze) {
const file = args[1]

if (!file) {
console.error(缺少文件路径)
process.exit(1)
}

text = fs.readFileSync(file, utf8)
}

else if (args[0] === text) {
text = args.slice(1).join( )
}

else {
console.error(未知命令)
process.exit(1)
}

const tokens = encode(text)

console.log(提示词令牌分析)
console.log(---------------------)
console.log(字符数：, text.length)
console.log(令牌数：, tokens.length)
console.log(平均字符/令牌：, (text.length / tokens.length).toFixed(2))

const estimatedCost = tokens.length / 1000000 * 5

console.log()
console.log(预估成本（示例 $5 / 100万令牌）：)
console.log($ + estimatedCost.toFixed(6))

EOF

使工具可执行：

bash
chmod +x prompt-token

将其移动到PATH路径：

bash
sudo mv prompt-token /usr/local/bin/

快速开始

分析提示词文件：

bash
prompt-token analyze prompt.txt

示例输出：

提示词令牌分析

预估成本（示例 $5 / 100万令牌）：
$0.009160

分析原始文本

bash
prompt-token text 用简单术语解释强化学习

示例输出：

提示词令牌分析

使用场景

提示词工程

衡量提示词变化如何影响令牌大小。

bash
prompt-token text 您是一个AI助手...

RAG上下文分析

在将检索到的文档发送给LLM之前，检查其大小。

bash
prompt-token analyze rag_context.txt

调试上下文溢出

大型提示词可能超出模型限制。

在发送给模型之前对其进行分析。

故障排除

如果令牌化器缺失：

bash
npm install -g gpt-tokenizer

检查Node安装：

bash
node --version

注意事项

• - 令牌计数为近似值，但接近OpenAI风格的令牌化处理。
• 实际API使用可能包含额外的系统令牌。
• 长RAG上下文是令牌浪费的最常见原因。

报告问题

如有需要，重新安装令牌化器：

bash
npm install -g gpt-tokenizer