Openai中的tokens怎么估计
大规模语言模型（LLM）的出现给自然语言处理领域带来了变革的可能性，Openai开放了chatgpt的API，方便了开发人员使用LLM的推理能力，注册时赠送5美元的使用额度，有效期3个月。
如果想便捷的使用chatgpt的API，需要绑定信用卡，这个计费方式是按每1000个tokens计费。
tokens您可以看做是自然语言处理的片段，
对于英文文本来说，一般4个字符，约0.75个单词一个token，
1000个tokens约750英文字符片段。
作为参考，莎士比亚的作品集大约有90万单词或者120万tokens
有兴趣进一步了解token如何工作，
可以尝试 Tokenizer tool：https://platform.openai.com/tokenizer
复制文本粘贴即可显示tokens和characters数
GPT-3.5 Turbo为例，
4K的模型，输入为0.0015$/1k tokens，输出为0.002$/1K tokens
因为模型更新很快，这个计费方式也是变化，请以实际的为标准
参考文档：Pricing
本文来自互联网用户投稿，文章观点仅代表作者本人，不代表本站立场，不承担相关法律责任。如若转载，请注明出处。 如若内容造成侵权/违法违规/事实不符，请点击【内容举报】进行投诉反馈！