OpenAI Tokenizer
输入文本:
Hello world! 你好，世界！
GPT-4
Token数量: 8
Hello
world
!
你
好
，
世界
！
OpenAI Tokenizer提供直观的界面，可以实时查看文本如何被分词，以及每个token的ID。