网校课程
移动资讯
今日 免费试听
"tokens"在英语中通常指的是"标记"或"符号",特别是在计算机科学和编程中。在自然语言处理和语法分析中,"tokens"通常指的是单词或短语,这些单词或短语在输入文本中被识别并转换为计算机可以理解的形式。例如,在分词(tokenization)过程中,文本中的单词或短语会被分解成单独的标记或符号,以便进一步处理和分析。此外,"tokens"也可以指代在游戏中使用的道具或奖励,或者在社交媒体上分享的内容片段。