tokenizers、tokenizer什么意思

1、要将其作为一个整洁的数据集来处理，还需要将句子转化成文更加基本的格式此函数使用tokenizers包将原始数据框中的每一行文本分隔为标记默认标记化用于单词，但其他选项包括字符，ngram，句子，行，段落或正则表达式模式。