关于tokenizer.encode如何对中文编码的信息

1、首先要表示一个汉字，至少需要2个字节码如果需要以utf解码你的汉字，可以用如下办法unicode#39人#39，#39utf16#39u#39\ucbc8#39如果需要以gbk解码你的汉字，可以用如下办法unicode#39人#39，#39gbk#39u#39\u4eba；alist小雅替