2 references to Create
Microsoft.ML.Tokenizers.Tests (2)
TitokenTests.cs (2)
58
Tokenizer tokenizer = TiktokenTokenizer.
Create
(tokenizerDataFileName, GPT4.PreTokenizer, null, specialTokensEncoder);
116
TiktokenTokenizer externalTokenizer = TiktokenTokenizer.
Create
(tokenizerDataFileName, tokenizer.PreTokenizer, null, tiktoken.SpecialTokens);