3 references to Create
Microsoft.ML.Tokenizers.Data.Tests (1)
TokenizerDataTests.cs (1)
53
TiktokenTokenizer externalTokenizer = TiktokenTokenizer.
Create
(tokenizerDataFileName, preTokenizer: null, normalizer: null);
Microsoft.ML.Tokenizers.Tests (2)
TiktokenTests.cs (2)
59
Tokenizer tokenizer = TiktokenTokenizer.
Create
(tokenizerDataFileName, GPT4.PreTokenizer, null, specialTokens);
117
TiktokenTokenizer externalTokenizer = TiktokenTokenizer.
Create
(tokenizerDataFileName, tokenizer.PreTokenizer, null, tiktoken.SpecialTokens);