2 references to CacheSpecialTokensEncoding
Microsoft.ML.Tokenizers (2)
Model\TiktokenTokenizer.cs (2)
99CacheSpecialTokensEncoding(specialTokens); 113CacheSpecialTokensEncoding(specialTokens);