2 references to CacheSpecialTokensEncoding
Microsoft.ML.Tokenizers (2)
Model\TiktokenTokenizer.cs (2)
98CacheSpecialTokensEncoding(specialTokens); 112CacheSpecialTokensEncoding(specialTokens);