2 references to _tiktokenCache
Microsoft.ML.Tokenizers (2)
Model\TiktokenTokenizer.cs (2)
1234
if (!
_tiktokenCache
.TryGetValue(
1248
_tiktokenCache
.TryAdd(tiktokenConfiguration.VocabFile, cache);