1 write to _cache
Microsoft.ML.Tokenizers (1)
Model\CodeGenTokenizer.cs (1)
130_cache = new StringSpanOrdinalKeyCache<List<EncodedToken>>();
6 references to _cache
Microsoft.ML.Tokenizers (6)
Model\CodeGenTokenizer.cs (6)
439if (_cache.TryGetValue(textSpan, out List<EncodedToken>? hit)) 468_cache.Set(text is null ? textSpan.ToString() : text, result); 1123if (_cache.TryGetValue(textSpan, out List<EncodedToken>? hit)) 1152_cache.Set(text ?? textSpan.ToString(), result); 1187if (_cache.TryGetValue(textSpan, out List<EncodedToken>? hit)) 1216_cache.Set(text ?? textSpan.ToString(), result);