_o200kBaseRegex

1 write to _o200kBaseRegex

Microsoft.ML.Tokenizers (1)

Model\TiktokenTokenizer.cs (1)

1194internal static Regex O200kBaseRegex() => _o200kBaseRegex ??= new Regex(O200kBaseRegexPattern, RegexOptions.Compiled, TimeSpan.FromMilliseconds(PreTokenizer.DefaultTimeOutInMilliseconds));