1 write to _regex
Microsoft.ML.Tokenizers (1)
PreTokenizer\RegexPreTokenizer.cs (1)
34
_regex
= regex;
1 reference to _regex
Microsoft.ML.Tokenizers (1)
PreTokenizer\RegexPreTokenizer.cs (1)
55
return SplitText(text,
_regex
, _specialTokensRegex);