2 references to WhiteSpaceRegex
Microsoft.ML.Tokenizers (2)
PreTokenizer\PreTokenizer.cs (2)
118
return _whiteSpacePreTokenizer ??= new RegexPreTokenizer(
WhiteSpaceRegex
(), null);
121
return new RegexPreTokenizer(
WhiteSpaceRegex
(), specialTokensEncoder);