2 references to WhiteSpaceRegex
Microsoft.ML.Tokenizers (2)
PreTokenizer\PreTokenizer.cs (2)
127
return _whiteSpacePreTokenizer ??= new RegexPreTokenizer(
WhiteSpaceRegex
(), null);
130
return new RegexPreTokenizer(
WhiteSpaceRegex
(), specialTokens);