2 references to WhiteSpaceRegex
Microsoft.ML.Tokenizers (2)
PreTokenizer\PreTokenizer.cs (2)
127return _whiteSpacePreTokenizer ??= new RegexPreTokenizer(WhiteSpaceRegex(), null); 130return new RegexPreTokenizer(WhiteSpaceRegex(), specialTokens);