3 references to SplitText
Microsoft.ML.Tokenizers (3)
PreTokenizer\PreTokenizer.cs (1)
63
return
SplitText
(text.ToString(), regex);
PreTokenizer\RobertaPreTokenizer.cs (1)
32
return
SplitText
(text, TiktokenTokenizer.P50kBaseRegex());
PreTokenizer\WhiteSpacePreTokenizer.cs (1)
43
return
SplitText
(text, PretokenizeRegex());