Base:
property
PreTokenizer
Microsoft.ML.Tokenizers.Tokenizer.PreTokenizer
7 references to PreTokenizer
Microsoft.ML.Tokenizers.Tests (7)
BertTokenizerTests.cs (6)
46
Assert.NotNull(tokenizer.
PreTokenizer
);
50
Assert.NotNull(tokenizer.
PreTokenizer
);
117
Assert.NotNull(tokenizer.
PreTokenizer
);
121
Assert.NotNull(tokenizer.
PreTokenizer
);
189
Assert.NotNull(tokenizer.
PreTokenizer
);
193
Assert.NotNull(tokenizer.
PreTokenizer
);
WordPieceTests.cs (1)
37
Assert.NotNull(tokenizer.
PreTokenizer
);
