Base:
property
PreTokenizer
Microsoft.ML.Tokenizers.Tokenizer.PreTokenizer
5 references to PreTokenizer
Microsoft.ML.Tokenizers.Tests (5)
BertTokenizerTests.cs (4)
32
Assert.NotNull(tokenizer.
PreTokenizer
);
36
Assert.NotNull(tokenizer.
PreTokenizer
);
99
Assert.NotNull(tokenizer.
PreTokenizer
);
103
Assert.NotNull(tokenizer.
PreTokenizer
);
WordPieceTests.cs (1)
37
Assert.NotNull(tokenizer.
PreTokenizer
);
