7 references to AddDummyPrefix
Microsoft.ML.Tokenizers.Tests (7)
LlamaTests.cs (1)
372
Assert.True(bpe.
AddDummyPrefix
);
SentencePieceTests.cs (6)
75
Assert.True(tokenizer.
AddDummyPrefix
);
98
Assert.True(tokenizer.
AddDummyPrefix
);
210
Assert.True(tokenizer.
AddDummyPrefix
);
255
Assert.False(tokenizer.
AddDummyPrefix
);
394
Assert.True(tokenizer.
AddDummyPrefix
);
641
Assert.False(tokenizer.
AddDummyPrefix
);