16 references to ByteFallback
Microsoft.ML.Tokenizers.Tests (16)
LlamaTests.cs (1)
371
Assert.True(bpe.
ByteFallback
);
SentencePieceTests.cs (15)
74
Assert.True(tokenizer.
ByteFallback
);
97
Assert.False(tokenizer.
ByteFallback
);
200
Assert.False(tokenizer.
ByteFallback
);
233
Assert.True(tokenizer.
ByteFallback
);
308
Assert.True(tokenizer.
ByteFallback
);
328
Assert.True(tokenizer.
ByteFallback
);
363
Assert.True(tokenizer.
ByteFallback
);
382
Assert.True(tokenizer.
ByteFallback
);
442
Assert.True(tokenizer.
ByteFallback
);
479
Assert.True(tokenizer.
ByteFallback
);
603
Assert.True(tokenizer.
ByteFallback
);
640
Assert.True(tokenizer.
ByteFallback
);
672
Assert.True(tokenizer.
ByteFallback
);
708
Assert.True(tokenizer.
ByteFallback
);
733
Assert.False(tokenizer.
ByteFallback
);