1 reference to BytePairEncodeLarge
Microsoft.ML.Tokenizers (1)
Utils\BytePairEncoder.cs (1)
29
return
BytePairEncodeLarge
(mergingBytes, ranks, indexMappingSpan);