4 references to AppendToBytesArray
Microsoft.ML.Tokenizers (4)
Model\CodeGenTokenizer.cs (4)
1263
AppendToBytesArray
(BeginningOfSentenceToken!.AsSpan(), ref bytes, ref bytesIndex);
1272
AppendToBytesArray
(EndOfSentenceToken!.AsSpan(), ref bytes, ref bytesIndex);
1281
AppendToBytesArray
(UnknownToken!.AsSpan(), ref bytes, ref bytesIndex);
1306
AppendToBytesArray
(span, ref bytes, ref bytesIndex);