4 references to AppendToBytesArray
Microsoft.ML.Tokenizers (4)
Model\CodeGenTokenizer.cs (4)
1263AppendToBytesArray(BeginningOfSentenceToken!.AsSpan(), ref bytes, ref bytesIndex); 1272AppendToBytesArray(EndOfSentenceToken!.AsSpan(), ref bytes, ref bytesIndex); 1281AppendToBytesArray(UnknownToken!.AsSpan(), ref bytes, ref bytesIndex); 1306AppendToBytesArray(span, ref bytes, ref bytesIndex);