6 references to AppendToBytesArray
Microsoft.ML.Tokenizers (6)
Model\BPETokenizer.cs (2)
847
Helpers.
AppendToBytesArray
(token.AsSpan(), ref bytes, ref bytesIndex);
864
Helpers.
AppendToBytesArray
(span, ref bytes, ref bytesIndex);
Model\CodeGenTokenizer.cs (4)
1266
Helpers.
AppendToBytesArray
(BeginningOfSentenceToken!.AsSpan(), ref bytes, ref bytesIndex);
1275
Helpers.
AppendToBytesArray
(EndOfSentenceToken!.AsSpan(), ref bytes, ref bytesIndex);
1284
Helpers.
AppendToBytesArray
(UnknownToken!.AsSpan(), ref bytes, ref bytesIndex);
1309
Helpers.
AppendToBytesArray
(span, ref bytes, ref bytesIndex);