1 instantiation of ByteToUnicodeEncoding
Microsoft.ML.Tokenizers (1)
Utils\ByteToUnicodeEncoding.cs (1)
15
public static ByteToUnicodeEncoding Instance { get; } = new
ByteToUnicodeEncoding
();
14 references to ByteToUnicodeEncoding
Microsoft.ML.Tokenizers (14)
Model\CodeGenTokenizer.cs (5)
1358
ByteToUnicodeEncoding
byteToUnicodeEncoding =
ByteToUnicodeEncoding
.Instance;
1520
private static readonly char _transformedSpace =
ByteToUnicodeEncoding
.Instance.ByteToUnicode[' '];
1564
IReadOnlyDictionary<char, char> unicodeToByte =
ByteToUnicodeEncoding
.Instance.UnicodeToByte;
1623
string[] charToString =
ByteToUnicodeEncoding
.Instance.CharToString;
Model\EnglishRobertaTokenizer.cs (6)
275
IReadOnlyDictionary<char, char> unicodeToByte =
ByteToUnicodeEncoding
.Instance.UnicodeToByte;
356
IReadOnlyDictionary<char, char> byteToUnicode =
ByteToUnicodeEncoding
.Instance.ByteToUnicode;
668
IReadOnlyDictionary<char, char> byteToUnicode =
ByteToUnicodeEncoding
.Instance.ByteToUnicode;
713
IReadOnlyDictionary<char, char> byteToUnicode =
ByteToUnicodeEncoding
.Instance.ByteToUnicode;
944
string[] charToString =
ByteToUnicodeEncoding
.Instance.CharToString;
1072
public bool IsSupportedChar(char ch) =>
ByteToUnicodeEncoding
.Instance.ByteToUnicode.ContainsKey(ch);
Utils\ByteToUnicodeEncoding.cs (1)
15
public static
ByteToUnicodeEncoding
Instance { get; } = new ByteToUnicodeEncoding();
Utils\Helpers.cs (2)
82
ByteToUnicodeEncoding
byteToUnicodeEncoder =
ByteToUnicodeEncoding
.Instance;