1 instantiation of ByteToUnicodeEncoding
Microsoft.ML.Tokenizers (1)
Utils\ByteToUnicodeEncoding.cs (1)
15
public static ByteToUnicodeEncoding Instance { get; } = new
ByteToUnicodeEncoding
();
16 references to ByteToUnicodeEncoding
Microsoft.ML.Tokenizers (16)
Model\BPETokenizer.cs (2)
992
ByteToUnicodeEncoding
byteToUnicodeEncoding =
ByteToUnicodeEncoding
.Instance;
Model\CodeGenTokenizer.cs (4)
1363
ByteToUnicodeEncoding
byteToUnicodeEncoding =
ByteToUnicodeEncoding
.Instance;
1525
private static readonly char _transformedSpace =
ByteToUnicodeEncoding
.Instance.ByteToUnicode[' '];
1608
string[] charToString =
ByteToUnicodeEncoding
.Instance.CharToString;
Model\EnglishRobertaTokenizer.cs (6)
286
IReadOnlyDictionary<char, char> unicodeToByte =
ByteToUnicodeEncoding
.Instance.UnicodeToByte;
367
IReadOnlyDictionary<char, char> byteToUnicode =
ByteToUnicodeEncoding
.Instance.ByteToUnicode;
679
IReadOnlyDictionary<char, char> byteToUnicode =
ByteToUnicodeEncoding
.Instance.ByteToUnicode;
724
IReadOnlyDictionary<char, char> byteToUnicode =
ByteToUnicodeEncoding
.Instance.ByteToUnicode;
955
string[] charToString =
ByteToUnicodeEncoding
.Instance.CharToString;
1083
public bool IsSupportedChar(char ch) =>
ByteToUnicodeEncoding
.Instance.ByteToUnicode.ContainsKey(ch);
Utils\ByteToUnicodeEncoding.cs (1)
15
public static
ByteToUnicodeEncoding
Instance { get; } = new ByteToUnicodeEncoding();
Utils\Helpers.cs (3)
165
ByteToUnicodeEncoding
byteToUnicodeEncoder =
ByteToUnicodeEncoding
.Instance;
216
IReadOnlyDictionary<char, char> unicodeToByte =
ByteToUnicodeEncoding
.Instance.UnicodeToByte;