238 references to TokKind
Microsoft.ML.Transforms (238)
Expression\CodeGen.cs (2)
803
TokKind
tid = node.Operands.Delimiters[0].Kind;
877
TokKind
tid = node.Operands.Delimiters[i - 1].Kind;
Expression\KeyWordTable.cs (13)
18
public readonly
TokKind
Kind;
21
public KeyWordKind(
TokKind
kind, bool isContextKeyWord)
30
private readonly Dictionary<NormStr,
TokKind
> _mpnstrtidPunc;
38
_mpnstrtidPunc = new Dictionary<NormStr,
TokKind
>();
41
public void AddKeyWord(string str,
TokKind
tid)
47
public bool TryAddPunctuator(string str,
TokKind
tid)
55
TokKind
tidCur;
61
if (tidCur !=
TokKind
.None)
70
TokKind
tidTmp;
73
_mpnstrtidPunc.Add(nstrTmp,
TokKind
.None);
80
public void AddPunctuator(string str,
TokKind
tid)
93
public bool IsPunctuator(NormStr nstr, out
TokKind
tid)
99
public IEnumerable<KeyValuePair<NormStr,
TokKind
>> Punctuators
Expression\LambdaBinder.cs (3)
970
TokKind
tidLax = node.TidLax;
971
TokKind
tidStrict = node.TidStrict;
1073
TokKind
tid = node.Operands.Delimiters[i - 1].Kind;
Expression\LambdaParser.cs (154)
88
private Dictionary<
TokKind
, string> _mapTidStr;
107
Action<string,
TokKind
> p = _kwt.AddPunctuator;
109
p("^",
TokKind
.Car);
111
p("*",
TokKind
.Mul);
112
p("/",
TokKind
.Div);
113
p("%",
TokKind
.Per);
114
p("+",
TokKind
.Add);
115
p("-",
TokKind
.Sub);
117
p("&&",
TokKind
.AmpAmp);
118
p("||",
TokKind
.BarBar);
120
p("!",
TokKind
.Bng);
121
p("!=",
TokKind
.BngEqu);
123
p("=",
TokKind
.Equ);
124
p("==",
TokKind
.EquEqu);
125
p("=>",
TokKind
.EquGrt);
126
p("<",
TokKind
.Lss);
127
p("<=",
TokKind
.LssEqu);
128
p("<>",
TokKind
.LssGrt);
129
p(">",
TokKind
.Grt);
130
p(">=",
TokKind
.GrtEqu);
132
p(".",
TokKind
.Dot);
133
p(",",
TokKind
.Comma);
134
p(":",
TokKind
.Colon);
135
p(";",
TokKind
.Semi);
136
p("?",
TokKind
.Que);
137
p("??",
TokKind
.QueQue);
139
p("(",
TokKind
.OpenParen);
140
p(")",
TokKind
.CloseParen);
142
Action<string,
TokKind
> w = _kwt.AddKeyWord;
144
w("false",
TokKind
.False);
145
w("true",
TokKind
.True);
146
w("not",
TokKind
.Not);
147
w("and",
TokKind
.And);
148
w("or",
TokKind
.Or);
149
w("with",
TokKind
.With);
179
if (TidCur !=
TokKind
.Eof)
219
private void PostTidError(Token tok,
TokKind
tidWanted)
231
case
TokKind
.Ident:
238
private string Stringize(
TokKind
tid)
243
_mapTidStr = new Dictionary<
TokKind
, string>();
260
private
TokKind
TidCur
265
private
TokKind
CtxCur
284
case
TokKind
.NewLine:
285
case
TokKind
.Comment:
286
case
TokKind
.Error:
287
case
TokKind
.ErrorInline:
298
private
TokKind
TidPeek(int cv = 1)
303
private
TokKind
TidNext()
316
case
TokKind
.NewLine:
319
case
TokKind
.Comment:
322
case
TokKind
.Error:
323
case
TokKind
.ErrorInline:
343
private bool EatTid(
TokKind
tid)
356
private Token TokEat(
TokKind
tid)
368
if (TidCur ==
TokKind
.Ident)
375
EatTid(
TokKind
.OpenParen);
379
if (TidCur !=
TokKind
.Comma)
383
EatTid(
TokKind
.CloseParen);
389
Token tok = TidCur ==
TokKind
.Colon ? TokMove() : TokEat(
TokKind
.EquGrt);
401
if (tok.Kind ==
TokKind
.Ident)
408
PostTidError(TokCur,
TokKind
.Ident);
463
case
TokKind
.Car:
469
case
TokKind
.Mul:
474
case
TokKind
.Div:
479
case
TokKind
.Per:
485
case
TokKind
.Sub:
490
case
TokKind
.Add:
496
case
TokKind
.AmpAmp:
497
case
TokKind
.And:
502
case
TokKind
.BarBar:
503
case
TokKind
.Or:
509
case
TokKind
.QueQue:
517
case
TokKind
.Que:
520
node = new ConditionalNode(TokMove(), node, ParseExpr(), TokEat(
TokKind
.Colon), ParseExpr());
526
case
TokKind
.Equ:
527
case
TokKind
.EquEqu:
530
node = ParseCompareExpr(node, CompareOp.Equal,
TokKind
.Equ,
TokKind
.EquEqu);
533
case
TokKind
.LssGrt:
534
case
TokKind
.BngEqu:
537
node = ParseCompareExpr(node, CompareOp.NotEqual,
TokKind
.LssGrt,
TokKind
.BngEqu);
542
case
TokKind
.Lss:
543
case
TokKind
.LssEqu:
546
node = ParseCompareExpr(node, CompareOp.IncrChain,
TokKind
.LssEqu,
TokKind
.Lss);
551
case
TokKind
.Grt:
552
case
TokKind
.GrtEqu:
555
node = ParseCompareExpr(node, CompareOp.DecrChain,
TokKind
.GrtEqu,
TokKind
.Grt);
558
case
TokKind
.True:
559
case
TokKind
.False:
560
case
TokKind
.IntLit:
561
case
TokKind
.FltLit:
562
case
TokKind
.DblLit:
563
case
TokKind
.CharLit:
564
case
TokKind
.StrLit:
580
case
TokKind
.OpenParen:
584
case
TokKind
.Sub:
588
case
TokKind
.Not:
589
case
TokKind
.Bng:
593
case
TokKind
.IntLit:
594
case
TokKind
.FltLit:
595
case
TokKind
.DblLit:
597
case
TokKind
.True:
598
case
TokKind
.False:
600
case
TokKind
.StrLit:
604
case
TokKind
.Ident:
605
if (TidPeek() ==
TokKind
.OpenParen)
607
if (TidPeek() ==
TokKind
.Dot && TidPeek(2) ==
TokKind
.Ident && TidPeek(3) ==
TokKind
.OpenParen)
611
case
TokKind
.CharLit:
616
case
TokKind
.With:
625
private CompareNode ParseCompareExpr(ExprNode node, CompareOp op,
TokKind
tidLax,
TokKind
tidStrict)
651
case
TokKind
.LssGrt:
652
case
TokKind
.BngEqu:
653
case
TokKind
.Equ:
654
case
TokKind
.EquEqu:
655
case
TokKind
.Lss:
656
case
TokKind
.LssEqu:
657
case
TokKind
.Grt:
658
case
TokKind
.GrtEqu:
668
if (TidCur ==
TokKind
.Ident)
670
PostTidError(TokCur,
TokKind
.Ident);
676
Contracts.Assert(TidCur ==
TokKind
.Ident);
677
Contracts.Assert(TidPeek() ==
TokKind
.OpenParen);
680
Contracts.Assert(TidCur ==
TokKind
.OpenParen);
683
return new CallNode(tok, head, ParseList(tok,
TokKind
.CloseParen), TokEat(
TokKind
.CloseParen));
688
Contracts.Assert(TidCur ==
TokKind
.Ident);
689
Contracts.Assert(TidPeek() ==
TokKind
.Dot);
690
Contracts.Assert(TidPeek(2) ==
TokKind
.Ident);
691
Contracts.Assert(TidPeek(3) ==
TokKind
.OpenParen);
694
Contracts.Assert(TidCur ==
TokKind
.Dot);
697
Contracts.Assert(TidCur ==
TokKind
.OpenParen);
700
return new CallNode(tokParen, ns, tokDot, head, ParseList(tokParen,
TokKind
.CloseParen), TokEat(
TokKind
.CloseParen));
705
Contracts.Assert(TidCur ==
TokKind
.OpenParen);
709
EatTid(
TokKind
.CloseParen);
713
private ListNode ParseList(Token tok,
TokKind
tidEmpty)
723
if (TidCur !=
TokKind
.Comma)
739
Contracts.Assert(TidCur ==
TokKind
.With);
743
EatTid(
TokKind
.OpenParen);
748
Contracts.Assert(TidCur ==
TokKind
.Comma);
756
if (TidCur ==
TokKind
.Comma)
763
EatTid(
TokKind
.Semi);
765
EatTid(
TokKind
.CloseParen);
776
if (tok.Kind ==
TokKind
.Ident)
783
PostTidError(TokCur,
TokKind
.Ident);
787
if (TidCur ==
TokKind
.Equ)
789
EatTid(
TokKind
.Equ);
Expression\Lexer.cs (6)
153
Contracts.Assert(tok.Kind ==
TokKind
.NewLine || tok.Kind ==
TokKind
.Error);
214
TokKind
tidPunc =
TokKind
.None;
220
TokKind
tidCur;
225
if (tidCur !=
TokKind
.None)
Expression\Node.cs (18)
758
case
TokKind
.FltLit:
762
case
TokKind
.DblLit:
772
case
TokKind
.IntLit:
775
Contracts.Assert(tok.Kind ==
TokKind
.IntLit);
838
Contracts.Assert(tok.Kind ==
TokKind
.True || tok.Kind ==
TokKind
.False);
839
SetValue(tok.Kind ==
TokKind
.True ? true : false);
842
public bool Value { get { return Token.Kind ==
TokKind
.True; } }
1071
public readonly
TokKind
TidStrict;
1072
public readonly
TokKind
TidLax;
1092
TidLax =
TokKind
.Equ;
1093
TidStrict =
TokKind
.EquEqu;
1096
TidLax =
TokKind
.LssGrt;
1097
TidStrict =
TokKind
.BngEqu;
1100
TidLax =
TokKind
.LssEqu;
1101
TidStrict =
TokKind
.Lss;
1104
TidLax =
TokKind
.GrtEqu;
1105
TidStrict =
TokKind
.Grt;
Expression\Printer.cs (12)
172
private string GetString(
TokKind
tidCompare)
176
case
TokKind
.Equ:
178
case
TokKind
.EquEqu:
180
case
TokKind
.LssGrt:
182
case
TokKind
.BngEqu:
184
case
TokKind
.Lss:
186
case
TokKind
.LssEqu:
188
case
TokKind
.GrtEqu:
190
case
TokKind
.Grt:
466
TokKind
tidLax = node.TidLax;
467
TokKind
tidStrict = node.TidStrict;
485
var
tid = node.Operands.Delimiters[i - 1].Kind;
Expression\TokenCursor.cs (7)
32
private
TokKind
_tidCur;
63
Contracts.Assert((_tokens != null) == (_buffer[_itokLim - 1].Kind !=
TokKind
.Eof));
79
public
TokKind
TidCur
88
public
TokKind
CtxCur
148
if (tok.Kind ==
TokKind
.Eof)
172
public
TokKind
TidNext()
175
if (_tidCur !=
TokKind
.Eof)
Expression\Tokens.cs (23)
32
public readonly
TokKind
Kind;
33
public readonly
TokKind
KindContext;
36
protected Token(TextSpan span,
TokKind
tid)
43
protected Token(TextSpan span,
TokKind
tid,
TokKind
tidContext)
46
Contracts.Assert(tidContext == tid || tid ==
TokKind
.Ident);
67
public static KeyToken Create(TextSpan span,
TokKind
tid)
72
public static Token CreateKeyWord(TextSpan span, string str,
TokKind
tid, bool isContextKeyWord)
79
private KeyToken(TextSpan span,
TokKind
tid)
88
public IdentToken(TextSpan span, string val) : base(span,
TokKind
.Ident) { Value = val; }
89
public IdentToken(TextSpan span, string val,
TokKind
tidContext) : base(span,
TokKind
.Ident, tidContext) { Value = val; }
92
if (KindContext !=
TokKind
.Ident)
111
protected NumLitToken(TextSpan span,
TokKind
tid)
123
: base(span,
TokKind
.IntLit)
148
public FltLitToken(TextSpan span, float val) : base(span,
TokKind
.FltLit) { Value = val; }
164
: base(span,
TokKind
.DblLit)
199
public CharLitToken(TextSpan span, char val) : base(span,
TokKind
.CharLit) { Value = val; }
213
public StrLitToken(TextSpan span, string val) : base(span,
TokKind
.StrLit) { Value = val; }
248
: base(span,
TokKind
.Comment)
260
: base(span,
TokKind
.NewLine)
273
: base(span,
TokKind
.Error)
288
: base(span,
TokKind
.Eof)