238 references to TokKind
Microsoft.ML.Transforms (238)
Expression\CodeGen.cs (2)
803TokKind tid = node.Operands.Delimiters[0].Kind; 877TokKind tid = node.Operands.Delimiters[i - 1].Kind;
Expression\KeyWordTable.cs (13)
18public readonly TokKind Kind; 21public KeyWordKind(TokKind kind, bool isContextKeyWord) 30private readonly Dictionary<NormStr, TokKind> _mpnstrtidPunc; 38_mpnstrtidPunc = new Dictionary<NormStr, TokKind>(); 41public void AddKeyWord(string str, TokKind tid) 47public bool TryAddPunctuator(string str, TokKind tid) 55TokKind tidCur; 61if (tidCur != TokKind.None) 70TokKind tidTmp; 73_mpnstrtidPunc.Add(nstrTmp, TokKind.None); 80public void AddPunctuator(string str, TokKind tid) 93public bool IsPunctuator(NormStr nstr, out TokKind tid) 99public IEnumerable<KeyValuePair<NormStr, TokKind>> Punctuators
Expression\LambdaBinder.cs (3)
970TokKind tidLax = node.TidLax; 971TokKind tidStrict = node.TidStrict; 1073TokKind tid = node.Operands.Delimiters[i - 1].Kind;
Expression\LambdaParser.cs (154)
88private Dictionary<TokKind, string> _mapTidStr; 107Action<string, TokKind> p = _kwt.AddPunctuator; 109p("^", TokKind.Car); 111p("*", TokKind.Mul); 112p("/", TokKind.Div); 113p("%", TokKind.Per); 114p("+", TokKind.Add); 115p("-", TokKind.Sub); 117p("&&", TokKind.AmpAmp); 118p("||", TokKind.BarBar); 120p("!", TokKind.Bng); 121p("!=", TokKind.BngEqu); 123p("=", TokKind.Equ); 124p("==", TokKind.EquEqu); 125p("=>", TokKind.EquGrt); 126p("<", TokKind.Lss); 127p("<=", TokKind.LssEqu); 128p("<>", TokKind.LssGrt); 129p(">", TokKind.Grt); 130p(">=", TokKind.GrtEqu); 132p(".", TokKind.Dot); 133p(",", TokKind.Comma); 134p(":", TokKind.Colon); 135p(";", TokKind.Semi); 136p("?", TokKind.Que); 137p("??", TokKind.QueQue); 139p("(", TokKind.OpenParen); 140p(")", TokKind.CloseParen); 142Action<string, TokKind> w = _kwt.AddKeyWord; 144w("false", TokKind.False); 145w("true", TokKind.True); 146w("not", TokKind.Not); 147w("and", TokKind.And); 148w("or", TokKind.Or); 149w("with", TokKind.With); 179if (TidCur != TokKind.Eof) 219private void PostTidError(Token tok, TokKind tidWanted) 231case TokKind.Ident: 238private string Stringize(TokKind tid) 243_mapTidStr = new Dictionary<TokKind, string>(); 260private TokKind TidCur 265private TokKind CtxCur 284case TokKind.NewLine: 285case TokKind.Comment: 286case TokKind.Error: 287case TokKind.ErrorInline: 298private TokKind TidPeek(int cv = 1) 303private TokKind TidNext() 316case TokKind.NewLine: 319case TokKind.Comment: 322case TokKind.Error: 323case TokKind.ErrorInline: 343private bool EatTid(TokKind tid) 356private Token TokEat(TokKind tid) 368if (TidCur == TokKind.Ident) 375EatTid(TokKind.OpenParen); 379if (TidCur != TokKind.Comma) 383EatTid(TokKind.CloseParen); 389Token tok = TidCur == TokKind.Colon ? TokMove() : TokEat(TokKind.EquGrt); 401if (tok.Kind == TokKind.Ident) 408PostTidError(TokCur, TokKind.Ident); 463case TokKind.Car: 469case TokKind.Mul: 474case TokKind.Div: 479case TokKind.Per: 485case TokKind.Sub: 490case TokKind.Add: 496case TokKind.AmpAmp: 497case TokKind.And: 502case TokKind.BarBar: 503case TokKind.Or: 509case TokKind.QueQue: 517case TokKind.Que: 520node = new ConditionalNode(TokMove(), node, ParseExpr(), TokEat(TokKind.Colon), ParseExpr()); 526case TokKind.Equ: 527case TokKind.EquEqu: 530node = ParseCompareExpr(node, CompareOp.Equal, TokKind.Equ, TokKind.EquEqu); 533case TokKind.LssGrt: 534case TokKind.BngEqu: 537node = ParseCompareExpr(node, CompareOp.NotEqual, TokKind.LssGrt, TokKind.BngEqu); 542case TokKind.Lss: 543case TokKind.LssEqu: 546node = ParseCompareExpr(node, CompareOp.IncrChain, TokKind.LssEqu, TokKind.Lss); 551case TokKind.Grt: 552case TokKind.GrtEqu: 555node = ParseCompareExpr(node, CompareOp.DecrChain, TokKind.GrtEqu, TokKind.Grt); 558case TokKind.True: 559case TokKind.False: 560case TokKind.IntLit: 561case TokKind.FltLit: 562case TokKind.DblLit: 563case TokKind.CharLit: 564case TokKind.StrLit: 580case TokKind.OpenParen: 584case TokKind.Sub: 588case TokKind.Not: 589case TokKind.Bng: 593case TokKind.IntLit: 594case TokKind.FltLit: 595case TokKind.DblLit: 597case TokKind.True: 598case TokKind.False: 600case TokKind.StrLit: 604case TokKind.Ident: 605if (TidPeek() == TokKind.OpenParen) 607if (TidPeek() == TokKind.Dot && TidPeek(2) == TokKind.Ident && TidPeek(3) == TokKind.OpenParen) 611case TokKind.CharLit: 616case TokKind.With: 625private CompareNode ParseCompareExpr(ExprNode node, CompareOp op, TokKind tidLax, TokKind tidStrict) 651case TokKind.LssGrt: 652case TokKind.BngEqu: 653case TokKind.Equ: 654case TokKind.EquEqu: 655case TokKind.Lss: 656case TokKind.LssEqu: 657case TokKind.Grt: 658case TokKind.GrtEqu: 668if (TidCur == TokKind.Ident) 670PostTidError(TokCur, TokKind.Ident); 676Contracts.Assert(TidCur == TokKind.Ident); 677Contracts.Assert(TidPeek() == TokKind.OpenParen); 680Contracts.Assert(TidCur == TokKind.OpenParen); 683return new CallNode(tok, head, ParseList(tok, TokKind.CloseParen), TokEat(TokKind.CloseParen)); 688Contracts.Assert(TidCur == TokKind.Ident); 689Contracts.Assert(TidPeek() == TokKind.Dot); 690Contracts.Assert(TidPeek(2) == TokKind.Ident); 691Contracts.Assert(TidPeek(3) == TokKind.OpenParen); 694Contracts.Assert(TidCur == TokKind.Dot); 697Contracts.Assert(TidCur == TokKind.OpenParen); 700return new CallNode(tokParen, ns, tokDot, head, ParseList(tokParen, TokKind.CloseParen), TokEat(TokKind.CloseParen)); 705Contracts.Assert(TidCur == TokKind.OpenParen); 709EatTid(TokKind.CloseParen); 713private ListNode ParseList(Token tok, TokKind tidEmpty) 723if (TidCur != TokKind.Comma) 739Contracts.Assert(TidCur == TokKind.With); 743EatTid(TokKind.OpenParen); 748Contracts.Assert(TidCur == TokKind.Comma); 756if (TidCur == TokKind.Comma) 763EatTid(TokKind.Semi); 765EatTid(TokKind.CloseParen); 776if (tok.Kind == TokKind.Ident) 783PostTidError(TokCur, TokKind.Ident); 787if (TidCur == TokKind.Equ) 789EatTid(TokKind.Equ);
Expression\Lexer.cs (6)
153Contracts.Assert(tok.Kind == TokKind.NewLine || tok.Kind == TokKind.Error); 214TokKind tidPunc = TokKind.None; 220TokKind tidCur; 225if (tidCur != TokKind.None)
Expression\Node.cs (18)
758case TokKind.FltLit: 762case TokKind.DblLit: 772case TokKind.IntLit: 775Contracts.Assert(tok.Kind == TokKind.IntLit); 838Contracts.Assert(tok.Kind == TokKind.True || tok.Kind == TokKind.False); 839SetValue(tok.Kind == TokKind.True ? true : false); 842public bool Value { get { return Token.Kind == TokKind.True; } } 1071public readonly TokKind TidStrict; 1072public readonly TokKind TidLax; 1092TidLax = TokKind.Equ; 1093TidStrict = TokKind.EquEqu; 1096TidLax = TokKind.LssGrt; 1097TidStrict = TokKind.BngEqu; 1100TidLax = TokKind.LssEqu; 1101TidStrict = TokKind.Lss; 1104TidLax = TokKind.GrtEqu; 1105TidStrict = TokKind.Grt;
Expression\Printer.cs (12)
172private string GetString(TokKind tidCompare) 176case TokKind.Equ: 178case TokKind.EquEqu: 180case TokKind.LssGrt: 182case TokKind.BngEqu: 184case TokKind.Lss: 186case TokKind.LssEqu: 188case TokKind.GrtEqu: 190case TokKind.Grt: 466TokKind tidLax = node.TidLax; 467TokKind tidStrict = node.TidStrict; 485var tid = node.Operands.Delimiters[i - 1].Kind;
Expression\TokenCursor.cs (7)
32private TokKind _tidCur; 63Contracts.Assert((_tokens != null) == (_buffer[_itokLim - 1].Kind != TokKind.Eof)); 79public TokKind TidCur 88public TokKind CtxCur 148if (tok.Kind == TokKind.Eof) 172public TokKind TidNext() 175if (_tidCur != TokKind.Eof)
Expression\Tokens.cs (23)
32public readonly TokKind Kind; 33public readonly TokKind KindContext; 36protected Token(TextSpan span, TokKind tid) 43protected Token(TextSpan span, TokKind tid, TokKind tidContext) 46Contracts.Assert(tidContext == tid || tid == TokKind.Ident); 67public static KeyToken Create(TextSpan span, TokKind tid) 72public static Token CreateKeyWord(TextSpan span, string str, TokKind tid, bool isContextKeyWord) 79private KeyToken(TextSpan span, TokKind tid) 88public IdentToken(TextSpan span, string val) : base(span, TokKind.Ident) { Value = val; } 89public IdentToken(TextSpan span, string val, TokKind tidContext) : base(span, TokKind.Ident, tidContext) { Value = val; } 92if (KindContext != TokKind.Ident) 111protected NumLitToken(TextSpan span, TokKind tid) 123: base(span, TokKind.IntLit) 148public FltLitToken(TextSpan span, float val) : base(span, TokKind.FltLit) { Value = val; } 164: base(span, TokKind.DblLit) 199public CharLitToken(TextSpan span, char val) : base(span, TokKind.CharLit) { Value = val; } 213public StrLitToken(TextSpan span, string val) : base(span, TokKind.StrLit) { Value = val; } 248: base(span, TokKind.Comment) 260: base(span, TokKind.NewLine) 273: base(span, TokKind.Error) 288: base(span, TokKind.Eof)