Class Tokenizer

java.lang.Object
org.h2.command.Tokenizer

public final class Tokenizer extends Object
Tokenizer.
  • Field Details

    • provider

      private final CastDataProvider provider
    • identifiersToUpper

      private final boolean identifiersToUpper
    • identifiersToLower

      private final boolean identifiersToLower
    • nonKeywords

      private final BitSet nonKeywords
  • Constructor Details

    • Tokenizer

      Tokenizer(CastDataProvider provider, boolean identifiersToUpper, boolean identifiersToLower, BitSet nonKeywords)
  • Method Details

    • tokenize

      ArrayList<Token> tokenize(String sql, boolean stopOnCloseParen)
    • readIdentifier

      private int readIdentifier(String sql, int end, int tokenStart, int i, int cp, ArrayList<Token> tokens)
    • readA

      private int readA(String sql, int end, int tokenStart, int i, ArrayList<Token> tokens)
    • readB

      private int readB(String sql, int end, int tokenStart, int i, ArrayList<Token> tokens)
    • readC

      private int readC(String sql, int end, int tokenStart, int i, ArrayList<Token> tokens)
    • getTokenTypeCurrent

      private static int getTokenTypeCurrent(String s, int tokenStart, int length)
    • eqCurrent

      private static boolean eqCurrent(String expected, String s, int start, int length)
    • readD

      private int readD(String sql, int end, int tokenStart, int i, ArrayList<Token> tokens)
    • readE

      private int readE(String sql, int end, int tokenStart, int i, ArrayList<Token> tokens)
    • readF

      private int readF(String sql, int end, int tokenStart, int i, ArrayList<Token> tokens)
    • readG

      private int readG(String sql, int end, int tokenStart, int i, ArrayList<Token> tokens)
    • readH

      private int readH(String sql, int end, int tokenStart, int i, ArrayList<Token> tokens)
    • readI

      private int readI(String sql, int end, int tokenStart, int i, ArrayList<Token> tokens)
    • readJ

      private int readJ(String sql, int end, int tokenStart, int i, ArrayList<Token> tokens)
    • readK

      private int readK(String sql, int end, int tokenStart, int i, ArrayList<Token> tokens)
    • readL

      private int readL(String sql, int end, int tokenStart, int i, ArrayList<Token> tokens)
    • readM

      private int readM(String sql, int end, int tokenStart, int i, ArrayList<Token> tokens)
    • readN

      private int readN(String sql, int end, int tokenStart, int i, ArrayList<Token> tokens)
    • readO

      private int readO(String sql, int end, int tokenStart, int i, ArrayList<Token> tokens)
    • readP

      private int readP(String sql, int end, int tokenStart, int i, ArrayList<Token> tokens)
    • readQ

      private int readQ(String sql, int end, int tokenStart, int i, ArrayList<Token> tokens)
    • readR

      private int readR(String sql, int end, int tokenStart, int i, ArrayList<Token> tokens)
    • readS

      private int readS(String sql, int end, int tokenStart, int i, ArrayList<Token> tokens)
    • readT

      private int readT(String sql, int end, int tokenStart, int i, ArrayList<Token> tokens)
    • readU

      private int readU(String sql, int end, int tokenStart, int i, ArrayList<Token> tokens)
    • readV

      private int readV(String sql, int end, int tokenStart, int i, ArrayList<Token> tokens)
    • readW

      private int readW(String sql, int end, int tokenStart, int i, ArrayList<Token> tokens)
    • readY

      private int readY(String sql, int end, int tokenStart, int i, ArrayList<Token> tokens)
    • read_

      private int read_(String sql, int end, int tokenStart, int i, ArrayList<Token> tokens)
    • readIdentifierOrKeyword

      private int readIdentifierOrKeyword(String sql, int tokenStart, ArrayList<Token> tokens, int endIndex, int type)
    • eq

      private static boolean eq(String expected, String s, int start, int length)
    • findIdentifierEnd

      private int findIdentifierEnd(String sql, int end, int i)
    • extractIdentifier

      private String extractIdentifier(String sql, int beginIndex, int endIndex)
    • readQuotedIdentifier

      private int readQuotedIdentifier(String sql, int end, int tokenStart, int i, char c, boolean unicode, ArrayList<Token> tokens)
    • convertCase

      private String convertCase(String s)
    • readBinaryString

      private static int readBinaryString(String sql, int tokenStart, int end, int i, ArrayList<Token> tokens)
    • readCharacterString

      private static int readCharacterString(String sql, int tokenStart, int end, int i, boolean unicode, ArrayList<Token> tokens)
    • skipWhitespace

      private static int skipWhitespace(String sql, int end, int i)
    • readHexNumber

      private static int readHexNumber(String sql, CastDataProvider provider, int tokenStart, int end, int i, ArrayList<Token> tokens)
    • readNumeric

      private static int readNumeric(String sql, int tokenStart, int end, int i, char c, ArrayList<Token> tokens)
    • readNumeric

      private static int readNumeric(String sql, int tokenStart, int end, int i, char c, boolean integer, boolean approximate, ArrayList<Token> tokens)
    • finishBigInteger

      private static int finishBigInteger(String sql, int tokenStart, int end, int i, int start, boolean asBigint, int radix, ArrayList<Token> tokens)
    • skipBracketedComment

      private static int skipBracketedComment(String sql, int tokenStart, int end, int i)
    • skipSimpleComment

      private static int skipSimpleComment(String sql, int end, int i)
    • parseParameterIndex

      private static int parseParameterIndex(String sql, int end, int i, ArrayList<Token> tokens)
    • assignParameterIndex

      private static int assignParameterIndex(ArrayList<Token> tokens, int lastParameter)
    • processUescape

      private static void processUescape(String sql, ArrayList<Token> tokens)