Interface ISourceCodeTokenizer

    • Method Detail

      • isPositioned

        boolean isPositioned()
      • reset

        void reset()
      • reset

        void reset​(Reader reader)
      • getSource

        String getSource()
      • isWhitespaceSignificant

        boolean isWhitespaceSignificant()
      • setWhitespaceSignificant

        void setWhitespaceSignificant​(boolean bWhitespaceSignificant)
      • isCommentsSignificant

        boolean isCommentsSignificant()
      • setCommentsSignificant

        void setCommentsSignificant​(boolean bCommentsSignificant)
      • getLineNumber

        int getLineNumber()
      • getLineOffset

        int getLineOffset()
      • getTokenColumn

        int getTokenColumn()
      • getCurrentToken

        IToken getCurrentToken()
      • getTokenAt

        IToken getTokenAt​(int iTokenIndex)
      • getTokenAtPosition

        IToken getTokenAtPosition​(int docPosition)
      • wordChars

        void wordChars​(int iLow,
                       int iHigh)
      • whitespaceChars

        void whitespaceChars​(int iLow,
                             int iHigh)
      • ordinaryChars

        void ordinaryChars​(int iLow,
                           int iHigh)
      • ordinaryChar

        void ordinaryChar​(int ch)
      • operators

        void operators​(String[] astrOperators)
      • operatorChars

        void operatorChars​(int iLow,
                           int iHigh)
      • isOperator

        boolean isOperator​(String strOperator)
      • commentChar

        void commentChar​(int ch)
      • quoteChar

        void quoteChar​(int ch)
      • parseNumbers

        void parseNumbers()
      • eolIsSignificant

        void eolIsSignificant​(boolean bFlag)
      • lowerCaseMode

        void lowerCaseMode​(boolean bLowerCaseMode)
      • isUnterminatedString

        boolean isUnterminatedString()
      • isUnterminatedComment

        boolean isUnterminatedComment()
      • setParseDotsAsOperators

        void setParseDotsAsOperators​(boolean parseDotsAsOperators)
      • isParseDotsAsOperators

        boolean isParseDotsAsOperators()
      • getTokenStart

        int getTokenStart()
      • getTokenEnd

        int getTokenEnd()
      • getTokenAsString

        String getTokenAsString()
      • mark

        int mark()
      • restoreToMark

        void restoreToMark​(int markedState)
      • getRestoreState

        int getRestoreState()
      • nextToken

        void nextToken()
      • getState

        int getState()
      • countMatches

        int countMatches​(String s)
      • countMatches

        int countMatches​(String s,
                         int tokenType)
      • getType

        int getType()
      • getStringValue

        String getStringValue()
      • isEOF

        boolean isEOF()
      • isAnalyzingSeparately

        boolean isAnalyzingSeparately()
      • isAnalyzingDirective

        boolean isAnalyzingDirective()
      • isSupportsKeywords

        boolean isSupportsKeywords()
      • setSupportsKeywords

        void setSupportsKeywords​(boolean supportsKeywords)