Class GoogleToken


  • class GoogleToken
    extends java.lang.Object
    A token as tokenized in the Google ngram index.
    Since:
    3.2
    • Field Detail

      • token

        final java.lang.String token
      • startPos

        final int startPos
      • endPos

        final int endPos
    • Constructor Detail

      • GoogleToken

        GoogleToken​(java.lang.String token,
                    int startPos,
                    int endPos)
      • GoogleToken

        GoogleToken​(java.lang.String token,
                    int startPos,
                    int endPos,
                    java.util.Set<AnalyzedToken> posTags)
    • Method Detail

      • isWhitespace

        boolean isWhitespace()
      • toString

        public java.lang.String toString()
        Overrides:
        toString in class java.lang.Object
      • getGoogleTokens

        static java.util.List<GoogleToken> getGoogleTokens​(java.lang.String sentence,
                                                           boolean addStartToken,
                                                           Tokenizer wordTokenizer)
      • findOriginalAnalyzedTokens

        private static java.util.Set<AnalyzedToken> findOriginalAnalyzedTokens​(AnalyzedSentence sentence,
                                                                               int startPos,
                                                                               int endPos)