Jeu de caractères

Extensibilité

Analyse de texte

La classe Zend_Search_Lucene_Analysis_Analyzer est utilisé par l'indexeur afin de transformer en segments les champs texte du document.

Les méthodes Zend_Search_Lucene_Analysis_Analyzer::getDefault() et Zend_Search_Lucene_Analysis_Analyzer::setDefault() sont utilisées pour récupérer et définir l'analyseur par défaut.

Vous pouvez assigner votre propre analyseur de texte ou choisir parmi un ensemble d'analyseurs prédéfinis : Zend_Search_Lucene_Analysis_Analyzer_Common_Text et Zend_Search_Lucene_Analysis_Analyzer_Common_Text_CaseInsensitive (par défaut). Tout deux interprètent les segments comme des séquences de lettres. Zend_Search_Lucene_Analysis_Analyzer_Common_Text_CaseInsensitive convertit tous les segments en minuscule.

Pour changer d'analyseur :

  1.  

La classe Zend_Search_Lucene_Analysis_Analyzer_Common a été conçu pour être l'ancêtre de tous les analyseurs définis par l'utilisateur. L'utilisateur doit uniquement définir les méthodes reset() et nextToken(), qui prennent leur chaîne de caractères depuis la propriété $_input et retournent les segments un par un (une valeur NULL indique la fin du flux).

La méthode nextToken() doit appeler la méthode normalize() sur chacun des segments. Ce qui vous permet d'utiliser des filtres de segments avec votre analyseur.

Voici l'exemple d'analyseur personnalisé, qui accepte des mots contenant des chiffres comme terme :

Example #1 Analyseur de texte personnalisé

  1. /**
  2. * Voici un analyseur de texte qui traite les mots contenant des chiffres comme
  3. * un seul terme
  4. *//**
  5.      * Remet à Zéro le flux de segments
  6.      *//**
  7.      * API du flux de segmentation
  8.      * Récupère le segment suivant
  9.      * Retourne null à la fin du flux
  10.      *
  11.      * @return Zend_Search_Lucene_Analysis_Token|null
  12.      */// Saute les espaces
  13. // lit le segment
  14. // Segment vide, fin de flux.
  15. // Continue si le segment est sauté

Filtrage des segments

L'analyseur Zend_Search_Lucene_Analysis_Analyzer_Common offre aussi un mécanisme de filtrage des segments.

La classe Zend_Search_Lucene_Analysis_TokenFilter fournit une interface abstraites pour ces filtres. Vos propres filtres devraient étendre cette classe directement ou indirectement.

Chaque filtre personnalisé doit implémenter la méthode normalize() qui devrait transformer le segment en entrée ou signaler que le segment courant doit être sauté.

Il y a trois filtres déjà défini dans le sous-paquet d'analyse :

  • Zend_Search_Lucene_Analysis_TokenFilter_LowerCase

  • Zend_Search_Lucene_Analysis_TokenFilter_ShortWords

  • Zend_Search_Lucene_Analysis_TokenFilter_StopWords

Le filtre LowerCase filtre est déjà utilisé par défaut par l'analyseur Zend_Search_Lucene_Analysis_Analyzer_Common_Text_CaseInsensitive.

Les filtres ShortWords et StopWords peuvent être utilisés avec des analyseurs prédéfinis ou personnalisés comme ceci :

  1. span style="color: #ff0000;">'a', 'an', 'at', 'the', 'and', 'or', 'is', 'am'
  1.  

Le constructeur Zend_Search_Lucene_Analysis_TokenFilter_StopWords prends un tableau de stop-words en entrée. Mais les stop-words peuvent aussi être chargé à partir d'un fichier :

  1.  
Ce fichier doit être un simple fichier texte avec un mot par ligne. Le caractère '#' transforme la ligne en commentaire.

Le constructeur de la classe Zend_Search_Lucene_Analysis_TokenFilter_ShortWords a un argument optionnel. Il s'agit de la longueur maximum de mot, elle est définie par défaut à 2.

Algorithme de score

Le score d'un document d pour une requête q est défini comme suit :

score(q,d) = sum( tf(t in d) * idf(t) * getBoost(t.field in d) * lengthNorm(t.field in d) ) * coord(q,d) * queryNorm(q)

tf(t in d) - Zend_Search_Lucene_Search_Similarity::tf($freq) - un facteur de score basé sur la fréquence d'un terme ou d'une phrase dans un document.

idf(t) - Zend_Search_Lucene_Search_Similarity::idf($input, $reader) - un facteur de score pour un terme simple de l'index spécifié.

getBoost(t.field in d) - le facteur d'impulsion pour le champ du terme.

lengthNorm($term) - la valeur de normalisation pour un champ donné du nombre total de terme contenu dans un champ. Cette valeur est stockée dans l'index. Ces valeurs, ainsi que celle du champ d'impulsion, sont stocké dans un index et multipliées par le score de hits par code de recherche sur chaque champ.

La correspondance au sein de champs plus long est moins précise, ainsi l'implémentation de cette méthode retourne généralement de plus petites valeurs quand numTokens est important, et de plus grandes valeurs lorsque numTokens est petit.

coord(q,d) - Zend_Search_Lucene_Search_Similarity::coord($overlap, $maxOverlap) - un facteur de score basé sur la fraction de tout les termes de la recherche que le document contient.

La présence d'une grande partie des termes de la requête indique une meilleure correspondance avec la requête, ainsi les implémentations de cette méthode retourne habituellement de plus grandes valeurs lorsque le ration entre ces paramètres est grand que lorsque le ratio entre elle est petit.

queryNorm(q) - la valeur de normalisation pour la requête en fonction de la somme des poids au carré de chaque terme de la requête. Cette valeur est ensuite multipliée par le poids de chacun des termes de la requête.

Ceci n'affecte pas le classement, mais tente plutôt de faire des scores à partir de différentes requêtes comparables entre elles.

Les algorithmes de score peuvent être personnalisés en définissant votre propre classe de similitude. Pour ce faire, étendez la classe Zend_Search_Lucene_Search_Similarity comme défini ci-dessous, puis appelez la méthode Zend_Search_Lucene_Search_Similarity::setDefault($similarity); afin de la définir par défaut.

  1. span style="color: #808080; font-style: italic;">/**
  2.      * Ceci n'est pas encore utilisé. Cela évalue le nombre de correspondance
  3.      * d'expressions vagues, basé sur une distance d'édition.
  4.      */

Conteneur de stockage

La classe abstraite Zend_Search_Lucene_Storage_Directory définit la fonctionnalité de répertoire.

Le constructeur Zend_Search_Lucene utilise soit une chaîne soit un objet Zend_Search_Lucene_Storage_Directory en paramètre.

La classe Zend_Search_Lucene_Storage_Directory_Filesystem implémente la fonctionnalité de répertoire pour un système de fichier.

Si une chaîne est utilisé comme paramètre du constructeur Zend_Search_Lucene, le lecteur (Zend_Search_Lucene object) le considère comme un chemin dans le système de fichier et instancie l'objet Zend_Search_Lucene_Storage_Directory_Filesystem.

Vous pouvez définir votre propre implémentation de répertoire en étendant la classe Zend_Search_Lucene_Storage_Directory.

Les méthodes deZend_Search_Lucene_Storage_Directory :

  1. span style="color: #808080; font-style: italic;">/**
  2. * Ferme le stockage.
  3. *
  4. * @return void
  5. *//**
  6. * Crée un nouveau fichier vide dans le répertoire dont le nom est $filename.
  7. *
  8. * @param string $name
  9. * @return void
  10. *//**
  11. * Supprime un fichier existant du répertoire.
  12. *
  13. * @param string $filename
  14. * @return void
  15. *//**
  16. * Retourne true si un fichier portant le nom donné existe.
  17. *
  18. * @param string $filename
  19. * @return boolean
  20. *//**
  21. * Retourne la taille d'un $filename dans le répertoire.
  22. *
  23. * @param string $filename
  24. * @return integer
  25. *//**
  26. * Retourne le timestamp UNIX de la date de modification de $filename.
  27. *
  28. * @param string $filename
  29. * @return integer
  30. *//**
  31. * Renomme un fichier existant dans le répertoire.
  32. *
  33. * @param string $from
  34. * @param string $to
  35. * @return void
  36. *//**
  37. * Définit la date de modification de $filename à la date de maintenant.
  38. *
  39. * @param string $filename
  40. * @return void
  41. *//**
  42. * Retourne un objet Zend_Search_Lucene_Storage_File object pour un $filename
  43. * donné dans le répertoire
  44. *
  45. * @param string $filename
  46. * @return Zend_Search_Lucene_Storage_File
  47. */

La méthode getFileObject($filename) de l'instance Zend_Search_Lucene_Storage_Directory retourne un objet Zend_Search_Lucene_Storage_File.

La classe abstraite Zend_Search_Lucene_Storage_File implémente l'abstraction de fichiers et les primitives de lecture de fichier d'index.

Vous devez aussi étendre Zend_Search_Lucene_Storage_File dans votre implémentation de répertoire.

Seulement deux méthodes de Zend_Search_Lucene_Storage_File doivent être surchargées dans votre implémentation :

  1. span style="color: #808080; font-style: italic;">/**
  2.      * Définit l'indicateur de position du fichier and avance le pointeur
  3.      * de fichier.
  4.      * La nouvelle position, calculé en octets depuis le début du fichier,
  5.      * est obtenu en ajoutant l'offset à la position spécifiée par $whence,
  6.      * dont les valeurs sont définit comme suit :
  7.      * SEEK_SET - Définit la position comme égale aux octets de l'offset.
  8.      * SEEK_CUR - Définit la position à la position courante plus l'offset.
  9.      * SEEK_END - Définit la position à la fin du fichier plus l'offset.
  10.      *(Pour déplacer à une position avant la fin du fichier, vous devrez passer
  11.      * une valeur négative à l'offset.)
  12.      * En cas de succès, retourne 0; sinon, retourne -1
  13.      *
  14.      * @param integer $offset
  15.      * @param integer $whence
  16.      * @return integer
  17.      *//**
  18.      * Lit $length octets dans le fichier et avance le pointeur de fichier.
  19.      *
  20.      * @param integer $length
  21.      * @return string
  22.      */

Jeu de caractères