Fulltextové vyhledávání Sphinx

Fulltextové vyhledávání v MySQL je ve většině případů dobře použitelné, ve srovnání s ostatními fulltextovými vyhledávači se ale řadí spíše k průměru. Mezi špičku ve fulltextovém vyhledávání se podle uvedeného srovnání řadí Sphinx, proto jsem se ho rozhodl vyzkoušet.

Sphinx běží jako démon, se kterým se komunikuje přes TCP socket pomocí vlastního protokolu. Sphinx nabízí API pro několik programovacích jazyků včetně PHP, takže jsme od tohoto protokolu v podstatě odstíněni. Nicméně pokud chceme Sphinx používat, tak musí běžet vyhledávací démon (když pominu hledání z příkazového řádku). Při modifikaci prohledávaných dat je navíc potřeba z příkazového řádku spustit indexovač, API tuto funkci nenabízí.

Napojení na MySQL

Sphinx lze díky SphinxSE používat také jako další úložiště přímo v MySQL (vedle MyISAM, InnoDB a dalších). Před příchodem MySQL 5.1 je k tomu ale potřeba vlastní kompilace nebo použití upravené verze MySQL. Toto úložiště navíc není s MySQL integrované zdaleka tak úzce, jak bych si představoval – čekal jsem, že se data budou ukládat do tabulky typu SPHINX stejně jako do ostatních tabulek a při použití funkce MATCH se data vyhledají stejně jako v tabulkách MyISAM. Bohužel tomu tak ale není – data je potřeba ukládat do normálních tabulek, indexování probíhá klasicky programem příkazového řádku a dotaz se určuje řetězcem porovnaným s jedním sloupcem v tabulce typu SPHINX. SphinxSE dokonce nedokáže využít ani hodnoty klauzulí WHERE, ORDER BY a LIMIT, tyto je potřeba specifikovat jinou syntaxí také přímo v dotazu:

SELECT * FROM sphinx WHERE query = 'test it;sort=attr_asc:group_id;limit=20';

Vzhledem k tomu, že SphinxSE nezpřístupňuje ani vracení úryvků nalezeného textu, tak jeho rozumné využití vidím hlavně v přímém spojení s ostatními databázovými tabulkami pomocí JOIN.

Praktická zkouška

Pro vyzkoušení fulltextového vyhledávání jsem nechal indexovat tabulku článků (sloupce nadpis a zpráva) a diskusí (sloupce autor a příspěvek). Sphinx dovoluje vytvořit více zdrojů a vyhledávat nad nimi, nad všemi objekty ale musí existovat jednoznačné číselné ID. Pokud je potřeba prohledávat více objektů různého typu, je potřeba jim jednoznačné ID nějak přiřadit – např. tak, že několik horních bitů ID vyhradíme pro uložení typu objektu. Vzhledem k tomu, že diskusní příspěvky se zobrazují společně s textem článku, tak bylo možné je připojit k článkům a vyhledávat nad souhrnným textem:

SELECT clanky.id, clanky.skupina, UNIX_TIMESTAMP(clanky.publikovano) AS publikovano, clanky.nadpis, clanky.zprava, GROUP_CONCAT(diskuse.autor, ': ', diskuse.zprava ORDER BY diskuse.poradi) AS diskuse
FROM clanky
LEFT JOIN diskuse ON clanky.id = diskuse.clanek
WHERE clanky.publikovano < NOW()
GROUP BY clanky.id

Po spuštění programu indexer a démona searchd bylo možné začít z PHP vyhledávat:

<?php
$sphinx = new SphinxClient();
$sphinx->SetFieldWeights(array("nadpis" => 10, "zprava" => 2, "diskuse" => 1));
$fulltext = $sphinx->Query($_GET["query"]);
?>

Sphinx sice podporuje kódování UTF-8, ale ve výchozím nastavení indexuje jen anglické a ruské znaky. Proto je potřeba v konfiguraci určit, aby se indexovaly i znaky Latinky.

Úryvky nalezeného textu

Další užitečnou funkcí vyhledávání Sphinx je vracení úryvků nalezeného textu. Ty bohužel nevrátí přímo metoda Query, ale je potřeba je získat další metodou BuildExcerpts. Ta si navíc nedokáže vytáhnout nalezený text a naopak je potřeba jí ho předat:

<?php
$ids = implode(", ", array_keys($fulltext["matches"]));
mysql_query("SET group_concat_max_len = 65535");

$odkazy = array();
$uryvky = array();
$result = mysql_query("
    SELECT clanky.url, clanky.nadpis, clanky.zprava, clanky.publikovano, GROUP_CONCAT(diskuse.autor, ': ', diskuse.zprava ORDER BY diskuse.poradi SEPARATOR '; ') AS diskuse
    FROM clanky
    LEFT JOIN diskuse ON clanky.id = diskuse.clanek
    WHERE clanky.id IN ($ids)
    GROUP BY clanky.id
    ORDER BY FIELD(clanky.id, $ids)
");
while ($row = mysql_fetch_assoc($result)) {
    $odkazy[] = "<a href='$row[url].php'>" . htmlspecialchars($row["nadpis"]) . "</a> ($row[publikovano])";
    $uryvky[] = strip_tags($row["zprava"]) . " - " . htmlspecialchars($row["diskuse"]);
}
mysql_free_result($result);
foreach ($sphinx->BuildExcerpts($uryvky, "clanky", $_GET["query"]) as $key => $val) {
    echo "<li>" . $odkazy[$key] . "<br />$val</li>\n";
}
?>

Ukázka výsledků vyhledávání výrazu CAPTCHA na tomto blogu

• Syndikace diskusí (2006-03-17)
  ... není důvod syndikaci skrývat. Protože nesnáším CAPTCHA (který obvykle vypadá jako zdeformovaný ... očakávať, že by mohol tolerovať CAPTCHA overenie. Samozrejme pri príspevku bez ... četl článek nějakého "machra" o dokonalém CAPTCHA, který byl psaný dvěma barvami ...
• Ochrana formulářů proti spamu (2006-09-08)
  ... robotům efektivně bránit a plnohodnotná obrázková CAPTCHA by tak byla potřeba pouze v ... . Keby bolo treba tak dorobim CAPTCHA na zapisanie prispevku, ktory obsahuje URL ... příliš restriktivní. Nejlepší je s vyplňováním CAPTCHA neotravovat nikoho, to přesně toto ...
• Unikátnost návštěvníka (2006-05-19)
  ... akci provést jenom jednou, např. hlasovat v anketě. Akci je možné podmínit registrací, která může být znepříjemněna pomocí CAPTCHA nebo kontroly e-mailové adresy. Pokud má návštěvník na e-maily doménový koš, tak si registrací může vytvořit libovolné ...
• Traverzování kolem stromu prakticky (2007-08-27)
  ... od každého článku, ale hlavně když diskusi napadl spam robot a během dne tam bylo kolem půl milionu příspěvků (použití captcha neřešme to je jiná věc), takové množství pak bylo nejsnažší promazat natvrdo v dtb a tedy neproběhlo přepočítání levých a ...

Ohýbání slov

Sphinx má vestavěnou podporu i pro ohýbání slov, která od verze 0.9.9 podporuje kromě angličtiny a ruštiny také češtinu ale opět pouze pro angličtinu a ruštinu. Jako vystudovaný lingvista jsem si pohrával s myšlenkou doplnit i podporu pro češtinu, bohužel to ale je mimo mé časové možnosti. Druhou možností je využít knihovnu Snowball, kde je jazyků více, čeština mezi nimi ale není.

Závěr

Přestože je fulltextový vyhledávač Sphinx velice schopný a věřím tomu, že i výkonný, používá se poměrně krkolomně. Proto zatím zůstanu u fulltextového vyhledávání MySQL.

Přijďte si o tomto tématu popovídat na školení Návrh a používání MySQL databáze.

Jakub Vrána, Seznámení s oblastí, 23.4.2008, diskuse: 24 (nové: 0)

Diskuse

Diskuse je zrušena z důvodu spamu.

Navigace

PHP triky

• Archiv (704), English articles
• RSS, Atom, Atom diskusí
• O autorovi, o webu, Twitter

Kupte si mou knihu

Reklama

• Hledáte-li programátora nebo naopak sami programujete a nemáte do čeho píchnout, využijte služeb portálu nezávislých profesionálů Na volné noze.

Web běží na serveru

• Váš hosting

Články podle skupin

• Dobře míněné rady (111)
• Řešení problému (170)
• Výuka (100)
• Seznámení s oblastí (102)
• Ze zákulisí (69)
• Školení (31)
• Verze PHP (8)
• Osobní (46)
• Adminer (67)

Výběr článků

• Traverzování kolem stromu prakticky
• Vlastní pořadí řádků v tabulce
• Ukázka použití indexů
• Struktura stránek
• Unikátnost návštěvníka
• Vyhledávání v JavaScriptu
• Kontrola e-mailové adresy
• Vytvoření přátelského URL
• HTTP cachování
• Atomicita operací
• Vypnutí magic_quotes_gpc
• Ukládání souborů od uživatele
• Cross Site Scripting
• AJAX
• Přihlašování uživatelů
• MySQL 4.1 – kódování
• Vzájemné propojení souborů
• Diskuse s reakcemi
• Šablony
• HTTP metody GET a POST
• Escapování
• Ukládání hesel
• Využití unikátních klíčů v databázi
• Obrana proti SQL Injection

Nejnovější články

• Adminer 4.8.1
• Adminer 4.8.0
• Adminer 4.7.9
• Vypnutí chyby při přístupu k nedefinovanému prvku pole
• Users of Adminer 3.7.1 and older might have been hacked

Normy a manuály

• PHP
• MySQL
• HTTP
• Apache
• HTML, XHTML
• JavaScript

Další projekty

• Adminer
• NotORM
• JavaScript Syntax Highlighter
• php-initialized
• Čtyřka