20180724-155317-pwa-1978.jpg
20180724-155823-pwa-1984.jpg

Volltext-Suche mit Redis

Einer meiner Punkte auf der Todo-Liste für Blogchain war natürlich auch eine Suche. Ständig suchte ich im Wordpress-Blog nach Dingen, die ich irgendwann mal geschrieben habe. Auf dieses Feature verzichten kam also nicht in Frage!

Doch wie?

  1. Die “Viel zu viel Zeit”-Lösung: Einfach komplett selber bauen
  2. Die “Zu viel Zeit und komplett verrückt”-Lösung: Elastic Search aufsetzen
  3. Die “Könnte gerade richtig sein”-Lösung: RediSearch

Ab Version 4.0 unterstützt Redis, der Key-Value-Store meiner Wahl, der hier zum Beispiel auch alle Posts im Cache behält, Module. Eins ist zum Beispiel RediSearch, eine mit ziemlich vielen Features ausgestatte Volltext-Suche.

Wie leicht es war, das nun hier zu integrieren, können wir uns jetzt mal anschauen.

Redis 4.0 & Debian

Das erste Problem ist leider, dass Debian natürlich nicht mit Redis 4 shippt. Zum Glück ist Redis eine tolle Software ohne große Abhängigkeiten und lässt sich super einfach selbst kompilieren kein Problem. Ist das geschafft, installiert man noch das RediSearch Modul, ebenfalls schnell zusammenbauen. Eine Sache von fünf Minuten.

RediSearch-PHP

Nun kann man die Suche schon benutzen, aber die Redis-Befehle manuell zu benutzen ist natürlich mühsam. Zum Glück gibt es RediSearch-PHP. Kurz composer require ethanhann/redisearch-php ausgeführt und schon stehen uns ein paar tolle Klassen im Code zur Verfügung.

Anbindung

Der Dreh- und Angelpunkt ist der Index. Dort werden alle Daten abgelegt und er wird am Ende durchsucht. Statt jetzt ellenlange JSON- oder XML-Konfigurationsdateien anlegen zu müssen, kann man den Index schnell im Code erzeugen:


$postIndex = new Index($redis);

$postIndex->addTextField('title')
    ->
addTextField('text')

try {
    
$postIndex->info()
} catch(
UnknownIndexNameException $e) {
    
$postIndex->create();
}

Schon hat man einen Index, in den man jetzt Dokumente werfen kann, die title und text haben. Der try-catch-Block sorgt noch dafür, dass keine Fehlermeldung kommt, wenn man - aus Versehen - versucht einen Index doppelt anzulegen. Hinzufügen von Dingen ist nun ähnlich einfach:


$post getPost(); // einen Post irgendwoher holen

$doc $postIndex->makeDocument($post->id);
$doc->title->setValue($post->title);
$doc->text->setValue(strip_tags($post->text));

$index->replace($doc);

replace sorgt automatisch dafür, dass das Dokument im Index aktualisiert wird, falls es schon existiert. Zum Schluss nun das, worauf wir alle gewartet haben, die Suche!


$result $index->search('Wurst');
var_dump($result->documents());

Das wars! Cool, oder?


Natürlich wäre es noch besser, wenn die Suche auch alte Posts aus dem Archiv findet. Darum kümmere ich mich vielleicht auch noch.


Ich bin froh, dass es neben ElasticSearch und all den anderen schwergewichtigen Lösungen mittlerweile auch RediSearch gibt. Es funktioniert und ist easy einzubauen und, soweit ich das beurteilen kann, zumindest für solche extrem kleinen Anwendungsfälle, wie ein Blog, ganz gut geeignet.

Als nächstes werde ich, glaube ich, versuchen, watched.li entsprechend zu erweitern. Die dumme Suche ist mir da schon lange ein Dorn im Auge und kann so sicherlich um einiges aufgewertet werden.

Sideproject-Tagebuch: Blogchain (2)

Es ist soweit, ich kümmere mich wieder mehr um das System, statt z.B. mal Posts zu verfassen. Egal. Ich hab hier und da noch ein paar Minuten investiert und vieles etwas runder gemacht:

So, jetzt ist das Projekt aber abgeschlossen. 🤡

Sideproject-Tagebuch: Blogchain (1)

Ihr kennt das — da schreibt man einen langen Post, dass man zu viel zu tun hat, der in der Hauptsache eine Entschuldigung dafür war, weil man den großen Screencast zum Thema “Wie baue ich meinen Blog auf Kirby um” abgeblasen hat und ein paar Monate später hat man aus Versehen ein eigenes Blogsystem geschrieben und sich die aufwendige Daten-Migration, die einer der Gründe war, das Kirby-Projekt zu stoppen, einfach gespart.

Hä, was für ein Satz.

Naja, wie auch immer. Blogchain wächst und gedeiht und macht mir leider wirklich Spaß, auch wenn man mal wieder diverse Räder neu erfindet und auch einfach ein paar mehr bestehende Komponenten benutzen könnte. Immerhin habe ich noch nich angefangen einen Markdown-Parser zu schreiben, auch wenn mich Parsedown mindestens schon drei Mal nervte.

Gestern baute ich ein paar nullable Return-Types ein, was dazu führte, dass ich auf PHP 7.1 updaten musste, Stammleser haben die circa 3-minütige Downtime sicher bemerkt und den Blog schmerzlich vermisst.


Damit ich meine Posts in Zukunft nicht in PhpStorm schreiben muss, dachte ich mir, es wäre fein, ein Webinterface zu bauen. Gleichzeitig berichtete Philipp Kühn , wie geil er GraphQL findet und, naja, irgendwann muss man sich ja mal damit beschäftigen. Also baute ich das Panel mit Vue und Apollo statt Vuex und baute ein GraphQL-Plugin für Blogchain. It works. Also, man müsste es mal fertig und benutzbar machen, aber an sich geht es.

Dieser Post entstand aber weiterhin in PhpStorm.


Seit Tagen hab ich ein .doc-File mit einem Rezept in der E-Mail-Inbox und suche daher nach einer guten Rezepte-App. Leider gibt es keine, die mich begeistert und mir fiel ein, dass ich nun dieses tolle Flatfile-CMS mit Webinterface, Plugin-Support, Custom Post-Types und GraphQL-API habe. Ob sich damit nich eine Rezepte-Datenbank abbilden lässt?

Na sichi! 🤓

20180715-211139-pwa-1934.jpg

Ein klassischer Sonnenuntergang an der Alster.