knuspermagier.de

Volltext-Suche mit Redis

Einer meiner Punkte auf der Todo-Liste für Blogchain war natürlich auch eine Suche. Ständig suchte ich im Wordpress-Blog nach Dingen, die ich irgendwann mal geschrieben habe. Auf dieses Feature verzichten kam also nicht in Frage!

Doch wie?

1. Die “Viel zu viel Zeit”-Lösung: Einfach komplett selber bauen
2. Die “Zu viel Zeit und komplett verrückt”-Lösung: Elastic Search aufsetzen
3. Die “Könnte gerade richtig sein”-Lösung: RediSearch

Ab Version 4.0 unterstützt Redis, der Key-Value-Store meiner Wahl, der hier zum Beispiel auch alle Posts im Cache behält, Module. Eins ist zum Beispiel RediSearch, eine mit ziemlich vielen Features ausgestatte Volltext-Suche.

Wie leicht es war, das nun hier zu integrieren, können wir uns jetzt mal anschauen.

Redis 4.0 & Debian

Das erste Problem ist leider, dass Debian natürlich nicht mit Redis 4 shippt. Zum Glück ist Redis eine tolle Software ohne große Abhängigkeiten und lässt sich super einfach selbst kompilieren kein Problem. Ist das geschafft, installiert man noch das RediSearch Modul, ebenfalls schnell zusammenbauen. Eine Sache von fünf Minuten.

RediSearch-PHP

Nun kann man die Suche schon benutzen, aber die Redis-Befehle manuell zu benutzen ist natürlich mühsam. Zum Glück gibt es RediSearch-PHP. Kurz composer require ethanhann/redisearch-php ausgeführt und schon stehen uns ein paar tolle Klassen im Code zur Verfügung.

Anbindung

Der Dreh- und Angelpunkt ist der Index. Dort werden alle Daten abgelegt und er wird am Ende durchsucht. Statt jetzt ellenlange JSON- oder XML-Konfigurationsdateien anlegen zu müssen, kann man den Index schnell im Code erzeugen:

$postIndex = new Index($redis);

$postIndex->addTextField('title')
    ->addTextField('text')

try {
    $postIndex->info()
} catch(UnknownIndexNameException $e) {
    $postIndex->create();
}

Schon hat man einen Index, in den man jetzt Dokumente werfen kann, die title und text haben. Der try-catch-Block sorgt noch dafür, dass keine Fehlermeldung kommt, wenn man - aus Versehen - versucht einen Index doppelt anzulegen. Hinzufügen von Dingen ist nun ähnlich einfach:

$post = getPost(); // einen Post irgendwoher holen

$doc = $postIndex->makeDocument($post->id);
$doc->title->setValue($post->title);
$doc->text->setValue(strip_tags($post->text));

$index->replace($doc);

replace sorgt automatisch dafür, dass das Dokument im Index aktualisiert wird, falls es schon existiert. Zum Schluss nun das, worauf wir alle gewartet haben, die Suche!

$result = $index->search('Wurst');
var_dump($result->documents());

Das wars! Cool, oder?

Natürlich wäre es noch besser, wenn die Suche auch alte Posts aus dem Archiv findet. Darum kümmere ich mich vielleicht auch noch.

Ich bin froh, dass es neben ElasticSearch und all den anderen schwergewichtigen Lösungen mittlerweile auch RediSearch gibt. Es funktioniert und ist easy einzubauen und, soweit ich das beurteilen kann, zumindest für solche extrem kleinen Anwendungsfälle, wie ein Blog, ganz gut geeignet.

Als nächstes werde ich, glaube ich, versuchen, watched.li entsprechend zu erweitern. Die dumme Suche ist mir da schon lange ein Dorn im Auge und kann so sicherlich um einiges aufgewertet werden.

Sideproject-Tagebuch: Blogchain (2)

Es ist soweit, ich kümmere mich wieder mehr um das System, statt z.B. mal Posts zu verfassen. Egal. Ich hab hier und da noch ein paar Minuten investiert und vieles etwas runder gemacht:

• Großes Code-Refactoring, vielleicht wird es ja doch nochmal veröffentlicht.
• Alle Bilder haben nun srcset und sizes und werden per lazysizes.js lazy-geloadet. Ja, jetzt hat die Webseite wieder JavaScript, aber das war unvermeidlich. Dafür sind Pageloads auf Mobilgeräten erheblich schneller, da die Bilder in passenden Größen ausgespielt werden. Zukunft!
• Das Bild im Footer ist auch wieder dynamisch. Durch das harte Caching hatte sich die Zufallsfunktion irgendwie erübrigt. Daher nun auch hier ein Bisschen JavaScript! Was man damit nicht alles tolles machen kann!
• Durch die Optimierungen habe ich im Google Lighthouse Audit-Kram fast überall 100 Punkte. Abgesehen vom “3G w/ CPU Slowdown”-Ding – da fehlt aber auch nur das Critical Path-CSS, für das ich einfach zu faul bin.

So, jetzt ist das Projekt aber abgeschlossen. 🤡

Sideproject-Tagebuch: Blogchain (1)

Ihr kennt das — da schreibt man einen langen Post, dass man zu viel zu tun hat, der in der Hauptsache eine Entschuldigung dafür war, weil man den großen Screencast zum Thema “Wie baue ich meinen Blog auf Kirby um” abgeblasen hat und ein paar Monate später hat man aus Versehen ein eigenes Blogsystem geschrieben und sich die aufwendige Daten-Migration, die einer der Gründe war, das Kirby-Projekt zu stoppen, einfach gespart.

Hä, was für ein Satz.

Naja, wie auch immer. Blogchain wächst und gedeiht und macht mir leider wirklich Spaß, auch wenn man mal wieder diverse Räder neu erfindet und auch einfach ein paar mehr bestehende Komponenten benutzen könnte. Immerhin habe ich noch nich angefangen einen Markdown-Parser zu schreiben, auch wenn mich Parsedown mindestens schon drei Mal nervte.

Gestern baute ich ein paar nullable Return-Types ein, was dazu führte, dass ich auf PHP 7.1 updaten musste, Stammleser haben die circa 3-minütige Downtime sicher bemerkt und den Blog schmerzlich vermisst.

Damit ich meine Posts in Zukunft nicht in PhpStorm schreiben muss, dachte ich mir, es wäre fein, ein Webinterface zu bauen. Gleichzeitig berichtete Philipp Kühn , wie geil er GraphQL findet und, naja, irgendwann muss man sich ja mal damit beschäftigen. Also baute ich das Panel mit Vue und Apollo statt Vuex und baute ein GraphQL-Plugin für Blogchain. It works. Also, man müsste es mal fertig und benutzbar machen, aber an sich geht es.

Dieser Post entstand aber weiterhin in PhpStorm.

Seit Tagen hab ich ein .doc-File mit einem Rezept in der E-Mail-Inbox und suche daher nach einer guten Rezepte-App. Leider gibt es keine, die mich begeistert und mir fiel ein, dass ich nun dieses tolle Flatfile-CMS mit Webinterface, Plugin-Support, Custom Post-Types und GraphQL-API habe. Ob sich damit nich eine Rezepte-Datenbank abbilden lässt?

Na sichi! 🤓

Wie alles begann

Vor ein paar Tagen trieb ich mich so im Internet herum und fand die Webseite von Hans, dem ich ja schon länger auf Twitter folge und sogar mal in Berlin traf (er baut mit Philipp zusammen, unter anderem, Scrumpy!). Dort fand ich folgenden Satz:

Als Kind bin ich in ein Turbo Pascal Buch gefallen.

Aha!

Ich habe noch nie erzählt, wie ich zum Programmieren gekommen bin, oder? Ich werde es vielleicht irgendwann nochmal genauer erläutern, aber auf jeden Fall startete alles mit diesem Buch:

Ich fragte Hans natürlich direkt bei Twitter, um welches Buch es sich bei ihm gehandelt hatte und tatsächlich, es war das gleiche – nur, dass es sich bei ihm um die zweite, verbesserte Auflage handelte. Witzig!

Wenn ich mich richtig erinnere, war dies das zweite Programmier-Buch, welches mir meine Eltern schenkten. Ich weiß nicht mehr, welches das Erste war, so richtig interessiert hat es mich aber wohl nicht. Turbo Pascal & Delphi für Kids hat mich aber überzeugt und in mir etwas geweckt.

Ich weiß natürlich nicht mehr genau, was aus dem Buch ich genau nachprogrammiert habe, wenn überhaupt. Ich glaube, mit dem Turbo Pascal-Kram hab ich mich nicht lange aufgehalten, Delphi und den eingebauten Interface-Builder fand ich allerdings toll.

Das erste Programm, das ich geschrieben habe, das in meiner Erinnerung noch festhängt: Ein Programm, das… 12 Buttons hat, und auf Klick die aktuellen Horoskope anzeigt. Natürlich händisch abgeschrieben aus der aktuellen Tageszeitung.

Danke an meine Eltern! Ohne dieses Buch wäre einiges bestimmt anders gelaufen.