Ich bin über ripgrep gestolpert. Das ist wie grep, nur in clever. Und dadurch auch in schnell.

Mit grep durchsucht man Textdokumente nach bestimmten Zeichenketten, etwa Quelltext. Quelltext wird heute normalerweise mittels Git versioniert. ripgrep ist clever und beachtet .gitignore Dateien. Dadurch durchsucht es nur die in Git verwalteten Dateien. Aus diesem cleveren Verhalten folgt: ripgrep ist schnell.

Die Beschränkung der Suche auf die in Git verwalteten Dateien ist sehr sinnvoll. ripgrep versucht auch nicht binäre Dateien zu durchsuchen. In meinem aktuellen Web Projekt werden dadurch weder die gut 600MB an JavaScript Dateien in node_modules/ durchsucht, noch die durch den TypeScript Compiler erzeugten JavaScript und CSS Dateien. Das spart gewaltig an Zeit.

Tatsächlich ist mein grep Aufruf Dank Oh My Zsh durch einen Alias optimiert:

grep --color=auto --exclude-dir={.bzr,CVS,.git,.hg,.svn,.idea,.tox}

Selbst wenn ich das node_modules/ Verzeichnis und das Verzeichnis mit den vom TypeScript Compiler erzeugten Dateien manuell ignoriere, sinkt die Laufzeit von grep lediglich auf 0,47s.

Ein weiterer Trick von ripgrep ist, dass es mehrere Threads für die Suche nutzt. Im folgenden Beispiel durchsuche ich das node_modules/ Verzeichnis, immerhin rund 60k Dateien.

Während grep lediglich einen CPU Core nutzt, geht ripgrep in die Vollen und verteilt die Arbeit über mehr als 3 CPU Cores.

Ich bin begeistert! :-)

Dieser Beitrag wurde am 26.08.2020 um 22:37in der Kategorie Software Engineering veröffentlicht. Kommentare können per RSS 2.0 Feed abonniert werden. Sie können ein Kommentar schreiben oder einen Trackback von ihrer Seite hinterlassen.

4 Kommentare to “ripgrep – grep in schnell”

1. Martin sagt:

   8. September 2020 um 15:43 Uhr

   Dieser Eintrag ist nicht in Deinem Feed aufgetaucht.

2. Sebastian sagt:

   8. September 2020 um 20:09 Uhr

   Ich kann nicht sagen, was es genau ist, aber irgendwie aktualisiert sich mein ganz ganz alter Feed (https://feeds.feedburner.com/Promotionsblog) nicht mehr. Vielleicht kannst du ja deinen Feedreader auf https://sebstein.hpfsc.de/feed/ umstellen?

3. Martin sagt:

   9. September 2020 um 8:10 Uhr

   Auf den Feed https://sebstein.hpfsc.de/feed/ bezog ich mich. Ich hatte gestern auch noch einmal, um sicher zu gehen, auf den Link oben rechts in Deinem Blog geklickt (was ja zu der Adresse führt) aber da war gestern der letzte Eintrag der mit der Web-Entwicklung. Jetzt ist der Feed auf jeden Fall wieder aktuell. Vielleicht hat mein Browser den gecached.

4. Matthias Hermsdorf sagt:

   11. September 2020 um 11:03 Uhr

   Der Post ist bei auch erst kürzlich aufgetaucht, sagt aber er wäre im Juli veröffentlicht worden. Hier oben steht aber Ende August