Robots.txt
Die robots.txt ist eine Steuerdatei im Root-Verzeichnis einer Website. Sie kontrolliert, welche Seiten von Suchmaschinen gecrawlt werden dürfen.
robots.txt: Kontrolle über Suchmaschinen-Crawler im E-Commerce
Die robots.txt ist eine einfache Textdatei, die im Root-Verzeichnis jeder Website liegt. Sie enthält Anweisungen für Webcrawler und entscheidet, welche Bereiche der Website indexiert werden dürfen. Damit nimmt sie direkten Einfluss auf SEO, Performance und die Sichtbarkeit eines Online-Shops.
Warum die robots.txt im E-Commerce unverzichtbar ist
Im E-Commerce gibt es viele Seiten, die nicht im Suchindex erscheinen sollen. Dazu gehören der Kundenbereich, Warenkörbe oder Staging-Umgebungen. Die robots.txt hilft Shopbetreibern, diese Seiten zuverlässig vom Crawling auszuschließen. Dadurch wird das Crawling effizienter. Serverressourcen werden geschont. Die Sichtbarkeit der wichtigen Seiten steigt.
Ein durchdachtes Crawling spart Ressourcen und vermeidet Duplicate Content. Das verbessert die SEO-Rankings und erhöht die Chance, bei relevanten Suchanfragen sichtbar zu sein.
So funktioniert die robots.txt
Die Datei basiert auf dem Robots Exclusion Standard. Crawler lesen sie als Erstes vor dem Besuch einer Website. Darin finden sie Anweisungen wie Disallow oder Allow. So erfahren sie, welche Seiten sie besuchen dürfen und welche nicht. Zur Umsetzung genügen einfache Textzeilen, zum Beispiel:
User-agent: *
Disallow: /warenkorb/
Disallow: /admin/
Diese Regeln können durch manuelle Bearbeitung oder Tools wie die Google Search Console getestet und angepasst werden.
robots.txt im JTL-Shop einsetzen
Der JTL-Shop liefert standardmäßig eine erste Version der robots.txt mit. Sie befindet sich im Root-Verzeichnis und kann manuell oder über die Templates angepasst werden. Typische Optimierungen für Shopbetreiber sind:
- Verhindern von Crawling für Checkout-, User- und interne Testseiten
- Erlauben des Crawlings für Produkt- und Kategorieseiten
- Regelmäßiges Testen auf Syntaxfehler oder 404-Probleme
Best Practices beinhalten den Ausschluss sensibler Bereiche wie /admin/ oder Testumgebungen. Wichtig ist auch, die Datei nach Shop-Updates zu kontrollieren. Fehlerhafte Anweisungen können dazu führen, dass ganze Shopbereiche aus Google verschwinden.
go eCommerce unterstützt als zertifizierter JTL Enterprise Servicepartner bei der Einrichtung und Optimierung der robots.txt. Dabei steht nicht nur die technische Umsetzung, sondern auch die strategische SEO-Konzeption im Mittelpunkt.
Dein Projekt.
Unsere Expertise.
Gemeinsames Wachstum.
Unsere Leistungen
Setze auf Sicherheit und arbeite mit erfahrenen JTL-Experten.
Unsere zahlreichen Auszeichnungen und Zertifikate sprechen für sich.
Unser Partnernetzwerk.
Dein Vorteil.
Wir begleiten dich nicht allein. Mit unserem großen Partnernetzwerk bekommst du Zugriff auf Tools, Services und Schnittstellen, die dein Geschäft schneller wachsen lassen.
Einblicke, die dir einen Vorsprung sichern
Unsere Interviews, Tutorials und Berichte liefern dir fundiertes Wissen - klar erklärt, praxisnah und sofort umsetzbar.
