Die robots.txt Datei in Shopware 6 ist ein essenzielles Werkzeug, um die Sichtbarkeit eines Online-Shops in Suchmaschinen zu steuern. Mit der richtigen Konfiguration können Shop-Betreiber gezielt regulieren, welche Seiten gecrawlt und indexiert werden dürfen und welche verborgen bleiben sollen. Das macht die robots.txt Datei in Shopware 6 zu einem unersetzlichen Bestandteil der Suchmaschinenoptimierung (SEO). Wer seinen Shop erfolgreich im Netz positionieren möchte, sollte die Einrichtung und Pflege dieser Datei keinesfalls vernachlässigen.
Übersicht
- robots.txt in Shopware 6 – Zwei Zeilen mit großer Wirkung
- robots.txt in Shopware 6 – Die einfache Datei
- robots.txt in Shopware 6 – Erweiterte Konfiguration
- robots.txt in Shopware 6 – Einsatz mehrerer Dateien
- robots.txt in Shopware 6 – Automatisierte Erstellung
- Quellen & weiterführende Links zu robots.txt in Shopware 6
1. robots.txt in Shopware 6 – Zwei Zeilen mit großer Wirkung
Bei vielen Hostern wird nach der Domain-Einrichtung automatisch eine kleine robots.txt Datei erstellt. Enthält diese die Anweisung:
User-agent: * Disallow: /
…so blockiert sie sämtliche Suchmaschinen-Crawler. Das Ergebnis: Keine Seite wird indexiert, die komplette Sichtbarkeit in Google & Co. geht verloren. Besonders fatal ist, dass auch Startseite und Unterseiten komplett ausgeschlossen sind.
Shop-Betreiber sollten deshalb:
- Unbedingt prüfen, ob im Verzeichnis eine solche robots.txt liegt.
- Sicherstellen, dass die Datei nicht global den Zugriff sperrt, sondern gezielt bestimmte Bereiche ausschließt.
In Shopware 6 liegt die robots.txt stets im /public-Ordner – eine Datei im Hauptverzeichnis greift nicht.
robots.txt in Shopware 6 – zurück zur Übersicht
2. robots.txt in Shopware 6 – Die einfache Datei
Die Standard-Konfiguration für einen einfachen Shop sieht wie folgt aus:
User-agent: * Allow: / Disallow: */? Disallow: */account/ Disallow: */checkout/ Disallow: */widgets/ Disallow: */navigation/ Disallow: */bundles/ Disallow: */impressum$ Disallow: */datenschutz$ Disallow: */agb$ Sitemap: https://irgendeinshop.de/sitemap.xml
Die Datei wird direkt im Ordner /public/robots.txt abgelegt. Damit ist sie für Suchmaschinen erreichbar und berücksichtigt von Shopware 6 korrekt.
robots.txt in Shopware 6 – zurück zur Übersicht
3. robots.txt in Shopware 6 – Erweiterte Konfiguration
Je nach SEO-Strategie lässt sich die robots.txt für Shopware 6 flexibel erweitern. Typische Beispiele:
- KI-Crawler ausschließen (z. B. GPTBot, ClaudeBot, PerplexityBot).
- Subdomains wie
b2b.vom Index sperren. - Sitemaps mehrsprachiger Shops definieren (z. B. DE, EN, ES, NL).
Möchte man wichtige KIs von seiner Seite aussperren sieht das so aus:
User-agent: GPTBot Disallow: / User-agent: ClaudeBot Disallow: / User-agent: PerplexityBot Disallow: / User-agent: bingbot Disallow: /
Das wichtige ist hierbei, dass man auch Bing komplett ausschließt da viele KIs die Seite sonst über den Umweg über Bing crawlen können.
Wer alle KIs zulassen möchte, fährt hiermit richtig:
User-agent: GPTBot Disallow: /checkout/ Disallow: /account/ Allow: / User-agent: ClaudeBot Disallow: /checkout/ Disallow: /account/ Allow: / User-agent: PerplexityBot Disallow: /checkout/ Disallow: /account/ Allow: /
Was geht noch?
Man kann Subdomains ausschließen:
Disallow: *b2b.*
Der Shop könnte unter der gleichen URL mehrere Sprachen / Sitemaps haben.
Sitemap: https://irgendeinshop.de/sitemap.xml Sitemap: https://irgendeinshop.de/es/sitemap.xml Sitemap: https://irgendeinshop.de/en/sitemap.xml Sitemap: https://irgendeinshop.de/nl/sitemap.xml
Zusammen könnte es so aussehen:
User-agent: GPTBot Disallow: / User-agent: ChatGPT-User Disallow: / User-agent: * Allow: / Disallow: */? Disallow: */account/ Disallow: */checkout/ Disallow: */widgets/ Disallow: */navigation/ Disallow: */bundles/ Disallow: */impressum$ Disallow: */datenschutz$ Disallow: */agb$ Disallow: *b2b.* Sitemap: https://irgendeinshop.de/sitemap.xml Sitemap: https://irgendeinshop.de/es/sitemap.xml Sitemap: https://irgendeinshop.de/en/sitemap.xml Sitemap: https://irgendeinshop.de/nl/sitemap.xml
Es empfiehlt sich, wichtige Sitemaps für jede Sprache explizit mit vollständiger URL einzubinden.
robots.txt in Shopware 6 – zurück zur Übersicht
4. robots.txt in Shopware 6 – Einsatz mehrerer Dateien
Eine Shopware-Installation mit mehreren Verkaufskanälen mit individuellen Frontend-URLs benötigt jeweils eine eigene robots.txt-Datei, weil jede Domain oder Subdomain von Suchmaschinen als eigenständige Website behandelt wird. Jede dieser URLs muss individuell steuern können, welche Bereiche indexiert werden dürfen und welche ausgeschlossen sind, um unerwünschtes Crawling zu vermeiden und vor allem Duplicate Content zu verhindern. Dadurch lässt sich auch die Sichtbarkeit und SEO-Performance jedes einzelnen Shops optimieren.
Zudem ist es entscheidend, dass in jeder robots.txt eine absolute Sitemap-URL angegeben wird, also eine vollständige Adresse inklusive Protokoll und Domain, z. B.:
Sitemap: https://irgendeinshop.de/sitemap.xml
Hätte der Shop mehrere Sprachen, sagen wir mal noch spanisch, englisch und niederländisch, dann hätten wir dort für jede Sprache einen eigenen sitemap Link:
Relative Pfade oder Platzhalter wie */sitemap.xml sind nicht zulässig und werden von Suchmaschinen nicht korrekt erkannt. Die absolute URL stellt sicher, dass die Suchmaschinen die Sitemap zuverlässig finden und die jeweiligen URLs des einzelnen Verkaufskanals optimal indexiert werden.
Dieser Fakt macht es somit auch technisch unmöglich für mehrere Subshops die gleiche robots.txt Datei zu verwenden, auch wenn der restliche Inhalt der anderen Dateien identisch ist.
4.1 Auf Apache Servern
Ein Großteil der Webseiten und auch Shopware Shops läuft weltweit auf Apache Servern. Auf diesen können kann die Verwendung von bestimmten Einstellungen und Befehlen die .htaccess Datei genutzt werden. Die Datei ist (eigentlich) unsichtbar, kann aber mit einer Einstellung lokal als auch auf dem Server mit dem FTP Programm gesehen, geladen bearbeitet und wieder hochgeladen werden.
Für die Nutzung von Shopware auf Apache Servern ist die Datei wichtig und sollte bereits auf dem Server vorhanden sein.
Öffne diese Datei und füge gleich am Anfang der Datei folgende Zeile Code ein:
RewriteRule ^robots\.txt$ robots/%{HTTP_HOST}.txt [NS]
Als nächstes legst du für jede URL im Ordner public/robots (der robots Ordner muss neu angelegt werden und dient im Grunde nur der Ordnung) eine Textdatei an, identisch mit der URL desjenigen Shops, für den die Datei gültig sein soll.
Konkret: Wenn du 5 Shops mit folgenden Domains betreibst:
– kranshop.com
– b2b.kranshop.com
– bvb.de
– boiliiebaer.xyz
– kjhgszbf.tv
dann haben eure robots Datei-Namen ganz genauso auszusehen, mit dem Unterschied, das am Ende noch ein .txt. folgt:
– kranshop.com.txt
– b2b.kranshop.com.txt
– bvb.de.txt
– boiliiebaer.xyz.txt
– kjhgszbf.tv.txt
Nach der korrekten Einrichtung wird die eigentliche robots.txt Datei aus dem Hauptverzeichnis (sofern dort eine gewesen ist, denn mit der Installation kommt die auch nicht von alleine und muss manuell nachträglich angelegt werden) ignoriert, stattdessen werden die URL-spezifischen robots Dateien genutzt.
Hatten wir zuvor bereits eine auf oberster Eben gehabt, dann diese nun gelöscht werden.
4.2 Auf NGINX Servern
NGINX Server sind bei Shopware Shop Betreibern sehr beliebt aber unterscheiden sich dahingehend, dass (unter anderem) die .htaccess Datei keine Auswirkung hat und sie daher schlicht und ergreifend nicht genutzt wird. Sollte sich doch eine auf dem Server befinden, dann wahrscheinlich, weil die Seite von einem Apache Hosting umgezogen ist und die Datei quasi mitgebracht hat, diese aber einfach nur rumliegt wie Urlauber am Strand und nichts zu tun hat wie Sylter Strandkörbe im Winter.
Die oben genannte Zeile mit der RewriteRule kann also so nicht genutzt werden. Was machen wir stattdessen?
In der Theorie bzw. in den Shopware Docs heißt es hierzu leicht kryptisch:
„In NGINX kann man:
rewrite ^/robots\.txt$ /robots/$host.txt
verwenden, jedoch muss die Änderung in den entsprechenden Server Block, da NGINX keine .htaccess-Datei verwendet.“
Wie das in der Praxis in der ISP Config eines NGIX Server bei Timme Hosting aussehen kann ist dann folgendermaßen:
a) Wir klicken im ISP Config auf die Webseite um die es geht, in der Liste Webseiten.
b) Dort klicken wir auf den Reiter Umleitung/Header
c) Den Rest so wie im Screenshot
Shopware 6 – robots.txt Datei
4.3 Shopware in der Cloud
Bei den Cloud Versionen können keine robots Dateien per FTP hochgeladen werden, daher baucht es in Plugin wie diese hier:
SHOPSY robots.txt App – https://store.shopware.com/de/shops92424354789m/shopsy-robots.txt-app.html
robots.txt – https://store.shopware.com/de/crehl12226307324f/robots.txt.html
Zusammengefasst:
- Jede robots.txt enthält eine absolute Sitemap-URL.
- Auf Apache-Servern: via
.htaccessmitRewriteRuleunterschiedliche Dateien zuordnen. - Auf NGINX-Servern: Rewrite-Regeln im Server-Block anlegen.
- Für Shopware Cloud: Plugin wie „SHOPSY robots.txt App“ einsetzen.
robots.txt in Shopware 6 – zurück zur Übersicht
5. robots.txt in Shopware 6 – Automatisierte Erstellung
Die automatisierte Erstellung der robots.txt-Datei, wie sie der User gkore mit seiner PHP-Lösung im Shopware-Forum vorstellt, bringt sowohl Vorteile als auch Nachteile mit sich.
Ein großer Vorteil besteht darin, dass die robots.txt dynamisch für jede URL zentral generiert wird, wodurch sich individuelle und stets aktuelle Regeln automatisch anpassen lassen. Das spart Zeit und reduziert Fehler bei manueller Pflege, besonders bei umfangreichen Shops mit vielen wechselnden URLs und Indexierungsregeln. Außerdem ermöglicht die Automatisierung eine feingranulare Steuerung, die auf spezielle Anforderungen einzelner Seiten oder Kategorien reagieren kann.
Nachteilig kann jedoch sein, dass eine dynamisch erzeugte robots.txt höhere Serverressourcen beansprucht und bei fehlerhafter Programmierung unerwartete oder widersprüchliche Anweisungen erzeugen kann. Außerdem ist bei der Fehlersuche die automatische Generierung weniger transparent als eine statisch gepflegte Datei. Schließlich hängt die Verfügbarkeit der robots.txt bei Ausfall der PHP-Logik davon ab, dass der Server das Skript fehlerfrei ausführt, was zu temporären Problemen beim Crawling führen kann.
Wer sich dafür interessiert findet den passenden Code samt Diskussion zum Thema, hier:
https://forum.shopware.com/t/keine-automatische-robots-txt-in-sw6/69440/14
Die offizielle Empfehlung von Shopware lautet jedoch klar: Für jeden Shop eine eigene Datei.
robots.txt in Shopware 6 – zurück zur Übersicht
