Knowledgebase

Magento Multishops oder TYPO3 Multisites - Unterschiedliche robots.txt

Veröffentlicht von Boris Hinzer am 09.01.2014 17:59

Sowohl Magento als auch TYPO3 sind in der Lage sog. Multisites bzw. Multishops zu betreiben. Dabei wird mit einer Installation innerhalb eines Webspaces eine beliebige Anzahl unterschiedlicher Domains bzw. Shops oder Websites verwaltet. Häufig möchte man dann für diese unterschiedlichen Domains dann jedoch unterschiedliche robots.txt Dateien übergeben, damit man Suchdiensten (wie z.B. google oder bing) bezielt die gewünschten Informationen zur Indexierung zukommen lassen kann.

Problem: Nur eine Datei - viele Websites:

Da es sich bei dem obigen Sachverhalt um den selben Webspace handelt, kann man jetzt nicht beliebig häufig die robots.txt ablegen, da google & co exakt nur nach DIESEM Dateinamen im Hauptverzeichnis der Domain - dem sog. DocumentRoot - nachschaut.

Lösung: Umleitung per htaccess:

Sowohl TYPO3 als auch Magento verfügen von Haus aus über eine sog. .htaccess Datei, welche üblicherweise im Hauptverzeichnis des Webspace liegt. Hierüber werden i.d.R. die sprechenden URLs des Shops bzw. der Website und eine Menge andere Dinge organisiert. Mit dieser Datei kann man jedoch auch Umleitungen bauen, um so der Suchmaschine einen andere Datei (mit einem anderen Namen) als robots.txt zu "verkaufen" und aber einfach auf ein Unterverzeichnis verweisen.

Beispiel:

RewriteCond %{HTTP_HOST} ^.*?domain1\.com$ [NC]
RewriteRule ^robots\.txt$ robots/domain1/robots.txt

RewriteCond %{HTTP_HOST} ^.*?domain2\.de$ [NC]
RewriteRule ^robots\.txt$ robots/domain2/robots.txt

RewriteCond %{HTTP_HOST} ^.*?domain3\.de$ [NC]
RewriteRule ^robots\.txt$ robots/domain3/robots.txt

RewriteCond %{HTTP_HOST} ^.*?domain4\.de$ [NC]
RewriteRule ^robots\.txt$ robots/domain4/robots.txt

Im obigen Beispiel haben wir nun eine Abfrage für die unterschiedlichen Domains (domain1,...,domain4) gemacht. Sobald nun also ein Crawler einer Suchmaschine auf die Domain kommt und die robots.txt lesen möchte, verweisen wir die Anfrage auf das jeweilige Unterverzeichnis und die darin enthaltene Datei - robots/domain1/robots.txt

Frage: Wohin soll ich denn den Code Snippet in meine .htaccess Datei einfügen?

Idealerweise nach RewriteEngine on und vor RewriteRule .* index.php [L]

(2 vote(s))
Dieser Artikel war hilfreich.
Dieser Artikel war nicht hilfreich.

Kommentare (2)
Daniel
27.10.2015 00:06
Hallo, muss es denn zwingend eine neue URL.
Ist es mögliche die selbe URL zu benutzen nur das man dahinter ein /grosshandel anhängt und automatisch eine neuer Store zu sehen ist?(multistore)

Gruß
Daniel
Boris Hinzer
27.10.2015 14:36
Hallo Daniel,

ja, das ist natürlich auch jederzeit möglich. Du musst halt dann deine .htaccess entsprechend anpassen. Allerdings indexieren Google & Co immer die robots.txt Datei je Domain, so das der zusätzliche Pfad nicht unbedingt Sinn macht.

Gruß

Boris
Kommentar schreiben
 
 
Vollständiger Name:
E-Mail:
Kommentare:
Sicherheitsüberprüfung 
 
Um Ihre Eingabe zu verifizieren schreiben Sie bitte den Text auf dem Bild in das nebenstehende Feld.

web-vision www.web-vision.de/support