Robots.txt: Applebot folgt auch Googlebot Instruktionen

1 Kommentar

John Mueller hat auf Google+ einen kurzen Post über die Handhabung der Suchmaschinen-Crawler von Google und Apple in der robots.txt veröffentlicht. Darin griff er auf, das der Applebot, sofern er nicht explizit in der robots.txt erwähnt ist, den Instruktionen des Googlebot folgt. Sofern ihr also den Applebot, der das Internet unter anderem für die interne Suche des Apple-Betriebssystems Mac OS X und die Sprachsuche Siri crawlt, von Eurer Webseite ausschließen oder nur bestimmte Bereiche crawlen lassen wollt, dann solltet ihr ihn in der robots.txt explizit ansprechen:


Die offiziellen Informationen von Apple dazu findet ihr hier:


Trackbacks/ Pingbacks

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind markiert *