(YouTube-Direktlink)

Zusammenfassung: Matt geht das durchaus spannende Thema leider nur sehr oberflächlich an. Zunächst verweist er darauf, dass der Googlebot nicht über spezialisierte Hardware verfügt, sondern auf handelsüblichen Servern betrieben wird. Diese stehen nicht exklusiv dem Googlebot zur Verfügung, sondern werden durchaus auch für andere Bereiche bei Google eingesetzt. Es gibt also keinen Unterschied zwischen normalen Google-Servern und Googlebot-Servern.
Die Maschinen laufen mit einer eigenen Linux-Variante, auf der weder Apache noch IIS, sondern GWS (Google Web Server) installiert ist. Matt verweist darauf, dass Google viel Zeit in die Entwicklung der Software investiert, um den Googlebot so effizient wie möglich laufen zu lassen.

[W]hile GET requests remain far more common, to surface more content on the web, Googlebot may now perform POST requests when we believe it’s safe and appropriate.

Webmaster Central Blog: GET, POST, and safely surfacing more of the web

Wie jede andere Website müssen wir auch die Infrastruktur von Google News gelegentlich aktualisieren. Gleichzeitig möchten wir aber weiterhin eine optimale Kontrolle der Nachrichten-Websites ermöglichen.

Spezielle robots.txt-Einträge für den Googlebot-News werden vom Googlebot übernommen. Damit ist es nach wie vor möglich, Google das Crawlen von Content für Google News zu verbieten, aber weiterhin in der Websuche aufzutauchen.

Google Webmaster-Zentrale: Google News crawlt jetzt mit dem Googlebot

Your analytics tool will still be able to differentiate [...] so you should see no changes there. The main difference is that you will no longer see occasional automated visits to your site from the Googlebot-news crawler.

WCB: Google News now crawling with Googlebot

1. Eigenes Bild auf eigenem Webspace
2. Eigenes Bild auf fremden Webspace
3. Geklautes Bild auf anderer Website in Deutschland
4. Geklautes Bild auf anderer Website irgendwo

Man muss also dem Googlebot den Weg zu dem alten, nun nicht mehr vorhandenen Bild, aufzeigen. Je schneller der Bot das Verschwinden eines Bildes bemerkt, um so schneller verschwindet ein Bild aus der Google Bildersuche.

tagSeoBlog: Bilder aus der Google Bildersuche entfernen / löschen

Der “normale” Googlebot ist in der Tendenz stabiler. Und er scheint auf die Aktivität des Imagesbot zu reagieren: je häufiger der Imagesbot, um so mehr zieht sich der normale Bot in Sachen Bilder-Crawling zurück.

Die Zahlen lassen auch vermuten, dass Google nicht mehr ständig neue Bilder in den Index aufnimmt, sondern wie früher an bestimmten Update-Tagen den Index sprunghaft um neue Bilder erweitert.

tagSeoBlog: Bilder-Indexierung und Google-Images-Crawler (Logfile-Analyse)

(YouTube-Direktlink)

Zusammenfassung: Zunächst erklärt Matt, dass die Googlebots ausschließlich aus den USA losgeschickt werden und dabei stets US-IP-Adressen besitzen. Google sieht die Auslieferung von geobasiertem Content nicht als Cloaking an (Cloaking bedeutet, dass User andere Inhalte präsentiert bekommen als Googlebots). Solange US-Nutzer den gleichen Inhalt sehen wie Googlebots mit US-IP, gibt es keine Probleme.

A correctly-configured content serving system will serve Googlebot-Mobile content only for the traditional phones described above [...]. This may change in the future, and if so, it may mean there would be a new Googlebot-Mobile User-agent string.

Webmaster Central Blog: Making Websites Mobile Friendly

(YouTube-Direktlink)

Zusammenfassung: Matt verweist darauf, dass Google mit dem “Googlebot-Mobile” bereits einen speziellen Crawler für mobile Inhalte entwickelt hat. Solange diesem Bot die mobile Website präsentiert wird und der “normale” Bot die Desktop-Variante sieht, sollte es nicht zu DC-Problemen kommen. Außerdem empfiehlt Matt, mobilen Webseiten eine eigene (Sub-)Domain zu geben, z.B. nach dem bekannten Muster m.domain.tld. — Auch beim Thema Cloaking sieht Matt keine große Gefahr: Solange mobile User die gleichen Inhalte wie der “Googlebot-Mobile” zu sehen bekommen, sollte es keine Probleme oder gar Bestrafungen durch Google geben. — Mehr Infos zum Thema gibt es auch in diesem Blog-Post von Google.

Absolute Rekordzeit [...]. Möglicherweise ist das auch auf eine veränderte Aufgabenverteilung bei den Google-Bots zurückzuführen: während bis vor einiger Zeit der “Googlebot-Image/1.0” für die Bilder zuständig war, übernimmt nun immer häufiger der normale “Googlebot/2.1” diesen Job.

Auch die Gesamtanzahl der indexierten Bilder hat nach Aussage von Martin zugenommen. Ehemals “verschmähte” Bilder werden nun vom Googlebot/2.1 nach und nach aufgelesen.

tagSeoBlog: Google indexiert neue Bilder rasant schnell (Googlebot sei Dank)