SEO.at » Googlebot

Googlebot liest AJAX-Inhalte

Simon — Thu, 03 Nov 2011 11:46:18 +0000

Im Webmaster Central Blog wurde angekündigt, dass der Googlebot künftig via POST-Request auch Daten erfassen kann, die erst nach dem Laden von Webseiten generiert werden (AJAX). Der Bot kann also Aktionen auf Webseiten ausführen, die sonst Usern vorbehalten sind. Google will dies möglichst “vorsichtig und angemessen” durchführen:

[W]hile GET requests remain far more common, to surface more content on the web, Googlebot may now perform POST requests when we believe it’s safe and appropriate.

Webmaster Central Blog: GET, POST, and safely surfacing more of the web

Googlebot-News abgeschaltet

Simon — Wed, 28 Sep 2011 10:40:09 +0000

Wie in der deutschen Webmaster-Zentrale zu lesen ist, hat Google den Googlebot-News endgültig abgeschaltet (SEO.at berichtete). Das Crawlen wird nun vom primären Googlebot übernommen.

Wie jede andere Website müssen wir auch die Infrastruktur von Google News gelegentlich aktualisieren. Gleichzeitig möchten wir aber weiterhin eine optimale Kontrolle der Nachrichten-Websites ermöglichen.

Spezielle robots.txt-Einträge für den Googlebot-News werden vom Googlebot übernommen. Damit ist es nach wie vor möglich, Google das Crawlen von Content für Google News zu verbieten, aber weiterhin in der Websuche aufzutauchen.

Google Webmaster-Zentrale: Google News crawlt jetzt mit dem Googlebot

Googlebot-News wird eingestellt

Simon — Fri, 26 Aug 2011 11:25:26 +0000

Ab sofort wird der Googlebot-News durch den “normalen” Googlebot ersetzt. Änderungen an robots.txt sind allerdings nicht nötig, das Google auch künftig Anweisungen speziell für den Googlebot-News befolgen wird.

Your analytics tool will still be able to differentiate [...] so you should see no changes there. The main difference is that you will no longer see occasional automated visits to your site from the Googlebot-news crawler.

WCB: Google News now crawling with Googlebot

Bilder aus Googles Bildersuche entfernen

Simon — Tue, 02 Aug 2011 10:45:18 +0000

Martin Mißfeldt beschreibt in einem längeren Artikel im tagSeoBlog, welche Möglichkeiten man hat, um Bilder aus Googles Bildersuche wieder zu entfernen. Dabei geht er auf vier mögliche Szenarien ein:

1. Eigenes Bild auf eigenem Webspace
2. Eigenes Bild auf fremden Webspace
3. Geklautes Bild auf anderer Website in Deutschland
4. Geklautes Bild auf anderer Website irgendwo

Man muss also dem Googlebot den Weg zu dem alten, nun nicht mehr vorhandenen Bild, aufzeigen. Je schneller der Bot das Verschwinden eines Bildes bemerkt, um so schneller verschwindet ein Bild aus der Google Bildersuche.

tagSeoBlog: Bilder aus der Google Bildersuche entfernen / löschen

Logfile-Analyse zu Googlebot-Images

Simon — Tue, 29 Mar 2011 13:38:51 +0000

Martin Mißfeldt hat im tagSeoBlog eine Logfile-Analyse durchgeführt, um die Aktivitäten des Googlebot-Images im Vergleich zum “normalen” Googlebot aufzuzeigen. Dabei kam es zu interessanten Ergebnissen:

Der “normale” Googlebot ist in der Tendenz stabiler. Und er scheint auf die Aktivität des Imagesbot zu reagieren: je häufiger der Imagesbot, um so mehr zieht sich der normale Bot in Sachen Bilder-Crawling zurück.

Die Zahlen lassen auch vermuten, dass Google nicht mehr ständig neue Bilder in den Index aufnimmt, sondern wie früher an bestimmten Update-Tagen den Index sprunghaft um neue Bilder erweitert.

tagSeoBlog: Bilder-Indexierung und Google-Images-Crawler (Logfile-Analyse)

Matt Cutts über Geolocation vs. Cloaking

Simon — Tue, 01 Mar 2011 13:07:25 +0000

Im folgenden Video beantwortet Matt Cutts die Frage, ob die Auslieferung von geobasiertem Content je nach IP-Adresse des Users von Google unter Umständen als Cloaking angesehen werden kann:

(YouTube-Direktlink)

Zusammenfassung: Zunächst erklärt Matt, dass die Googlebots ausschließlich aus den USA losgeschickt werden und dabei stets US-IP-Adressen besitzen. Google sieht die Auslieferung von geobasiertem Content nicht als Cloaking an (Cloaking bedeutet, dass User andere Inhalte präsentiert bekommen als Googlebots). Solange US-Nutzer den gleichen Inhalt sehen wie Googlebots mit US-IP, gibt es keine Probleme.

Google-Tipps für mobile Webseiten

Simon — Tue, 22 Feb 2011 12:47:22 +0000

Pierre Far fasst im englischen Webmaster Central Blog einige nützliche Tipps für Seitenbetreiber zusammen, die auch mobile Versionen von Webseiten anbieten möchten. In dem umfassenden Artikel wird außerdem der richtige Umgang mit dem Googlebot-Mobile erläutert:

A correctly-configured content serving system will serve Googlebot-Mobile content only for the traditional phones described above [...]. This may change in the future, and if so, it may mean there would be a new Googlebot-Mobile User-agent string.

Webmaster Central Blog: Making Websites Mobile Friendly

Matt Cutts über mobile Webseiten und DC

Simon — Wed, 19 Jan 2011 15:09:02 +0000

Kann es zu Duplicate Content-Problemen kommen, wenn man neben einer Desktop-Webseite auch ein mobile Version anbietet? Diese Frage beantwortet Matt Cutts im folgenden Video:

(YouTube-Direktlink)

Zusammenfassung: Matt verweist darauf, dass Google mit dem “Googlebot-Mobile” bereits einen speziellen Crawler für mobile Inhalte entwickelt hat. Solange diesem Bot die mobile Website präsentiert wird und der “normale” Bot die Desktop-Variante sieht, sollte es nicht zu DC-Problemen kommen. Außerdem empfiehlt Matt, mobilen Webseiten eine eigene (Sub-)Domain zu geben, z.B. nach dem bekannten Muster m.domain.tld. — Auch beim Thema Cloaking sieht Matt keine große Gefahr: Solange mobile User die gleichen Inhalte wie der “Googlebot-Mobile” zu sehen bekommen, sollte es keine Probleme oder gar Bestrafungen durch Google geben. — Mehr Infos zum Thema gibt es auch in diesem Blog-Post von Google.

Google Images: Indexierung in 24h

Simon — Wed, 05 Jan 2011 12:42:46 +0000

Wie Martin Mißfeldt im tagSeoBlog berichtet, hat Google die Indexierungsgeschwindigkeit für neue Bilder drastisch beschleunigt. Bei Google Images tauchen Bilder jetzt schon innerhalb von 24 Stunden nach Upload auf.

Absolute Rekordzeit [...]. Möglicherweise ist das auch auf eine veränderte Aufgabenverteilung bei den Google-Bots zurückzuführen: während bis vor einiger Zeit der “Googlebot-Image/1.0” für die Bilder zuständig war, übernimmt nun immer häufiger der normale “Googlebot/2.1” diesen Job.

Auch die Gesamtanzahl der indexierten Bilder hat nach Aussage von Martin zugenommen. Ehemals “verschmähte” Bilder werden nun vom Googlebot/2.1 nach und nach aufgelesen.

tagSeoBlog: Google indexiert neue Bilder rasant schnell (Googlebot sei Dank)

Matt Cutts über robots.txt-Optimierung

Simon — Tue, 17 Aug 2010 12:12:33 +0000

Im folgenden Video erklärt Matt Cutts, warum es keine gute Idee ist, temporäre Änderungen an robots.txt-Anweisungen durchzuführen, um den Fokus des Crawlers auf bestimmte Teile der Seite zu lenken:

Zusammenfassung: Kurzweilige Änderungen an robots.txt-Dateien, die schnell wieder rückgängig gemacht werden, können negative Auswirkungen z.B. auf die Crawl-Geschwindigkeit des Googlebots haben. Um den Fokus auf einen bestimmten Teil der Webseite zu lenken, sollten stattdessen lieber prominente Links (am besten auf der Startseite) gesetzt werden, um den PageRank-Fluss nicht zu unterbrechen. Crawler-Anweisungen in robots.txt-Dateien sollten — soweit möglich — beständig bleiben.