SEO.at » Googlebot

Matt Cutts über Blocken mit robots.txt

Simon — Thu, 11 Mar 2010 13:33:37 +0000

Matt Cutts beantwortet die Frage, ob man doppelte Inhalte mittels robots.txt blocken sollte:

If Google crawls 1,000 pages/day, Googlebot crawling many dupe content pages may slow down indexing of a large site. In that scenario, do you recommend blocking dupes using robots.txt or is using META ROBOTS NOINDEX,NOFOLLOW a better alternative?

Zusammenfassung: Matt sieht das Blocken von doppelten Inhalten via robots.txt nur als “last resort”-Lösung an. Besser als blocken ist eine gut durchdachte Seitenarchitektur, die duplicate content gar nicht erst entstehen lässt. — Statt das Crawlen vom Googlebot mittels robots.txt zu verbieten, vertritt Matt interessanterweise die Meinung, dass Google doppelte Inhalte auch ohne Eingreifen ganz gut erkennen kann. Das Wort “Canonical-Tag” nimmt er dabei aber gar nicht erst in dem Mund.

Neuer User-Agent: Googlebot-News

Simon — Wed, 02 Dec 2009 18:40:19 +0000

Google hat neben Googlebot and Googlebot-Image nun auch einen seperaten Crawler namens Googlebot-News angekündigt:

[T]he new Googlebot-News user agent can be used to specify which pages of a website should be crawled and ultimately appear in Google News.

Um Webinhalte künftig bei Google Search, nicht aber bei Google News auftauchen zu lassen, reicht folgender Eintrag in der robots.txt:

User-agent: Googlebot Disallow:

User-agent: Googlebot-News Disallow: /

Mehr Infos im GWC-BLog: New User Agent for News

GWCB erklärt “Fetch as Googlebot”

Simon — Sat, 28 Nov 2009 15:54:41 +0000

Im Webmaster Central Blog von Google erklärt Javier Tordable das nützliche Feature “Fetch as Googlebot”, das Google im Oktober bei den Webmaster Tools eingeführt hat:

Sophisticated attackers can camouflage this spammy or dangerous content so that it doesn’t appear for normal users, and appears only to Googlebot, which could negatively impact your site in Google’s results.

Artikel lesen: GENERIC CIALIS on my website? I think my site has been hacked!

Tipps zu mobilen Webseiten und dem Googlebot

Simon — Fri, 20 Nov 2009 16:05:05 +0000

Im Webmaster Central Blog von Google gibt es einen lesenswerten Artikel über den richtigen Umgang mit mobilen Webseiten — und wie man den Googlebot solche richtig indexieren lässt:

One of the most common problems for webmasters who run both mobile and desktop versions of a site is that the mobile version of the site appears for users on a desktop computer, or that the desktop version of the site appears when someone finds them from a mobile device.

Es werden zwei Möglichkeiten vorgeschlagen:

Redirect mobile users to the correct version
Switch content based on User-agent

Google freut sich diesbezüglich über Mithilfe von Webmastern:

We’re working on a daily basis to improve search results and solve problems, but because the relationship between PC and mobile versions of a web site can be nuanced, we appreciate the cooperation of webmasters.

Mehr Infos im Webmaster Central Blog: Running desktop and mobile versions of your site