SEO-Basics: robots.txt vs. noindex

Stefan Fischerländer hat im Blog von suchmaschinentricks.de einen SEO-Basics-Artikel zum Thema robots.txt und noindex-Metatag veröffentlicht. Dabei geht es um den nach wie vor weit verbreiteten Glauben, dass in der robots.txt angegebene URLs nicht von Google indexiert werden können:

Bereits ein Link auf eine URL [kann ausreichen, um] diese URL aufzunehmen. Dazu muss Google die verlinkte URL noch nicht einmal besucht haben. Auf diesem Weg also können URLs im Index landen, die in der robots.txt auf “Disallow” gesetzt sind.

Am Beispiel der robots.txt von idealo.de wird erläutert, wann Webmaster auf “Disallow” und wann auf “noindex” setzen sollten.

suchmaschinentricks.de: robots.txt vs. noindex