Neue Google- Richtlinien zur robots.txt

Das ist nur Zufall, aber ich hatte diesen Hinweis auch schon in einem anderen Blog gelesen.

Google modernisiert also seine eigenen Systeme und Seitenbetreiber/Administratoren werden aufgefordert, das Abrufen von Javascript- und CSS-Dateien durch diese robots.txt-Dateien nicht zu beschränken. Bislang soll Google beim Aufrufen einer Website lediglich einen textbasierten Browser imitiert haben, die besagten CSS- und Javascript-Dateien (wie in einem Design) blieben davon unberührt.

Ein Google-Mitarbeiter schrieb auf Google+ wörtlich, wer dem nicht nachkommen würde, der würde Ranking-Einbußen seiner Website in Kauf nehmen müssen. Hier der Link zum Zitat: https://plus.google.com/+PierreFar/posts/TLeHSDRwjhB

Der selbe Hinweis bei Google's Webmaster Zentrale:

"Wenn ihr das Crawling von JavaScript-oder CSS-Dateien in der robots.txt-Datei eurer Website nicht zulasst, wirkt sich dies unmittelbar auf die Darstellung und Indexierung eurer Inhalte durch unsere Algorithmen aus und kann zu schlechteren Rankings führen." Quelle

Ich bin jetzt bekanntlich keine Expertin, aber wenn wir hier so unter uns sind, mein erster Gedanke beim Lesen war, dass Google erneut die Fühler bzw. Crawler in Richtung Informationen ausstreckt. Bislang konnten diese Dateien so also nicht abgegriffen werden, das versucht man also nun so, indem man die Drohkeule schwinkt und einen Rankingverlust ankündigt. Ich könnte mir vorstellen, dass schon diese Drohung dazu führt, dass Seitenbetreiber der Aufforderung nachkommen, weil sie eben Angst haben, sonst rangtechnisch abzurutschen.

Die Frage wäre dann doch auch, warum nutzen Webmaster diese robots.txt-Dateien? Simpel gesagt ist es doch so: Ich nehme z.B. meine Javascript-Datei, packe sie in ein Verzeichnis, das eben durch Einsatz der robots.txt-Datei nicht vom Crawler erreicht werden kann. Wenn ich das mache, könnte ich dadurch im Grunde Google verwirren (täuschen?), indem ich Text simuliere, den aber meine Forennutzer gar nicht sehen müssen. Nur, Google könnte das im Gegenzug ja nicht sehen, will aber eigentlich Zugriff auf all das, was die Nutzer sehen können, richtig? Wenn man das nun vereinfacht so sagen kann, wäre die neue Richtlinie der Versuch genau diese Situation auzuhebeln?

Diese brachiale Drohung hinsichtlich eines möglichen Ranking-Todes erscheint mir, subjektiv gesagt, etwas zu deutlich platziert, als dass ich glaube, dass das wirklich binnen Kürze stattfinden würde. Sprich, nun würden reihenweise Websites ins Nirvana verschwinden. Wie viele Seiten nutzen denn wirklich robots.txt-Dateien und gibt es nicht auch andere Wege, um bestimmte Inhalte so zu verstecken, dass sie nicht angetastet werden können?

Vielleicht liege ich komplett falsch, lasse mich gerne eines Besseren belehren, aber mir erscheint das komisch und eventuell nicht ganz wie nur heiße Luft, aber zumindest bleibt der Nachgeschmack hinsichtlich der Droh-Wirkung und dass Google's Neugier eben nicht neu wären.

Tom:
Hab Dank für deinen Hinweis! Da sieht man, wie schnell man das Wörtchen "nicht" in einem Satz vergessen und es dann unbeachtet nicht im Text partizipieren kann.

Ich hoffe jetzt, ich erscheine nicht wirklich paranoid und interpretiere Dinge hinein, die so nicht gegeben sind, aber Tom, wie erklärst du dir jetzt als Seitenbetreiber diese Richtlinie? Damit meine ich, ist das einfach eine "logische" und harmlose Maßnahme, es hat also nichts mit dem Absuchen von Daten zu tun und dass Google eben wirklich alles sehen will, was die Seitenbetrachter sehen, oder gibt es die berühmten Hintergedanken?

Und dann die zweite Frage, wie stufst die Drohung bezüglich des Ranking ein - reine Einschüchterungsrhetorik oder reale zukünftige Maßnahme?

Einen Test in Richtung Google-Ausschluss beim Crawlen wurde ja schon hier veröffentlicht: http://www.internetkapitaene.d…endig-fuer-suchmaschinen/, das Ergebnis zusammengefasst:

Zitat

Man kann jetzt der Untersuchung leider nicht entnehmen, ob diese Sperrungen wirklich einen Grund haben/hatten oder ob z.B. einfach die Einstellungen nicht im Laufe der Zeit geändert wurden. Wie würde das Ergebnis nun aber bei WBB-Seiten aussehen, wenn wir spekulieren sollten? Damit meine ich, haben wir in der WBB-Welt tendenziell auch Seiten, die nun die Einstellungen ändern müssten oder sind es eher Einzelfälle?

@Seelensturm:

Google hat Hilfetexte bzw. einen Test zur Verfügung gestellt, schau einmal hier: https://support.google.com/webmasters/answer/6062598?hl=de Dort siehst du, wie du bei dir testen kannst, ob etwas versteckt ist und nun freigegeben werden müsste (wie es geht, was du wo ändern müsstest, steht auch in der Anweisung). Hilft das?