Was ist Robot Text?

    Mir wurde in einem Gespräch mit anderen, u.a. folgendes gesagt


    Zitat

    Ist schon komisch, ich kann keine Analysen von deiner Seite durch führen.
    Haben Bots keinen Zurgriff bei dir?
    Ist echt komisch, er zeigt mir auch kein Robot Text an.
    Vielleicht liegt da genau dein Problem???


    Auf die nachfrage was denn dieser Robot Text sei und wo ich den einbauen müsste, kann kam die Antwort das man nicht helfen kann da ihr Forum kein WBB Forum sei. bEtreff analyse a ging es um eine Seite mit der man schauen kann wie das Forum da steht, ob man es über google findet etc pp. Mir geht es nicht darum nun über diese eine Analys Seite zu reden, das ist nicht das Problem.


    Mein Problem ist das mit dem Robot Text.


    Was ist ein Robot Text, wie erstellt man den und wo muss der dann rein? Denn offenbar ist das was wichtiges, nach allem was ich nur heute schon hörte.


    Wäre nett wenn mir jemand sagen kann was dieser Robot Text ist und wo der rein muss!


    Lg Seele

    Die robots.txt ein eine Textdatei, welche ins Rootverzeichnis deines Webspaces/bzw Forums kommt, in dieser wird definiert, was Bots bei dir dürfen und nicht..


    gute Bots halten sich daran und durchsuchen diese Stellen nicht.. Böse Bots intressierts nicht und sie setzen sich drüber weg.


    Im Anhang mal als Beispiel meine Robots (ich sperr aber ausnahmslos alles aus, du willst sicher google drin haben und müssest dir das alles selbst anpassen)


    und hier auch ein Generator: http://www.seo-ranking-tools.de/robots-txt-generator.html (ob der tut, weiß ich allerdings nicht - ungetestet)

    eine robots.txt liegt im root verzeichniss und sagt bots was sie crawlen sollen oder nicht,also was in google landen soll. Viele bots ignorieren das einfach nur.


    meine sieht so aus.


    User-agent: *
    Disallow: /acp/
    Disallow: /cache/
    Disallow: /js/
    Disallow: /lib/
    Disallow: /styles/
    Disallow: /templates/
    Disallow: /wcf/acp/
    Disallow: /wcf/tmp/
    Disallow: /wcf/cache/
    Disallow: /wcf/fonts/
    Disallow: /wcf/js/
    Disallow: /wcf/language/
    Disallow: /wcf/style/
    Disallow: /wcf/templates/
    Disallow: /wcf/tmp/

    Danke ihr beiden.


    wie ich sehe habt ihr ganz unterschiedliche Sachen. Also bei dir bibi ist zb Baiduspider und Googlebot-Image etc. Bei dir schlubi sind die Sachen welche man auch im FTP drin hat oder? Meine frage nun warum ist bei dir schlubi das so drin? Disallow heisst ja nicht erlauben aber da verstehe ich den zusammenhang nicht.
    Anders gefragt verbietest du allen Bots den Zugriff auf diese Sachen oder wie ist das?


    Dann habe ich noch eine Frage, das root verzeichniss ist im FTP, also dort das Forum anklicken und auf der ersten Seite die sich öffnet? Also da wo diese Dateien drin sind

    Code
    config.inc.php, index.php, htaccess.txt, .htaccess


    oder muss ich diese robots Datei in Datenbank, nicht in FTP einfügen?



    Nachtrag


    habe nun bei der Seite von der bibi link gab, versucht was zu erstellen. Geht nicht, das meldet dann immer

    Zitat

    ERROR
    Bitte bei [email protected] melden


    Also scheinbar geht das Ding nicht mehr. Dann werde ich wohl oder übel alles von Hand machen müssen. Nur stellt sich das Problem das ich nicht alle diese bot und crawler Dinger kenne und nicht weiss welche gut sind und welche böse. dA kann ich nur auf gut glück was basteln aber besser so als gar nichts drin haben.

    aus der seo sich ist eine robots datei ein nachteil da nicht alle gecrawlt werden kann...aber wieder rum bringt es nichts wenn der besucher einer seite sieht die kein sinn macht.


    meine robots ist optimal...


    mfg

    ich habe gerade festgestellt das die robots dran schuld war ,das mein mobiles design aus der sicht von google schlecht war!
    Daher bitte meine robots nicht verwenden.


    google hat mich als angemailt das die seiten nicht mobile freundlich sind. jetzt weiß ich wo der fehler liegt!

    So diese ist richtig.