Die robots.txt ein eine Textdatei, welche ins Rootverzeichnis deines Webspaces/bzw Forums kommt, in dieser wird definiert, was Bots bei dir dürfen und nicht..
gute Bots halten sich daran und durchsuchen diese Stellen nicht.. Böse Bots intressierts nicht und sie setzen sich drüber weg.
Im Anhang mal als Beispiel meine Robots (ich sperr aber ausnahmslos alles aus, du willst sicher google drin haben und müssest dir das alles selbst anpassen)
und hier auch ein Generator: http://www.seo-ranking-tools.de/robots-txt-generator.html (ob der tut, weiß ich allerdings nicht - ungetestet)