Eine der Standards im Internet ist die robots.txt welches zu jedem Webprojekt gehört. Hier besteht die Möglichkeit zu steuern welcher Such Robot was darf. Mit der robot.txt zeigen wir welche Projektverzeichnisse ausgelesen werden dürfen und welche nicht. In der Regel halten sich auch die Robots der Suchmaschinen an die Vorgaben.