# robots.txt for http://www.homepage-homepages.de/ # Zugriff auf alle Dateien erlauben User-agent: * Disallow: # Disallow: /cgi-bin/ # CGI Ausgaben nicht indexieren Disallow: /content/ Disallow: /css/ Disallow: /images/ Disallow: /logfiles/ # Die ändern sich jeden Tag # Disallow: /news.html # Die news.html ändert sich täglich Disallow: /templates/ Disallow: /temp/ # Die Dateien sind sehr kurzlebig # Sitemap: http://www.meinedomain.de/sitemap.xml