######################################################################## # /robots.txt -- what not to spider ######################################################################## User-agent: * Disallow: /cgi-bin/ Disallow: /calendar/ Disallow: /pub/