User-agent: *
Sitemap: http://oa.upm.es/sitemap.xml
Disallow: /cgi/users/login

Sitemap: http://oa.upm.es/sitemap.xml
Sitemap: http://oa.upm.es/sitemap.txt
Sitemap: http://oa.upm.es/archive.xml.gz
Sitemap: http://oa.upm.es/sitemap-abstracts.xml
Sitemap: http://oa.upm.es/cgi/latest_tool?output=Atom
Sitemap: http://oa.upm.es/cgi/latest_tool?output=RSS2
Sitemap: http://oa.upm.es/cgi/latest_tool?output=RSS
Sitemap: http://oa.upm.es/cgi/latest_tool

# Evita bloqueos de CSS y JS.

Allow: /*.js$
Allow: /*.css$


# Para robots demasiado agresivos (Yahoo! y Bing)

User-agent: Slurp
Crawl-delay: 50

User-agent: msnbot
Crawl-delay: 50

User-agent: msnbot-media
Crawl-delay: 50

User-agent: bingbot
Crawl-delay: 50