quarta-feira, 1 de julho de 2015

Máquina_de_Turing

https://pt.wikipedia.org/wiki/M%C3%A1quina_de_Turing


User-agent: * # taxa máxima de uma página é a cada 5 segundos 
Request-rate: 1/5  # taxa máxima de uma página é a cada 5 segundos 
Visit-time: 0400-0645 # apenas visitas entre 4:00 AM e 6:45 AM UT
(GMT) 
Disallow: / 
Disallow: /aspnet_client 
Disallow: /temporario 
Disallow: *.mdb 
Disallow: *.pdf 
Disallow: *.dll 
Disallow: *.log 
Disallow: *.asp 
Disallow: *.config 
Disallow: *.jpg 
Disallow: *.gif 
Disallow: *.ascx 
Disallow: *.aspx 
Allow: *.html 
Postar um comentário