Показать сообщение отдельно
  #1  
Старый 29.10.2013, 08:02
evshi evshi вне форума
Студент
 
Регистрация: 29.10.2013
Сообщений: 1
По умолчанию поисковые роботы сильно стали нагружать сайт. что делать?

Хостер говорит, что сайт начал создавать черезмерную нагрузку на сервер. Анализ IP выявил, что львиная часть запросов идет от гугла и яндекса. В связи с чем создали robots.txt и добавил туда:
User-agent: *
Disallow:
Crawl-delay: 10

Несколько дней было все в норме, сейчас опять нагрузка выросла с тех же IP. Что делать?

1. Оптимизировать работу скриптов, но как понять, есть ли сильнонагружающие и если есть, то как их искать?
2. Хостер предлагает взять более дорогой тариф или просто заблокировать заходы с IP поисковиков. Не хочется ни того, ни другого.
3. Может быть можно как-то еще тюнинговать robots.txt?
Ответить с цитированием