поисковые роботы сильно стали нагружать сайт. что делать?

[evshi]

Хостер говорит, что сайт начал создавать черезмерную нагрузку на сервер. Анализ IP выявил, что львиная часть запросов идет от гугла и яндекса. В связи с чем создали robots.txt и добавил туда:
User-agent: *
Disallow:
Crawl-delay: 10

Несколько дней было все в норме, сейчас опять нагрузка выросла с тех же IP. Что делать?

1. Оптимизировать работу скриптов, но как понять, есть ли сильнонагружающие и если есть, то как их искать?
2. Хостер предлагает взять более дорогой тариф или просто заблокировать заходы с IP поисковиков. Не хочется ни того, ни другого.
3. Может быть можно как-то еще тюнинговать robots.txt?

[andreyk@]

1. запустить копию сайта у себя на компьютере и запустить профайлинг под нагрузкой
2. это правильно
3. зависит от вашего сайта