WebHostingTalk.ru  

Вернуться   WebHostingTalk.ru > Главные форумы > Сolocation, Центры Обработки Данных, IP-адреса и сети

Ответ
 
Опции темы
  #1  
Старый 29.10.2013, 08:02
evshi evshi вне форума
Студент
 
Регистрация: 29.10.2013
Сообщений: 1
По умолчанию поисковые роботы сильно стали нагружать сайт. что делать?

Хостер говорит, что сайт начал создавать черезмерную нагрузку на сервер. Анализ IP выявил, что львиная часть запросов идет от гугла и яндекса. В связи с чем создали robots.txt и добавил туда:
User-agent: *
Disallow:
Crawl-delay: 10

Несколько дней было все в норме, сейчас опять нагрузка выросла с тех же IP. Что делать?

1. Оптимизировать работу скриптов, но как понять, есть ли сильнонагружающие и если есть, то как их искать?
2. Хостер предлагает взять более дорогой тариф или просто заблокировать заходы с IP поисковиков. Не хочется ни того, ни другого.
3. Может быть можно как-то еще тюнинговать robots.txt?
Ответить с цитированием
  #2  
Старый 30.10.2013, 03:37
andreyk@ andreyk@ вне форума
Лаборант
 
Регистрация: 15.04.2006
Сообщений: 226
По умолчанию

1. запустить копию сайта у себя на компьютере и запустить профайлинг под нагрузкой
2. это правильно
3. зависит от вашего сайта
Ответить с цитированием
Ответ

Опции темы

Ваши права в разделе
You may not post new threads
You may not post replies
You may not post attachments
You may not edit your posts

BB code is Вкл.
Смайлы Вкл.
[IMG] код Вкл.
HTML код Выкл.

Быстрый переход


Часовой пояс GMT +3, время: 06:46.


Powered by vBulletin® Version 3.8.11
Copyright ©2000 - 2024, Jelsoft Enterprises Ltd. Перевод: zCarot