Регистрация ПРАВИЛА Статьи о хостинге Пользователи Календарь Поиск Сообщения за день Все разделы прочитаны Добавить в Яндекс-ленту

Вернуться   Форум о хостинге > Главные форумы > Сolocation & Dedicated
Ответ
 
Опции темы Поиск в этой теме Опции просмотра
  #1  
Старый 29.10.2013, 10:02
evshi evshi вне форума
Студент
 
Регистрация: 29.10.2013
Сообщения: 1
По умолчанию поисковые роботы сильно стали нагружать сайт. что делать?

Хостер говорит, что сайт начал создавать черезмерную нагрузку на сервер. Анализ IP выявил, что львиная часть запросов идет от гугла и яндекса. В связи с чем создали robots.txt и добавил туда:
User-agent: *
Disallow:
Crawl-delay: 10

Несколько дней было все в норме, сейчас опять нагрузка выросла с тех же IP. Что делать?

1. Оптимизировать работу скриптов, но как понять, есть ли сильнонагружающие и если есть, то как их искать?
2. Хостер предлагает взять более дорогой тариф или просто заблокировать заходы с IP поисковиков. Не хочется ни того, ни другого.
3. Может быть можно как-то еще тюнинговать robots.txt?
Ответить с цитированием
  #2  
Старый 30.10.2013, 05:37
andreyk@ andreyk@ вне форума
Лаборант
 
Регистрация: 16.04.2006
Сообщения: 226
По умолчанию

1. запустить копию сайта у себя на компьютере и запустить профайлинг под нагрузкой
2. это правильно
3. зависит от вашего сайта
Ответить с цитированием
Ответ


Опции темы Поиск в этой теме
Поиск в этой теме:

Расширенный поиск
Опции просмотра

Ваши права в разделе
Вы не можете создавать темы
Вы не можете отвечать на сообщения
Вы не можете прикреплять файлы
Вы не можете редактировать сообщения

BB-коды Вкл.
Смайлы Вкл.
[IMG] код Вкл.
HTML код Выкл.
Быстрый переход

Часовой пояс GMT +4, время: 07:33.


vBulletin v3.5.8, Copyright ©2000-2018, Jelsoft Enterprises Ltd.
Русский перевод: zCarot, Vovan & Co