как можно в здравом уме пользоваться свебом? они постоянно блокируют роботов поисковиков - что убийственно для сайта.