Неограниченный трафик

[Nest]

</span><table border="0" align="center" width="95%" cellpadding="3" cellspacing="1"><tr><td>Цитата (ptitov @ 20 Июн. 2002, 15:28)</td></tr><tr><td id="QUOTE">По идее на нормальном сервере всё должно работать, если в скриптах нету бесконечных циклов с fork'ами

Ограничения такие были, например, у express.ru (в начале года они передали всех клиентов caravan.ru): http://www.help.express.ru/articles/...ng/limits.html

Технически это реализовывается специальным патчем: &lt;a href=&quot;&quot; target=&quot;_blank&quot;&gt;ftp://ftp.cronyx.ru/misc/apache-1.3.22-suexec-rlimits.diff&lt;/a&gt;[/QUOTE]<span id='postcolor'>
Я не совсем это имел в виду, попробую переформулировать вопрос.

Насколько мне известно все хостинг провайдеры ограничивают использование таких ресурсов как процессорное время, память и кол-во background процессов тем или иным образом.
Т.е. если мой сервер использует слишком много процессорного времени (слишком много - с точки зрения провайдера ) то скорее всего меня попросят удалиться.
Причем то, что он использует много ресурсов это не глюк, а нормальное состояние (как пример - тяжелые выборки из БД, генерация изображений на лету, индексация БД поисковой системы и т.п.).

Собственно вопросы:
1) насколько хорошо по вашему мнению провайдеры формализуют подобные ограничения ?
2) насколько те, кто выбирают хостинг интересуются подобными ограничениями.

P.S.: а может быть эта тема вовсе никому не интересна?

[ptitov]

</span><table border="0" align="center" width="95%" cellpadding="3" cellspacing="1"><tr><td>Цитата (Nest @ 20 Июн. 2002, 15:45)</td></tr><tr><td id="QUOTE">Насколько мне известно все хостинг провайдеры ограничивают использование таких ресурсов как процессорное время, память и кол-во background процессов тем или иным образом.[/QUOTE]<span id='postcolor'>
Ну это не факт... Процентов 70-80, думаю.

</span><table border="0" align="center" width="95%" cellpadding="3" cellspacing="1"><tr><td>Цитата </td></tr><tr><td id="QUOTE">
Причем то, что он использует много ресурсов это не глюк, а нормальное состояние (как пример - тяжелые выборки из БД, генерация изображений на лету, индексация БД
[/QUOTE]<span id='postcolor'>

Ну тут решений много. Всё что можно делать статически, все скрипты (или по крайней мере ресурсоёмкие участки) на Си и т.д.

</span><table border="0" align="center" width="95%" cellpadding="3" cellspacing="1"><tr><td>Цитата </td></tr><tr><td id="QUOTE">
поисковой системы и т.п.).
[/QUOTE]<span id='postcolor'>

Поисковая система на виртуальном хостинге - нонсенс.

</span><table border="0" align="center" width="95%" cellpadding="3" cellspacing="1"><tr><td>Цитата </td></tr><tr><td id="QUOTE">
Собственно вопросы:
1) насколько хорошо по вашему мнению провайдеры формализуют подобные ограничения ?
[/QUOTE]<span id='postcolor'>

Что значит &quot;формализуют&quot;? В Unix они в login.conf прописываются. Там нельзя написать &quot;примерно&quot;

</span><table border="0" align="center" width="95%" cellpadding="3" cellspacing="1"><tr><td>Цитата </td></tr><tr><td id="QUOTE">
2) насколько те, кто выбирают хостинг интересуются подобными ограничениями.
[/QUOTE]<span id='postcolor'>

Те, кого они могут задеть, наверное, выбирают co-location.

[Nest]

</span><table border="0" align="center" width="95%" cellpadding="3" cellspacing="1"><tr><td>Цитата (ptitov @ 20 Июн. 2002, 15:56)</td></tr><tr><td id="QUOTE">
Ну это не факт... Процентов 70-80, думаю.
[/QUOTE]<span id='postcolor'>
Можно хотя - бы пару URL тех кто не ограничивает?
</span><table border="0" align="center" width="95%" cellpadding="3" cellspacing="1"><tr><td>Цитата </td></tr><tr><td id="QUOTE">
Ну тут решений много. Всё что можно делать статически, все скрипты (или по крайней мере ресурсоёмкие участки) на Си и т.д.
[/QUOTE]<span id='postcolor'>
Статически - нельзя, слишком много надо генерить статики.
Допустим переписали на Си, но это не спасает (хотя собственно не совсем понятно, почему надо переписывать, у меня дома на компьютере все отлично и быстро работает )

</span><table border="0" align="center" width="95%" cellpadding="3" cellspacing="1"><tr><td>Цитата </td></tr><tr><td id="QUOTE">
Поисковая система на виртуальном хостинге - нонсенс.
[/QUOTE]<span id='postcolor'>
Хочу. А хостер не предоставляет. Мне немного надо, поискать среди пары сотен статей на своем же собственном сайте.

</span><table border="0" align="center" width="95%" cellpadding="3" cellspacing="1"><tr><td>Цитата </td></tr><tr><td id="QUOTE">
Что значит &quot;формализуют&quot;? В Unix они в login.conf прописываются. Там нельзя написать &quot;примерно&quot;
[/QUOTE]<span id='postcolor'>
C помощью rlimits можно ограничить потребление процессорного времени ? Я имею в виду не на один конкретный скрипт, а глобально. У меня они немного работают, 2-3 секунды процессорного времени. Но зато ча-а-а-сто.

Под формализцией понимались все-таки административные ограничения, а-ля вышеприведенного высказывания про &quot;не более 10% ресурсов&quot;. Если имеется в виду в пике, это один разговор, если в среднем - то совершенно другой.

Т.е. я имел в виду насколько хорошо по вашему подобного рода административные ограничения (про технические не говорим) провайдеры описывают в своих договорах, рекламе и т.п.

</span><table border="0" align="center" width="95%" cellpadding="3" cellspacing="1"><tr><td>Цитата </td></tr><tr><td id="QUOTE">
Те, кого они могут задеть, наверное, выбирают co-location.
[/QUOTE]<span id='postcolor'>
Наверное вы правы. Но мне почему-то кажется, что не у всех есть деньги на колокейшн, и этот вопрос все-таки интересен (собственно почему я поднял тему : узнать насколько я неправ )

[ptitov]

</span><table border="0" align="center" width="95%" cellpadding="3" cellspacing="1"><tr><td>Цитата (Nest @ 20 Июн. 2002, 16:13)</td></tr><tr><td id="QUOTE"></span><table border="0" align="center" width="95%" cellpadding="3" cellspacing="1"><tr><td>Цитата (ptitov @ 20 Июн. 2002, 15:56)</td></tr><tr><td id="QUOTE">
Ну это не факт... Процентов 70-80, думаю.
[/QUOTE]<span id='postcolor'>
Можно хотя - бы пару URL тех кто не ограничивает?
[/QUOTE]<span id='postcolor'>
Ну вот мы, например, пока не ограничиваем.

</span><table border="0" align="center" width="95%" cellpadding="3" cellspacing="1"><tr><td>Цитата </td></tr><tr><td id="QUOTE">
</span><table border="0" align="center" width="95%" cellpadding="3" cellspacing="1"><tr><td>Цитата </td></tr><tr><td id="QUOTE">
Поисковая система на виртуальном хостинге - нонсенс.
[/QUOTE]<span id='postcolor'>
Хочу. А хостер не предоставляет. Мне немного надо, поискать среди пары сотен статей на своем же собственном сайте.
[/QUOTE]<span id='postcolor'>
Yandex.Site. Скорости индексации и поиска там огромны. С другой стороны эта задача реализуема и на Perl, если не будет цели завалить машину провайдера, то поиск по паре сотен статей он не заметит.

</span><table border="0" align="center" width="95%" cellpadding="3" cellspacing="1"><tr><td>Цитата </td></tr><tr><td id="QUOTE">
</span><table border="0" align="center" width="95%" cellpadding="3" cellspacing="1"><tr><td>Цитата </td></tr><tr><td id="QUOTE">
Что значит &quot;формализуют&quot;? В Unix они в login.conf прописываются. Там нельзя написать &quot;примерно&quot;
[/QUOTE]<span id='postcolor'>
C помощью rlimits можно ограничить потребление процессорного времени ? Я имею в виду не на один конкретный скрипт, а глобально. У меня они немного работают, 2-3 секунды процессорного времени. Но зато ча-а-а-сто.
[/QUOTE]<span id='postcolor'>
Упрётесь в ограничение по трафику.

</span><table border="0" align="center" width="95%" cellpadding="3" cellspacing="1"><tr><td>Цитата </td></tr><tr><td id="QUOTE">
Т.е. я имел в виду насколько хорошо по вашему подобного рода административные ограничения (про технические не говорим) провайдеры описывают в своих договорах, рекламе и т.п.
[/QUOTE]<span id='postcolor'>
Не описывают.

</span><table border="0" align="center" width="95%" cellpadding="3" cellspacing="1"><tr><td>Цитата </td></tr><tr><td id="QUOTE">
</span><table border="0" align="center" width="95%" cellpadding="3" cellspacing="1"><tr><td>Цитата </td></tr><tr><td id="QUOTE">
Те, кого они могут задеть, наверное, выбирают co-location.
[/QUOTE]<span id='postcolor'>
Наверное вы правы. Но мне почему-то кажется, что не у всех есть деньги на колокейшн, и этот вопрос все-таки интересен (собственно почему я поднял тему : узнать насколько я неправ )
[/QUOTE]<span id='postcolor'>
Если проект действительно настолько посещаемый, то или спонсор или рекламодатель находится.

[GOSTHOST.RU]

</span><table border="0" align="center" width="95%" cellpadding="3" cellspacing="1"><tr><td>Цитата </td></tr><tr><td id="QUOTE"></span><table border="0" align="center" width="95%" cellpadding="3" cellspacing="1"><tr><td>Цитата </td></tr><tr><td id="QUOTE">C помощью rlimits можно ограничить потребление процессорного времени ? Я имею в виду не на один конкретный скрипт, а глобально. У меня они немного работают, 2-3 секунды процессорного времени. Но зато ча-а-а-сто.[/QUOTE]<span id='postcolor'>


Упрётесь в ограничение по трафику.
[/QUOTE]<span id='postcolor'>
позвольте не согласиться, скрипт ведь может выдавать очень небольшой объем информации... пусть 1кб, так если считать что он будет круглосуточно работать - 86 400 секунд (разделив на 2-3 секунды получим - 30 - 40 тысяч запусков в день) - 30 Мб в день - 0,9 Гб в месяц... - в любые ограничения укладывается

[ptitov]

А откуда к этому скрипту будут запросы приходить?

[Nest]

</span><table border="0" align="center" width="95%" cellpadding="3" cellspacing="1"><tr><td>Цитата (ptitov @ 20 Июн. 2002, 16:21)</td></tr><tr><td id="QUOTE">
Ну вот мы, например, пока не ограничиваем.
[/QUOTE]<span id='postcolor'>
Спасибо за ответ. Если бы еще несколько человек (особенно представителей провайдеров) ответило настолько же подробно, я был - бы очень рад.

FLAME MODE ON
Т.е. вы пустите к себе на хостинг скрипт, который будет использовать в среднем 30-40 %% ресурсов машины и будет укладываться в лимит по траффику?

</span><table border="0" align="center" width="95%" cellpadding="3" cellspacing="1"><tr><td>Цитата </td></tr><tr><td id="QUOTE">
Yandex.Site. Скорости индексации и поиска там огромны. С другой стороны эта задача реализуема и на Perl, если не будет цели завалить машину провайдера, то поиск по паре сотен статей он не заметит.
[/QUOTE]<span id='postcolor'>
Но CPU он все равно много ест. хотя конечно и не как разные самоделки.
</span><table border="0" align="center" width="95%" cellpadding="3" cellspacing="1"><tr><td>Цитата </td></tr><tr><td id="QUOTE">
Упрётесь в ограничение по трафику.
[/QUOTE]<span id='postcolor'>
Считаем.
Допустим скрипт генерирует 24Kb траффика на одно к нему обращение.
при лимите в 3 GB в месяц это 131000 прогонов скрипта.
чтобы он съел 50% ресурсов одного CPU он должен выполняться
(86400*31/131000)/2 = 10.22 секунды процессорного времени.
ситуация далеко не невозможная.

</span><table border="0" align="center" width="95%" cellpadding="3" cellspacing="1"><tr><td>Цитата </td></tr><tr><td id="QUOTE">
Не описывают.
[/QUOTE]<span id='postcolor'>
вот это-то и печально
</span><table border="0" align="center" width="95%" cellpadding="3" cellspacing="1"><tr><td>Цитата </td></tr><tr><td id="QUOTE">
Если проект действительно настолько посещаемый, то или спонсор или рекламодатель находится.
[/QUOTE]<span id='postcolor'>
не факт. допустим это проект для внутреннего употребления.
Ну например &quot;личинка&quot; системы мониторинга.
Она потребляет ресурсы приблизительно в тех-же пропорциях что я описал выше.
FLAME MODE OFF

[GOSTHOST.RU]

</span><table border="0" align="center" width="95%" cellpadding="3" cellspacing="1"><tr><td>Цитата (ptitov @ 21 Июн. 2002, 10:55)</td></tr><tr><td id="QUOTE">А откуда к этому скрипту будут запросы приходить?[/QUOTE]<span id='postcolor'>
входящий трафик в разы меньше исходящего...

[dim-dim]

</span><table border="0" align="center" width="95%" cellpadding="3" cellspacing="1"><tr><td>Цитата </td></tr><tr><td id="QUOTE">Ну вот мы, например, пока не ограничиваем.[/QUOTE]<span id='postcolor'>
Я думаю это не есть хорошо. Ведь тогда любой пользовательский скрипт в бесконечном цикле может схавать все ресурсы. Пользователи будут от этого не в восторге.
У нас были случаи когда из-за ошибки в скрипте скрипт хавал всю память и своп, после чего сервер реагировал только на ресет.
Пришлось писать свою систему мониторинга, которая следит за загрузкой сервера и убивает зарвавшиеся пользовательские процессы.

[GOSTHOST.RU]

</span><table border="0" align="center" width="95%" cellpadding="3" cellspacing="1"><tr><td>Цитата (Nest @ 21 Июн. 2002, 12:57)</td></tr><tr><td id="QUOTE"></span><table border="0" align="center" width="95%" cellpadding="3" cellspacing="1"><tr><td>Цитата </td></tr><tr><td id="QUOTE">
Yandex.Site. Скорости индексации и поиска там огромны. С другой стороны эта задача реализуема и на Perl, если не будет цели завалить машину провайдера, то поиск по паре сотен статей он не заметит.
[/QUOTE]<span id='postcolor'>
Но CPU он все равно много ест. хотя конечно и не как разные самоделки.[/QUOTE]<span id='postcolor'>
не согласен!
&quot;самоделки&quot; - обычно специализированые программы, размер которых обычно меньше полнотекстовой машины поиска от Яндекса, и работать, при прочих равных условиях, &quot;самоделка&quot; будет быстрее