Требования движка smf к vps

Автор domofor, 15 июля 2008, 20:38:47

« назад - далее »

0 Пользователи и 1 гость просматривают эту тему.

domofor

При нагрузке примерно 1000 посетителей в день (максимум Online: 333) мой форум на Агаве "попросили" перейти с виртуального сервера на виртуально-выделенный сервер (vps).

Перешел на vps и для подстраховки по максимуму отключил все доп.нагрузки форума на сервер (сжимание трафика, показ хостов и т.д.). Из модов - только мод баннера, "шапок" сверху-снизу и мод скрытия емейл от спама.

Однако и это не помогло. Сегодня получил от хостера вот такое сообщение:
ЦитироватьУ Вашего сервера не хватило оперативной памяти,  в следствие чего отказал веб-сервер. Во избежание повторения подобной ситуации
рекомендуем Вам перейти на тарифный план с большим лимитом оперативной памяти.

На данный момент сервер имеет такие параметры:
Процессор Intel(R) Xeon(R) CPU E5335 @ 2.00GHz 500.028 Mhz
Оперативная память 262144 kB
Средняя загрузка 0.06 0.19 0.18
Количество процессов 39

Я пытался запретить некоторых бесполезных для меня поисковых ботов типа MSFT, YAHOO

order Allow,Deny
Deny from 65.55
Allow from All

order Allow,Deny
Deny from 74.6
Allow from All


но сегодня в логах обнаружил странное совпадение между временем падения сервера (с 11 до 19 часов) и нашествием ботов YAHOO. Или так и должно быть?

Что думают спецы об этой ситуации? Действительно ли нагрузка такая, что надо форум переносить на более крутой сервер? Или как-то можно обойтись другими мерами?

Mavn

на самом деле запросто поисковики могут вешать сервак. У нас на 3 серваках такая проблема была. Для Yahoo есть ограничения по сканированию посмотреть можно в нашем robots.txt.
Для уменьшения нагрузки на сервак приходится вырубать доступ к сайту на некоторое время и оптимизировать бд. После оптимизации форум уже не так сильно тормозит и сервак меньше грузит. На некоторых больших проектах вообще лучше на всякий случай перегружать раз в сутки апач.
SimpleMachines Russian Community Team
п.1 Пройду курсы гадалок для определения исходного кода по скриншоту.

п.2 У вас нет желания читать правила раздела, у меня нет желания одобрять темы, которые не соответствуют этим правилам.

domofor

Цитата: Mavn от 16 июля 2008, 01:10:02
Для Yahoo есть ограничения по сканированию посмотреть можно в нашем robots.txt.

Так в robots.txt у меня вообще полный запрет указан:

User-agent: Slurp
Disallow: /


и как указано выше, еще дополнительно прописан запрет по ip ботов Yahoo в .htaccess

order Allow,Deny
Deny from 74.6
Allow from All


Поэтому, не знаю что еще можно в движке форума настроить... Придется, наверное, убивать слишком старые посты на форуме - если я правильно понимаю, когда форум был небольшой, то нагрузки от ботов такой не было.

Mavn, а длительность сессий не может влиять? А то, чем больше выставляешь значение, тем быстрее и больше "распухает" таблица сессий. Приходится раз в неделю оптимизировать таблицу с мегабайт до килобайт. Сейчас у меня на форуме вот такое значение:

ЦитироватьПродолжительность сессии (в минутах): 2800

Mavn

Кстати по поводу блокировки IP адресов Yahoo Whois выдал еще некоторые ip.
Точно сказать не могу используют ли боты эти ip но они есть

Inktomi Corporation INKTOMI-BLK-3 (NET-66-196-64-0-1) 66.196.64.0 - 66.196.127.255
Inktomi Corporation INKTOMI-BLK-4 (NET-68-142-192-0-1) 68.142.192.0 - 68.142.255.255
Inktomi Corporation INKTOMI-BLK-5 (NET-72-30-0-0-1) 72.30.0.0 - 72.30.255.255
Inktomi Corporation INKTOMI-BLK-6 (NET-74-6-0-0-1) 74.6.0.0 - 74.6.255.255
Inktomi Corporation SAVV-S232447-2 (NET-216-136-147-192-1) 216.136.147.192 - 216.136.147.207
Inktomi Corporation SAVV-S232447-4 (NET-216-136-151-128-1) 216.136.151.128 - 216.136.151.143
Inktomi Corporation SAVV-S232447-1 (NET-216-136-139-40-1) 216.136.139.40 - 216.136.139.47

По поводу сессий сказать не могу закономерность не выявлял.

SimpleMachines Russian Community Team
п.1 Пройду курсы гадалок для определения исходного кода по скриншоту.

п.2 У вас нет желания читать правила раздела, у меня нет желания одобрять темы, которые не соответствуют этим правилам.

domofor

А может, кто скажет, на каких серверах рекомендуется держать форумы SMF с количеством посетителей 800-1500. Мне сейчас предлагается перейти с вот такого:

ЦитироватьBasic — сервер начального уровня для небольших среднепосещаемых проектов. По вычислительной мощности сервер эквивалентен физическому серверу с процессором Xeon и тактовой частотой 500 МГц. Объем ресурсов, предоставляемый на этом тарифном плане составляет 256 Мб оперативной памяти и...

на такой тариф vps:

ЦитироватьOptimal — сервер для больших проектов с высокой посещаемостью. По вычислительной мощности сервер эквивалентен физическому серверу с процессором Xeon и тактовой частотой 1000 МГц. Объем ресурсов, предоставляемый на этом тарифном плане составляет 512 Мб оперативной памяти и ...

Ну типа, упираться мне, или хостер прав? :)

vladok

#5
Для начала - по поводу роботов Яху (савсем Яху оборзел -продаться Микрософту подороже хочет, все подряд гребет - аж все смайлы проидексировал, прям пылесос какой то :) )

В роботс.тхт

User-agent: *
Crawl-delay: 5

:)

По поводу заморочек Агавы... то имхо у некоторых форумА с посещаемостью 0.8 -1.5  тыс заходов в сутки сидят на  шаринге и  ничегоо не падает, не тормозит и самое главное - никто не гонит ...  а тебя гонят с несчастными 1.5 тыс заходами посетителей аж с VPS.

Самый жалкий VPS должОн держать минимум 5к заходов  в сутки. Як штык. Иначе он не ВиПиЭс а так, шаринг хостинг средней паршивости....

Агава, одним словом :)
Харе кришна, май либер зольдат...

domofor

Я конечно не скрывал про Агаву. Просто не хотел пиарить тарифы хостера лишний раз. А нельзя как-то подробнее пояснить, почему у разных хостеров разное понимание нагрузки на сервер? (как-то раньше, пока форум до 800 посетителей был, вообще хостингом не интересовался и не знаю "подводных камней").

Mavn

у нас по статистике сервака без учета поисковиков около 700-800 уников только на smfru. Из расчета что по моему тарифу я не имею право превышать 15% от одного ядра процессора то получается что максимально в обсалютных величинах я могу потре[censored] не более 350-400Mhz. Поскольку мой аккаунт на хостинге а не на ВПС следовательно ресурсы потребляемые самим серваком здесь не учитываются.
я бы на 1500 уников не стал бы брать ВПС с такими парамтерами как вы указали. На мой взгляд этого будет мало.

Наверное лучше посмотреть в сторону забугорных предложений, или же перейти на другой тариф.
Также прошу обратить внимание на то что скорее всего месяца через 3-4 хостер скорее всего опять сделает вам подобное предложение.

Если честно то я не поклоник агавы, мой опыт работы с ними не увенчался успехом.
Все таки склоняюсь что тараканы есть у всех отечественных хостеров, впрочем как и у забугорных. Для теста все таки попробовал бы взять что то забугорное из обычного хостинга в районе 15-20 в месяц. Попробовать договорится о 30-60 дней манибэк.

На следующий год тоже планируем переходить на ВПС потому как судя по статистике скоро нам того что у нас есть уже не будет хватать.
SimpleMachines Russian Community Team
п.1 Пройду курсы гадалок для определения исходного кода по скриншоту.

п.2 У вас нет желания читать правила раздела, у меня нет желания одобрять темы, которые не соответствуют этим правилам.

domofor

Цитата: Mavn от 17 июля 2008, 01:14:13
у нас по статистике сервака без учета поисковиков около 700-800 уников
Я смотрю число посетителей по счетчику мыло.ру и liveinternet - правда, не знаю как они учитывают ботов.

ЗЫ. Вообще, было бы интересно, если бы какой хостер рекомендовал тарифы под движок SMF. Вот встретилось такое под Битрикс

Mavn

честно говоря я больше доверяй статистике сервака. По крайней мере я вижу реальные ip адреса и могу их посчитать :) руками.
Мы тут подумываем при выходе новой версии smf 2.0 переделать счетчики заодно посмотрим на сколько точно будет все отображаться.

Не стоит забывать о том что Битрикс платная система и тарифы под него не из дешевых
SimpleMachines Russian Community Team
п.1 Пройду курсы гадалок для определения исходного кода по скриншоту.

п.2 У вас нет желания читать правила раздела, у меня нет желания одобрять темы, которые не соответствуют этим правилам.

vladok

dom-forum, соори, это часом не тот форум на 1.1.4  с прикрученным тюни порталом?
Если да, то сколько же эта бяка делает на один хит запросов к ДБ? Там же под 40 запросов к бедной ДБ выруливает на одного зашедшего.

Такой связкой и выделенный сервак нагнуть можно на 2-3 к - а не только ВПС  ;)
Гм... и почему при разговорах о нагрузках на хост все считают уников - можно подумать что повторный заход одного и того же уника в те же сутки не вызывает тех же процессов на хосте, что и заход свежего уника...
Харе кришна, май либер зольдат...

domofor

Цитата: Mavn от 17 июля 2008, 02:38:30
Не стоит забывать о том что Битрикс платная система и тарифы под него не из дешевых
А кто говорил, что ищется самый дешевый vps? :)  Я например, заплатил Агаве за годовой хостинг.
А вообще, я хочу понять, какую относительную нагрузку на сервер создает у вебмастеров движок SMF, и какой хостинг требуется для нормальной работы среднепосещаемого форума (наверное так можно назвать мой сайт?). Т.е. если немало платить, то хотя бы знать за что платить... И заранее планировать расходы на сервер соответственно популярности форума, а не когда вдруг проблема сваливается на голову.

ЗЫ. Не пойму такую вешь. Почему-то нет массового обсуждения надежного платного хостинга для движков SMF - не верится, что среди всех участников данного форума только у меня и у Mavn форум зашкаливает за 1000. Или только мой форум генерит такую ненормальную нагрузку?

domofor

Цитата: vladok от 17 июля 2008, 03:45:36
dom-forum, соори, это часом не тот форум на 1.1.4  с прикрученным тюни порталом?
vladok, там нет портала - только 1.1.5

ЗЫ. Отправил ссылку в личку.

vladok

#13
Посмотрел.
Я бы такую штуку делал на чем то более легком... запросов 9 на морду гостя.
Однако... здесь СМФ форум :)

***

Я выскажу свое ИМХо -только не бейте. Как ВПС так и шаринг сильно зависят от кучи факторов - ну выделяет тебе на словах хостинг 10 процентов ресурсов проца... плюс столько то рамы... а на деле как правило - все свободные ресурсы -если они свободные :)

Ну выжирают твои соседи по серваку -реальному - все свое + то что тебе положено. Путем запуска джумл с кучей модов, хитрых всяких эрэсэс грабберов, чатов " взасос на всю ночь" и прочего тихого ужаса :)
Ибо -как сельди в бочке.

А кто то другой у того же хостинга сидит на полупустом серваке на шаринге на том же моторчике и при большей нагрузке -ноу проблем - и удивляется, что это у тебя ВПС пробуксовывает. Хостинг та харроший...

Как тут что то обсуждать и что то рекомендовать?
Только снимать трубку -и хостингу по башке, по ленивой башке - отучать запихивать полрунета на адын сервак :)   Но вежливо. Упрямо. И настойчиво.

И с средней паршивости хостинга мона выдавить неплохой хост для посещаемого сайта -если вежливо, спокойно и главное -нудно -с ним препираться.

Хотя - у тебя Агава... это та еще штучка.

Хороший хостинг -это прежде всего хорошие личные контакты с хостингом :)
Харе кришна, май либер зольдат...

domofor

#14
Цитата: vladok от 17 июля 2008, 04:14:05
Посмотрел.
Я бы такую штуку делал на чем то более легком... запросов 9 на морду гостя.
Однако... здесь СМФ форум :)

Спасибо за объяснение. А можно узнать через личку "про более легкое"? Или Mavn не против упоминания здесь других движков?
Наверное, легкое - синоним спартанского вида форум? :)  Я много движков до этого перепробовал, но никогда раньше не обращал особого внимания на их "легкость". Готов был купить "булку" или IPB, но сомневаюсь что они "легче".

Цитата: vladok от 17 июля 2008, 04:14:05
Хотя - у тебя Агава... это та еще штучка.
Рад бы сменить... Но очень уж тяжело (по времени и глюкам) носить большой "живой" форум по разным хостерам. На Агаве (перенос внутри) это заняло 2 недели (в т.ч. БД форума частями переносили). Глюки вылазят до сих пор - юзерам уже устал объяснять, почему полтора месяца назад работало так, а теперь так не работает и нужно вот эдак.

Да и какая гарантия, что найдется площадка лучше прежней? В том же примере с Битриксом vps по цене сравним с моим сегодняшним vps на Агаве.
Действительно, наверное, важна не цена площадки, а отношение хостера к заказчику (конечно, при условии что хостер завтра не закроется и не пропадет).

Mavn

На счет переезда не согласен! Все делается довольно просто и без особых проблем. Сколько раз переносил форумы проблем после переносов не наблюдалось. Единственная проблема на мой взгляд это объяснить пользователям что сутки форум не будет работать.

У большинства средняя посещаемость 100-400 уников поэтому особо никто и не парится.
Хотя если честно посещаемость не всегда является ключевым показателем. Есть случай у меня когда одинаковое количество пользователей на разных хостах генерят разную нагрузку в связи с тем что у одних активность на форуме гораздо выше.

у тебя бд сколько весит что вы ее 2 недели переносили? Я тут недавно с RC3 переносил и обновлял форум у меня по времени заняло около 8 часов и это при том что бд весила около 2 гигов.

Какие именно глюки вылазят?
SimpleMachines Russian Community Team
п.1 Пройду курсы гадалок для определения исходного кода по скриншоту.

п.2 У вас нет желания читать правила раздела, у меня нет желания одобрять темы, которые не соответствуют этим правилам.

Lysyj

а не многовато ли 2 Гб для ДБ?
можно ведь логи поудалять. а также если стоит мод который вычисляет ботов. этот мод тоже очень много прописывает в бд. а потом оптимизировать таблицы. таблицы логов желательно очищать?

Mavn

Хехе 2 Гб там сообщеий без всякой ерунды :)
SimpleMachines Russian Community Team
п.1 Пройду курсы гадалок для определения исходного кода по скриншоту.

п.2 У вас нет желания читать правила раздела, у меня нет желания одобрять темы, которые не соответствуют этим правилам.

domofor

Цитата: Mavn от 17 июля 2008, 21:32:26
у тебя бд сколько весит что вы ее 2 недели переносили?

Какие именно глюки вылазят?

Я не спец, чтоб БД переносить по площадкам хостера, поэтому все работы производились с моей оплатой и силами техподдержки Агавы. Они переносили с виртуального на vps. Я запарился ждать их перенос - они сообщали, что не получается сразу перенести такой большой форум, и у них возникли трудности.

Глюки вылазят не из-за движка, а по причине разных настроек или систем (?) серверов. Например, раньше вложения файлов с названием на кириллице нормально открывались, а сейчас такие файлы принимаются, но при попытке их открыть - пишет ошибку.

Кстати, не сразу догадался накатать в Агаву претензию: у них написано, что контроль за состоянием сервера (на тарифе vps) при оплате услуг администрирования должны они производить. Почему тогда сервер лежал с 11 до 19 час. пока я их не спросил об этом? Или я неправ?
Ответа пока не получил.

domofor

Цитата: Mavn от 17 июля 2008, 21:32:26
У большинства средняя посещаемость 100-400 уников поэтому особо никто и не парится.
Mavn, а может сделать на твоем сайте рейтинг посещаемых форумов (конечно, принимать только с движками SMF)? Вот тут-то народ сам и начнет хвалиться форумами, заодно станет понятнее про "большинство". :)

Mavn

Вообще то хотел на smfoogle.ru такое сделать :) но говорю про большинство потому как некоторое время назад занимался данным вопросом.
SimpleMachines Russian Community Team
п.1 Пройду курсы гадалок для определения исходного кода по скриншоту.

п.2 У вас нет желания читать правила раздела, у меня нет желания одобрять темы, которые не соответствуют этим правилам.

domofor

#21
Цитата: dom-forum от 18 июля 2008, 04:49:49
Кстати, не сразу догадался накатать в Агаву претензию: у них написано, что контроль за состоянием сервера (на тарифе vps) при оплате услуг администрирования должны они производить. Почему тогда сервер лежал с 11 до 19 час. пока я их не спросил об этом? Или я неправ?
Ответа пока не получил.

А вот и ответ:

Под пунктом Оферты "контроль работы виртуального сервера"
подразумевается дополнительная услуга "Мониторинг сервисов", которая
пока не реализована.


В этом же ответе предлагается вот что:

Мы можем подключить Вам мониторинг превышений
системных лимитов


Если я сюда потом выложу полученное "письмо со списком превышенных сервером лимитов за одни сутки", то сможем совместными усилиями найти причину перегрузки сервера со стороны движка форума?

ЗЫ. Оказывается, что есть в этой истории с Агавой небольшая подлянка с их стороны. Подробнее см. здесь

Mavn

#22
посмотрим может быть чем то и поможем еще бы по сервисам статистику бы...
у меня перегруз бывает когда таблица сессий разростается и тогда меня реально гасят но поисковики а не обычные пользователи.

Хехе класно у вас там написано. Советую сходить на хост обзор и привести данную ситуацию интересно на сколько тогда будут реагировать и вести себя хостеры обычно когда пишут публичные притензии эффект получается интересный
SimpleMachines Russian Community Team
п.1 Пройду курсы гадалок для определения исходного кода по скриншоту.

п.2 У вас нет желания читать правила раздела, у меня нет желания одобрять темы, которые не соответствуют этим правилам.

domofor

Цитата: Mavn от 21 июля 2008, 21:29:53
Хехе класно у вас там написано. Советую сходить на хост обзор и привести данную ситуацию интересно на сколько тогда будут реагировать и вести себя хостеры обычно когда пишут публичные притензии эффект получается интересный
Думаю, что им проще будет меня одного выкинуть за перегруз сервера, чем менять свою систему отношений с клиентами.

Кстати, на хостобзоре в отзывах про Агаву написано такое:

Мощные программы работают плохо. Интернет-магазин - с трудом. Но это, собственно, недостатки услуги "хостинг" в целом, а не Агавы. Для серьёзных проектов обязательно нужны выделенные сервера.
Автор отзыва:
Семенов Игорь Валерьевич, руководитель компании Kenler.


bbbbbb

#24
я не понял, так vpn это имееться ввиду виртуальный выделенный сервер, то есть ресурсы ограничиваються внутри его?? или что-то я не понял смысл... данного оратора....

2 dom-forum, у вас большой бюджет на это дело? если да, поставьте себе свой сервер и делайте на нем все что заходите, хоть 100 высоконагруженных форумов...
и не занимайтесь ерундой

domofor

bbbbbb, по-моему, это вы ерундой занимаетесь.
Ради одного форума с 1 тысячей уников ставить себе сервер, да еще самому с нуля изучать все программы для серверов?

digger®

Цитата: dom-forum от 23 июля 2008, 00:37:31
bbbbbb, по-моему, это вы ерундой занимаетесь.
Ради одного форума с 1 тысячей уников ставить себе сервер, да еще самому с нуля изучать все программы для серверов?
Для большей крутизны нужно еще и самому написать все эти программы.

Mavn

1. Для начала пишите правильно. VPN никакого отношения к выделенным серверам не имеет.
2. Научитесь наконец пользоваться поиском! О том что такое VPS и с чем его едят читаем здесь
http://ru.wikipedia.org/wiki/VPS
3. А какой вы бюджет выделяете для своего проекта, а точнее от куда вы берете деньги...
ответ очевиден все платят из своего кармана и Рокфеллеров на форуме как правило не водится!
Даже крупные проекты далеко не все могут обеспечить себя сами железом и каналом связи за собственные средства!
SimpleMachines Russian Community Team
п.1 Пройду курсы гадалок для определения исходного кода по скриншоту.

п.2 У вас нет желания читать правила раздела, у меня нет желания одобрять темы, которые не соответствуют этим правилам.

bbbbbb

#28
Цитата: Mavn от 23 июля 2008, 01:05:49
1. Для начала пишите правильно. VPN никакого отношения к выделенным серверам не имеет.
2. Научитесь наконец пользоваться поиском! О том что такое VPS и с чем его едят читаем здесь
http://ru.wikipedia.org/wiki/VPS
вот я нашел

Цитировать
При этом даже если на один из VPS производится DDOS атака, это никак не отражазится на соседних серверах (надо заметить, что отражаться может, но по другим причинам, например, в случае, если общий канал к серверу узкий и пакеты атаки его полностью заполнят).

Цитировать
Гарантированные минимальные ресурсы сервера. Вам никогда не скажут, что Вы расходуете больше ресурсов CPU или памяти, как это часто бывает на обычном виртуальном хостинге


dom-forum, предыдущие 3 сообщение вы написали про vps или про хостинг? vps не может грузить сервер...
и сколько вы трафика потребляете?

по поводу админа,  если работы не много, то будет стоять говорят 50-100$

если у вас есть знаковый админ, то может и дешевле возмет... там как правило только настроить

за сервер надо будет платить - да, но там зависит от трафика, не от нагрузки!!

дело не в 1000 юнитах, в а том что один пользователь (как яндекс) может 100 000 раз подключаться к вашему формуму и получиться что на вашем форум  100 000 пользователей... а может и миллион раз, и счетчики можут его не увидеть, а если несколько ip и по миллион раз, то тогда всё перегрузят, смотрите статистику веб-сервера кто грузит...

но для 1000 юнитов подойдет и vps или vip обычный хочтинг...


dm_mb

у меня vps1 на mchost.ru
350 МГц
192 Мб
Centos 5

- находится там у меня 5 форумов smf с посещаемостью 200уников (2.0) 500 (1.1.4) 1300 (2.0) 2000(2.0) 700(1.4)

cpu по статистике у меня выше 1-2 процента не поднимается.(от 350 МГц) . память в районе 80-110 прыгает. стоит Eaccelerator и memcashe. Стоит Nginx как фронтенд апача. кэширование включено на уровень 2. qzip отключен. апач насилуется урлреврайтом по полной :)) сессии правда не храню в базе. включено локальное хранение.

время генерации страницы в среднем 0,03 -0,1


domofor

Цитата: bbbbbb от 23 июля 2008, 05:08:20
dom-forum, предыдущие 3 сообщение вы написали про vps или про хостинг? vps не может грузить сервер...
bbbbbb, я вас не понимайт :))) Вы что-то запутались в терминах.

Mavn, как и обещал, выкладываю содержимое письма от хостера (сам я в этом полной чайник):

... виртуальный сервер .....vps.agava... достиг предела выделенных ему ресурсов. Ниже перечислены названия этих ресурсов с количеством неудачных запросов на их выделение за последние сутки.

numothersock: 18962 раза.
numothersock — максимальное количество не-TCP-сокетов: локальные, UDP и другие типы сокетов. Превышение ограничения на этот параметр приводит к невозможности создания соединений этих протоколов.

privvmpages: 1004 раза.
privvmpages — максимальный объем оперативной памяти, которая может быть запрошена процессами виртуального сервера. Превысив ограничение на этот параметр, процессы виртуального сервера не смогут получить память, что приведет как к невозможности создания новых, так и к возможному аварийному завершению работающих процессов. Превышение этого параметра говорит о том, что приложениям Вашего сервера недостаточно памяти.

kmemsize: 868 раз.
kmemsize — максимальный объем оперативной памяти, которая может быть запрошена ядром операционной системы. Это память, выделяемая ядром для внутренних структур данных, связанных с процессами виртуального сервера (кроме сетевых буферов). Превышение этого параметра как правило связано с высокой сетевой активностью или большим количеством созданных процессов и приводит как к невозможности создания новых процессов, так и к аварийному завершению уже работающих.

Предостерегаем Вас о том, что регулярные превышения ограничений на ресурсы приводят к нестабильной работе сервера. Редкие же превышения, как правило, не страшны. Однако в случае если Вы получаете эти уведомления ежедневно и причина возникновения превышений Вам неизвестна, рекомендуем перейти на следующий тарифный план...

bbbbbb


vladok

Харе кришна, май либер зольдат...

domofor

Цитата: vladok от 23 июля 2008, 22:31:34
dom-forum, для начала загляни вот сюда: http://www.simplemachines.org/community/index.php?board=86.0
К сожалению, еще со школы не дружу с английским...

domofor

Цитата: dom-forum от 23 июля 2008, 17:03:06
numothersock: 18962 раза.
numothersock — максимальное количество не-TCP-сокетов: локальные, UDP и другие типы сокетов. Превышение ограничения на этот параметр приводит к невозможности создания соединений этих протоколов.

privvmpages: 1004 раза.
privvmpages — максимальный объем оперативной памяти, которая может быть запрошена процессами виртуального сервера. Превысив ограничение на этот параметр, процессы виртуального сервера не смогут получить память, что приведет как к невозможности создания новых, так и к возможному аварийному завершению работающих процессов. Превышение этого параметра говорит о том, что приложениям Вашего сервера недостаточно памяти.

Теперь мне эти сообщения приходят каждый день. Что же все-таки творится с движком? Или не с движком?...

Уведомляем Вас, что виртуальный сервер ... достиг предела выделенных ему ресурсов. Ниже перечислены названия этих ресурсов с количеством неудачных запросов на их выделение за последние сутки.

numothersock: 661 раз.
privvmpages: 125 раз.

Mavn

Не верю что во столько раз форум может привысить потребляемые ресурсы.
У вас статистика ведется ?
На сколько изменилась статистика с момента когда было на сервере все нормально и на текущий момент?
Оптимизацию бд когда последний раз делали?

Цитата: bbbbbb от 23 июля 2008, 17:34:17
Mavn, вас компрометируют :)
где и кто ?

средств реализации VPS очень много и степень надежности того или иного хоста зависит прежде все от того как реализовано все, как настроена система.

Поскольку виртуальный сервер по своим ресурсам не сильно мощный то нужна оптимизация, возможно и установка каких либо акселераторов для улучшения производительности.
SimpleMachines Russian Community Team
п.1 Пройду курсы гадалок для определения исходного кода по скриншоту.

п.2 У вас нет желания читать правила раздела, у меня нет желания одобрять темы, которые не соответствуют этим правилам.

bbbbbb

#36
Цитата: Mavn от 26 июля 2008, 14:15:59
где и кто ?
ему написал(и) что нужно делать для начала, а он опять спрашивает тоже самое!! (не ответив на вопросы) !!

посмотри мои сообщение в этом топике...

(вопрос можно перефразировать: как проехать в бобруйск и где выпить яду?)



domofor

#37
Цитата: Mavn от 26 июля 2008, 14:15:59
У вас статистика ведется ?
На сколько изменилась статистика с момента когда было на сервере все нормально и на текущий момент?
Оптимизацию бд когда последний раз делали?
1. Статистики с прежнего сервера, ес-но не осталось. Сейчас на vps доступна такая статистика:
   Используемые ресурсы
     Информация о системе
     Трафик
     Текущая активность
     Журнал операций
2. Не было такого заметного момента. Просто постепенно увеличивается посещаемость форума, и Агава однажды предложила перейти на vps. Возможно, что я пожадничал и перешел не на самый оптимальный, а на самый низший тариф vps? (параметры этого тарифа приводил выше).
3. Оптимизацию я делаю примерно раз в неделю из-за набегающей до пары-тройки Mb таблицы сессий.

Есть у меня еще несколько форумов на абсолютно одинаковых движках SMF и с одинаковыми модами (обновляю их вместе) на том же хостинге Агавы, где до этого размещался дом-форум. Но на каждом из них пока посещаемость не выше 400 уников и - никаких претензий Агавы.
Для сравнения:
дом-форум на vps
- 54098 Сообщений в 2193 Тем от 1129 Польз.
остальные форумы:
- 1601 Сообщений в 597 Тем от 542 Пользователей
- 2079 Сообщений в 1768 Тем от 145 Пользователей
и т.д.

ЗЫ. Очередной отчет за сутки - numothersock: 687 раз.

ЗЫ2. bbbbbb, про то что в ваших постах нет смысла вам уже говорили не раз. Попробуйте не лезть в эту тему со своими никчемными советами. А то идею дом-форума слизал и думает, что это так умнО выдавать чужие идеи за свои в подписи.

digger®

Цитата: dom-forum от 23 июля 2008, 17:03:06
numothersock — максимальное количество не-TCP-сокетов: локальные, UDP и другие типы сокетов. Превышение ограничения на этот параметр приводит к невозможности создания соединений этих протоколов.
Подробнее можно узнать про это ограничение? Это максимальное количество одновременно открытых сокетов или максимальное количество открываемых в течении какого-то временного интервала?
Вообще какой-то странный параметр. Особенно про локальные сокеты. Если это VPS, то кого колышет сколько я их использую.

domofor

Цитата: digger от 27 июля 2008, 02:50:27
Подробнее можно узнать про это ограничение?
digger, я просто цитирую то, что мне присылает Агава. Объяснить это я не берусь. Могу задать им вопрос и потом выложить здесь ответ, если вы сформулируете вопрос для службы техподдержки Агавы.

Вот, без своих сокращений приведу самый последний на данный момент отчет (только что получил):

numothersock: 779 раз.
numothersock — максимальное количество не-TCP-сокетов: локальные, UDP и другие типы сокетов. Превышение ограничения на этот параметр приводит к невозможности создания соединений этих протоколов.

kmemsize: 24 раза.
kmemsize — максимальный объем оперативной памяти, которая может быть запрошена ядром операционной системы. Это память, выделяемая ядром для внутренних структур данных, связанных с процессами виртуального сервера (кроме сетевых буферов). Превышение этого параметра как правило связано с высокой сетевой активностью или большим количеством созданных процессов и приводит как к невозможности создания новых процессов, так и к аварийному завершению уже работающих.

digger®

Цитата: dom-forum от 27 июля 2008, 02:59:05
digger, я просто цитирую то, что мне присылает Агава. Объяснить это я не берусь. Могу задать им вопрос и потом выложить здесь ответ, если вы сформулируете вопрос для службы техподдержки Агавы.

Просто хотелось бы услышать вразумительную формулировку ограничений в виде:

numothersock - "допускается 100 одновременно открытых не-tcp сокетов" или "допускается открытие не более 100 не-tcp сокетов в час".

Ну и про остальные параметры тоже интересно. А то загадочные "XXX в YYY раз" несут мало полезной информации, когда не знаешь ограничений.

И еще. Разве VPS - это не выделенный сервер? Как я понимаю, вам продают гарантированное количество мегагерц и мегабайт, а что вы с ними будуте делать - это ваше дело и хостера это не должно никак волновать.

domofor

Цитата: digger от 27 июля 2008, 03:20:28
Просто хотелось бы услышать вразумительную формулировку ограничений

И еще. Разве VPS - это не выделенный сервер? Как я понимаю, вам продают гарантированное количество мегагерц и мегабайт, а что вы с ними будуте делать - это ваше дело и хостера это не должно никак волновать.

Ну, да там есть вот такое (у меня VPS «Basic»):

> В приложении Д нашего договора-оферты указаны ограничения на все предоставляемые ресурсы: http://hosting.agava.ru/vps/d.shtml

И они не заставляют, а рекомендуют :)))

> Предостерегаем Вас о том, что регулярные превышения ограничений на ресурсы приводят к нестабильной работе сервера. Редкие же превышения, как правило, не страшны. Однако в случае если Вы получаете эти уведомления ежедневно и причина возникновения превышений Вам неизвестна, рекомендуем перейти на следующий тарифный план...

digger®

Цитата: dom-forum от 27 июля 2008, 03:30:26
> В приложении Д нашего договора-оферты указаны ограничения на все предоставляемые ресурсы: http://hosting.agava.ru/vps/d.shtml
Я так понял что, например, про сокеты - 300 одновременно открытых не-tcp сокетов.
А ось там какая, вебсервер? Кроме форума еще что-то крутится? Моды какие на форуме?

domofor

Цитата: digger от 27 июля 2008, 03:44:04
А ось там какая, вебсервер? Кроме форума еще что-то крутится? Моды какие на форуме?
См. самый первый пост в теме.


domofor

digger, если что-то конкретное интересует, то я вам могу сделать выборку и отправить на емейл.

bbbbbb

dom-forum, задачи бывают разные, сложные и простые, возможно это сложная задача, чтобы вам помочь: могу порекоментовать обратиться к тем кто переносил базу данных...


domofor

Цитата: bbbbbb от 28 июля 2008, 03:05:30
могу порекоментовать обратиться к тем кто переносил базу данных...
Спасибо, у меня есть техподдержка Агавы, которая переносила форум с одного своего сервера на другой. Но это в данном случае не имеет никакого отношения к обсуждаемой теме.

PS. Кстати, Mavn, этот форум бывает грузится достаточно медленно - см. скриншот:

Mavn

не обращаем внимание только по той причине что это бывает далеко не так часто!!!
SimpleMachines Russian Community Team
п.1 Пройду курсы гадалок для определения исходного кода по скриншоту.

п.2 У вас нет желания читать правила раздела, у меня нет желания одобрять темы, которые не соответствуют этим правилам.

domofor

Цитата: digger от 27 июля 2008, 02:50:27
Подробнее можно узнать про это ограничение? Это максимальное количество одновременно открытых сокетов или максимальное количество открываемых в течении какого-то временного интервала?
Вообще какой-то странный параметр.

Вот ответ от техподдержки Агавы по этому вопросу:

Превышения numothersock возникают из-за большого количества запросов к
базе данных, и запросы не обрабатываются.
Переход на тарифный план Optimal скорее всего исправит данную проблему.


ЗЫ. За вчера - numothersock: 1000 раз

digger®

Цитата: dom-forum от 28 июля 2008, 16:50:38
Вот ответ от техподдержки Агавы по этому вопросу:

Превышения numothersock возникают из-за большого количества запросов к
базе данных, и запросы не обрабатываются.
Переход на тарифный план Optimal скорее всего исправит данную проблему.


ЗЫ. За вчера - numothersock: 1000 раз
Почему бы тогда не использовать tcp-коннект к базе вместо локального сокета.

domofor

В последнее время предупреждения о превышении идут только по этому numothersock.

Цитата: digger от 28 июля 2008, 17:53:18
Почему бы тогда не использовать tcp-коннект к базе вместо локального сокета.

А можно популярно объяснить неспецу, чем одно отличается от другого?

dm_mb

dom-forum , есть небольшая просьба.

зайдите под рутом в консоль и наберите #top

посмотрите там средние значения и те что вам агава выкатывает.

так же впринципе можно попробовать погонять в этот момент чтонибудь тяжелое и  посмотреть что происходит.  дамп мускула сделать или восстановить таблицы. у меня есть ощущение что хостеры не всегда корректно настраивают vps и скидывают его пользователю, а тот перешедший с шареда не имеет возможности сам его настроить.

у меня VPS с гораздо более слабыми показателями чем у вас, а летает как запорожец на нитросе :) а вы на своем бентли дальше первой передачи не едите ...

на предыдущей странице я писал о ТХ своего впс


domofor

#53
Цитата: dm_mb от 29 июля 2008, 22:14:03
dom-forum , есть небольшая просьба.

зайдите под рутом в консоль и наберите #top

Если я правильно понимаю, то у меня такого доступа нет - я ведь оплачиваю администрирование сервера силами спецов Агавы.

Цитата: dm_mb от 29 июля 2008, 22:14:03у меня VPS с гораздо более слабыми показателями чем у вас, а летает как запорожец на нитросе :) а вы на своем бентли дальше первой передачи не едите

Такое ощущение, что вы меня в садомазохизме обвиняете. :)
Я всего лишь пользователь движка форума, далекий от серверов и прочего хостинга. Поэтому стараюсь не лезть туда, где ничего сам не понимаю. Но вот в этом случае спецы с "обеих сторон баррикад" не могут разобраться в странной нагрузке сервера. Хостер советует взять мощнее сервер, вы (и другие здесь) говорите, что существующего сервера достаточно.

dm_mb

ну вот я смотрю на базовый vps от агавы и понимаю что полный писец. ну нереально так тормозить форуму, неточего.

у вас нет доступа к shh ?

возьмите тестовый аккаунт на mchost на любой их впс и попробуйте там запустить все это дело. если там на базовом тарифе все будет шустро - значит агаву однозначно в топку.

digger®

#55
Цитата: dom-forum от 29 июля 2008, 23:24:46
Если я правильно понимаю, то у меня такого доступа нет - я ведь оплачиваю администрирование сервера силами спецов Агавы.
Работа спецов заключается в навязывании более дорогих тарифов?

dm_mb

digger, нормальный и адекватный админ никогда не будет клиенту впаривать то что он не понимает. я первый раз вижу что говорят о нагрузке и не говорят о том что именно вызывает нагрузку.

даже на шареде обычно когда начинают доставать что аккаунт грузит сервак и либо валите, либо оптимизируйте скрипты - на вопрос "дайте мне данные какие скрипты и запросы дают нагрузку" . либо дают, либо больше не домогаются.

просто сейчас в техподдержке сидят прышавые школьники которые на переменках суппортом подрабатывают :( совершенно неадекватная поддержка стала. был раньше у sweb.ru - теперь вообще стало нереально что-то вразумительное получить. впрочим у многих так сейчас судя по отзывам знакомых.

domofor

Подглядел на чужом форуме - см. скриншот (правда, там движок ipb, но не в этом суть). Может ли большое цитирование как-то влиять на движок?

ЗЫ. Мне теперь как озабоченному :))) везде мерещатся перегрузки серверов и источники этих перегрузок.

bbbbbb

#58
очевидно: нужно правильно настроить безопасность и
производительность... (но сначало оценить ситуацию, про то что вам писали раньше)

Аминь

===========================================================
может быть кому-то пригодиться:


1. add allow tcp from any to 1.2.3.4 80 limit src-addr 10
add allow tcp from any to 1.2.3.4 80 via rl0 setup limit src-addr 10

ограничивает до 10  конектов

2.
Цитироватьmod_dosevasive is an evasive maneuvers module for Apache to provide evasive                                                                                 
action in the event of an HTTP DoS or DDoS attack or brute force attack.                                                                                     
It is also designed to be a detection and network management tool, and can be                                                                               
easily configured to talk to ipchains, firewalls, routers, and etcetera.                                                                                     
mod_dosevasive presently reports abuses via email and syslog facilities.                                                                                     
                                                                                                                                                             
Detection is performed by creating an internal dynamic hash table of IP                                                                                     
Addresses and URIs, and denying any single IP address from any of the                                                                                       
following:                                                                                                                                                   
                                                                                                                                                             
    * Requesting the same page more than a few times per second                                                                                             
    * Making more than 50 concurrent requests on the same child per second                                                                                   
    * Making any requests while temporarily blacklisted (on a blocking list)                                                                                 
                                                                                                                                                             
This method has worked well in both single-server script attacks as well as                                                                                 
distributed attacks, but just like other evasive tools, is only as useful to                                                                                 
the point of bandwidth and processor consumption (e.g. the amount of bandwidth                                                                               
and processor required to receive/process/respond to invalid requests), which                                                                               
is why it's a good idea to integrate this with your firewalls and routers for                                                                               
maximum protection.                                                                                                                                         
                                                                                                                                                             
This module instantiates for each listener individually, and therefore has a                                                                                 
built-in cleanup mechanism and scaling capabilities. Because of this per-child                                                                               
design, legitimate requests are never compromised (even from proxies and NAT                                                                                 
addresses) but only scripted attacks. Even a user repeatedly clicking on                                                                                     
'reload' should not be affected unless they do it maliciously. mod_dosevasive                                                                               
is fully tweakable through the Apache configuration file, easy to incorporate                                                                               
into your web server, and easy to use.                                                                                                                       
                                                                                                                                                             
WWW: http://www.nuclearelephant.com/projects/dosevasive

domofor

#59
bbbbbb, вы можете постить где-нить в другой, но только не в этой теме?

Вопрос к Mavn:
Вот что подумалось. Когда я оптимизирую в админке форум через движок, то у меня процесс присходит порциями (появляется надпись, чтоб не перегрузить сервер).
А вот влияет ли слияние и переименование больших форумных тем (<50 страниц) на сервер? Никогда не видел подобных вышеуказанных предупреждений, а мне часто приходится "гонять" посты из темы в тему.

bbbbbb

#60
я пишу не вам, а тем кто интересовался, для Mavn и других ...

вы решить навреное не хотите :)

domofor

Цитата: bbbbbb от 30 июля 2008, 23:58:24
я пишу не вам, а тем кто интересовался, для Mavn и других ...
Ну так откройте свою тему и пишите там на понятном вам языке (я смотрю, не только я ваши изъяснения на форуме не понимаю).

Mavn

На счет оптимизации форума в самом движке просто прописан таймаут на это дело.
Вообще честно говоря на больших форумах я бы не запускал бы оптимизацию форума через админку.
В некоторых случаях на больших форумах это может привести даже к краху одной из таблиц(говорю так потому что был случай).
Оптимально на мой взгляд производить оптимизацию при большой бд (800Мб и более) стопорите apache ждете секунд 40 чтобы наверняка все запросы текущие выполнились после выполняете оптимизацию бд средствами mysql и после запускаете http.

Связано это с тем что сама по себе оптимизация тяжелая задача и если ее выполнять при постоянном обращении к бд пользователей просто приведет сервак к перегрузке.
Поясню русским языком теперь у вас идут запросы от пользователей к бд + еще и вы будете колбасить базу оптимизацией особенно если это в час пик будет очень весело на сервере.

Кстати тут правильную вещь сказали когда идет перегруз сервака хостер всегда может дать статистику о том что именно грузит сервак на каком домене и какой файл все это делает. Вопрос только в том что не у всех ведется журнал нагрузки и можно получить только текущие данные.

Ради интереса сделайте эксперемент:
1. Включите дебаг режим форума (режим отладки)
2. Посмотрите сколько будет выполняться запросов при создании сообщения, темы и при ваших модераторских действиях.
Это как раз и будет ответом на ваш вопрос о нагрузке на сервер при модерировании форума
SimpleMachines Russian Community Team
п.1 Пройду курсы гадалок для определения исходного кода по скриншоту.

п.2 У вас нет желания читать правила раздела, у меня нет желания одобрять темы, которые не соответствуют этим правилам.

Lysyj

никогда еще не встречал тех. поддержку, которая бы сказала какой файл грузит сервер. У скольких не спрашивал, никто не знает как узнать конкретный файл.
Говорю так, потому что в самом начале еще в 2004 году, попался мне скрипт вап чата. так вот, у меня все время выскакивала информация о том, что подключений к базе очень много. там доходтло и до 70 подключений.
Не мог понять в чем проблемы, какой файл надо отредактировать.
спрашивал у тех. поддержки они не знали какой файл так грузит. только методом втыка узнал какой файл грузил.

domofor

Цитата: Лысый от 04 августа 2008, 03:17:33
никогда еще не встречал тех. поддержку, которая бы сказала какой файл грузит сервер. У скольких не спрашивал, никто не знает как узнать конкретный файл.
Спасибо за ответ (+1).
После раздумий пришел к выводу, что надо все-таки перейти на более высокий тариф, ибо на нем и места в 2 раза больше (12Гиг), а у меня уже скоро будут проблемы с фотофайлами вложений (после пробной "чистки" вложений народ начал высказывать недовольство такой "экономией").

Mavn

Цитата: Лысый от 04 августа 2008, 03:17:33
никогда еще не встречал тех. поддержку, которая бы сказала какой файл грузит сервер.

я бы не говорил так если бы мне отчеты не приходили с указанием нагрузки и название файла!
SimpleMachines Russian Community Team
п.1 Пройду курсы гадалок для определения исходного кода по скриншоту.

п.2 У вас нет желания читать правила раздела, у меня нет желания одобрять темы, которые не соответствуют этим правилам.

dm_mb

это вполне элементарно вычисляется что именно грузит и как. достаточно иметь root к серверу и желание.

digger®

Цитата: dm_mb от 04 августа 2008, 11:51:38
это вполне элементарно вычисляется что именно грузит и как. достаточно иметь root к серверу и желание.
Ну вот например mod_php. Как элементарно вычислить какой из работающих скриптов самый тяжелый?

domofor

Два дня назад обнаружилось такое совпадение событий:
1. форум неприлично тормозился
2. от хостера пришло сообщение о мощной перегрузке vps
3. в логах бана сделано множество записей на один и тот же ip 65.55.*.*

Если я правильно понял, то боты поисковиков по-прежнему очень сильно нагружают сервер, но как запретить ненужных, если вроде бы приняты меры в .htaccess, в robots.txt?

order Allow,Deny
Deny from 65.55
Allow from All

order Allow,Deny
Deny from 74.6
Allow from All


User-agent: Slurp
Disallow: /



Mavn

попробуйте забанить через фаервол через правила в htaccess все таки запросы обрабатывает сам apache что при большом потоке вполне возможна нагрузка на сервер фаервол же будет на входе блокировать пакеты.
SimpleMachines Russian Community Team
п.1 Пройду курсы гадалок для определения исходного кода по скриншоту.

п.2 У вас нет желания читать правила раздела, у меня нет желания одобрять темы, которые не соответствуют этим правилам.

Yworld_garry

htaccess прописываем это, просто так вроде работает.

ЦитироватьА теперь, собственно, сама защита от ботов:

RewriteEngine on
RewriteBase /
RewriteCond %{HTTP_USER_AGENT} ^Googlebot
RewriteRule ^.*$ - [F]

В данном случае робот с юзер-агентом Googlebot (сканирующий робот поисковой системы Google) не сможет получить доступ к сайту. На месте Googlebot можно написать любой юзер-агент программы или робота, которого вы не хотите видеть у себя. Здесь же можно указать и юзер-агенты известных программ-сборщиков спама типа EmailSiphon или ExtractorPro.
А как запретить доступ сразу нескольким роботам?

RewriteEngine on
RewriteBase /
RewriteCond %{HTTP_USER_AGENT} ^ Googlebot [OR]
RewriteCond %{HTTP_USER_AGENT} ^ Yandex
RewriteRule ^.*$ - [F]
Как запретить доступ роботов с определённых IP?

RewriteEngine on
RewriteBase /
RewriteCond %{REMOTE_ADDR} ^200.35.120.15$
RewriteRule ^.*$ - [F]
Как запретить сразу несколько роботов с одного диапазона IP?

RewriteEngine on
RewriteBase /
RewriteCond %{REMOTE_ADDR} ^200.35.120.
RewriteRule ^.*$ - [F]

Дыкс пока писал и проверял, уже есть и лучше ответ, выше

domofor

Цитата: Mavn от 26 октября 2008, 19:56:03
попробуйте забанить через фаервол

Извиняюсь за наивный вопрос (никогда раньше серьезно не админил сервер): правильно ли я понимаю, что надо выставить
"Domain Name Server - частично закрытый" и перечислить запретные ip?

На vps сейчас выставлено по умолчанию следующее:
Имя сервиса    Статус
Domain Name Server    открытый
FTP server    открытый
Internet Mail Access Protocol (IMAP)    открытый
Internet Mail server (smtp)    открытый
Post-Office Protocol (pop3)    открытый
SSH server    открытый
Secure WWW server    открытый
WWW server    открытый
imaps    открытый
pop3s    открытый
webcache    открытый

Mavn

Цитата: dom-forum от 28 октября 2008, 01:54:30
Извиняюсь за наивный вопрос (никогда раньше серьезно не админил сервер): правильно ли я понимаю, что надо выставить
"Domain Name Server - частично закрытый" и перечислить запретные ip?
лучше через личку давай решил вопросы но это действие что ты привел лучше не делать!
SimpleMachines Russian Community Team
п.1 Пройду курсы гадалок для определения исходного кода по скриншоту.

п.2 У вас нет желания читать правила раздела, у меня нет желания одобрять темы, которые не соответствуют этим правилам.

Lysyj

а если полностью закрыть
65.*  через форум?

domofor

Цитата: Лысый от 12 ноября 2008, 15:57:49
а если полностью закрыть
65.*  через форум?
Совет от Mavn полностью снял все проблемы: попытки входа ненужных ботов теперь не фиксируются в бан-листе, и сервер перестал ежедневно сигнализировать о перегрузках.

Mavn

Лысый когда ты банишь при помощи форума или htaccess так или иначе у тебя обработкой запросов к хосту занимается апач что в итоге и приводит к перегрузке системы. Если ты блокируешь на уровне фаервола то все запросы блокируются на входе и сервер их просто не обрабатывает и таким образом снижается нагрузка на сервер
SimpleMachines Russian Community Team
п.1 Пройду курсы гадалок для определения исходного кода по скриншоту.

п.2 У вас нет желания читать правила раздела, у меня нет желания одобрять темы, которые не соответствуют этим правилам.

Lysyj

ясно. значит надо блокировать через панель управления сервером, сайтом

Serifa

Цитата: Лысый от 13 ноября 2008, 17:32:04
ясно. значит надо блокировать через панель управления сервером, сайтом

А вот здесь можно подробнее: куда идти и что смотреть (в панели управления) и как сделать.
Хотлинк защита  IP бан  Хотлинк защита  Защита папок  Шифрование OpenPGP  Меню SSL   
Что из этого набора потребуется?
«- Помощник капитана Бакстер, - заявил Лумис, - безбожно врет. Все отнюдь не под контролем, вернее, не под его контролем. Корабль захвачен представителями небелковой формы разумной жизни, которые маскируются под обслуживающих роботов, а некоторые даже не делают и этого...»
«То, что у тебя есть, лечится антибиотиками» (nowhere man, 1995)
В телеге срочно нужны читатели!

Mavn

тебе нужен IP бан, но вопрос в том каким образом блокирует Ip Cpanel средствами apache или средствами Firewall
SimpleMachines Russian Community Team
п.1 Пройду курсы гадалок для определения исходного кода по скриншоту.

п.2 У вас нет желания читать правила раздела, у меня нет желания одобрять темы, которые не соответствуют этим правилам.

Adept

Еще проблемы могут возникнуть с хитами, сам подхожу в плотную к этой беде. Хостер дает 100 000 хитов в сутки (VPS-1), а у меня уже под 70 000 ежедневно. Пытаюсь разыскать пути снижения обращений к серверу. На localhost выдает кучу обращений к файлам при показе одной страницы (файлы форума). Но здесь проблематично бороться, т.к. движок не переписывать же.

Mavn

C хитами врятли. Обычно предоставляют ресурс сервака а не хиты на этот сервак!
SimpleMachines Russian Community Team
п.1 Пройду курсы гадалок для определения исходного кода по скриншоту.

п.2 У вас нет желания читать правила раздела, у меня нет желания одобрять темы, которые не соответствуют этим правилам.

Adept

Цитата: Mavn от 18 января 2009, 12:56:44
C хитами врятли. Обычно предоставляют ресурс сервака а не хиты на этот сервак!
А мой хостер именно ограничивает еще и хиты (сервер в Нидерландах). Тогда эта проблема многим и не проблема, жаль конечно...

vladok

Господа.
Вопрос ВПСникам -
для SMF2.0 под 1000 уников
VDS 600mHz CPU/ 160mB сгодится?
Харе кришна, май либер зольдат...

dmmb

у меня 5 тыс крутится на 400 cpu  и 500 памяти.

причем судя по моим наблюдениям тут надо гнаться не за cpu а за памятью.

поскольку 160 - это мизер.

у меня стоит nginx  фронтендом к апачу - всю  статику с форума через него гоню. (апач вообще можно было убрать, но нужен для соседних сайтов) + очень помогает кеширование. eaccelerator + memcache стоит.

в результате cpu у меня занято порядка 3-4 %   а вот память выкушивает до 300-400 метров (специально оптимизирован мускл и его кеширование на полное использование памяти. запросов много идет в базу, так что ей надо помогать. да и бд у меня почти полгига.)

время генерации страницы в пределах 0,01-0,2 сек. :)

vladok

Если под 5 к выкушивается 400 мБ то сколько будет выкушиватся под 1-2к?
Есть ли зависимость? Это вроде бы запросы к мускулю и их кеширование в раме или нет?
Харе кришна, май либер зольдат...

dmmb

нет. зависимоссть другая. скорость открытия страницы зависит от скрости обработки запроса из бд и отдачи скомпилированной страницы.

я просто параметры кеширования и буфера в mysql поднимал специально под мой объем памяти. чтобы как можно больше однотипных запросов висело в кеше и был на каждый запрос был больше.

было бы у меня памяти поменьше -параметры бы понизил и страницы чуть дольше бы открывались. собственно ничего страшного :)

+ кеширование скомпилированного php акселератором. тоже шустрит сильно открытие страницы.


vladok

Понятно :)
Ок, пошел рыться дальше в поиске побольше рама за приемлимые деньги. Ибо соблазн кешировать в раме побольше запросов овладел и мною :)
Харе кришна, май либер зольдат...

Mavn

160 метров хватит в притык без какого либо запаса, судя по наблюдениям как сказано выше основное потребление это память цпу очень редко привышает 1-3 % среднее потребление проца у меня например не привышает 0.5% при тех же 1к униках(smfru остальное не считаю поскольку нагрузка создается доп проектами незначительная)
SimpleMachines Russian Community Team
п.1 Пройду курсы гадалок для определения исходного кода по скриншоту.

п.2 У вас нет желания читать правила раздела, у меня нет желания одобрять темы, которые не соответствуют этим правилам.

vladok

Ок. Воткнул на ВПС SMF 2.0В3.1 и имею честь наблюдать как при примерно 700 униках в сутки потребление памяти (акселераторов нет, кеширование вкл) медленно болтается в р-не 300 мБ из 512 доступных. Пр практически нулевой загрузке проца... редко о 10 процентов... ежели начинаю базу там опимизировать...

Что там в настройках мускуля пробить дабы оптимальнее оно с памятью работало?
Харе кришна, май либер зольдат...

dm_mb

#89
тут прежде всего надо играться вот с этими параметрами


key_buffer_size = 32M
table_cache = 256
record_buffer = 1M
max_connections = 650
sort_buffer_size = 32M
query_cache_limit = 2M
query_cache_size = 64M
query_cache_type = 1


пример моей конфигурации под 400 метров оперативы.


если памяти больше - то надо играться с key_buffer_size, table_cache  и  query_cache_size

например для 512 можно сделать
key_buffer_size = 64M
table_cache = 512
query_cache_size = 128M

тольк стоит не забывать что это частный случай, если у вас апач много жрет   или еще какие приложения запущенны которые используют сильно память, то надо уменьшать буфер и кеш, иначе памяти просто не хватит.

vladok

Ок, спасибо, буду пробовать :)
Харе кришна, май либер зольдат...

Roman

Прочитал всю ветку, данные довольно противоречивые.

Хватит ли конфигурации VDS:
процессор 700;
память 256;
открытые одновременно файлы - 512;
Процессы - 64

для пары smf 1.1.9, 1400 хостов - 9000 хитов, и 700 хостов - 7000 хитов. с перспективой роста посещаемости раза в полтора - два?

И самое главное. Никогда не занимался администрированием веб-серверов.
Насколько, в среднем, сложно освоить премудрости данного процесса?

Mavn

памяти возможно не хватит
SimpleMachines Russian Community Team
п.1 Пройду курсы гадалок для определения исходного кода по скриншоту.

п.2 У вас нет желания читать правила раздела, у меня нет желания одобрять темы, которые не соответствуют этим правилам.

vladok

Возможно точно не хватит. Нужно мег 400 как минимум.
У меня при 1к уников примерно SMF  2.0 RC 1_1- жрет 300 мБ как с куста.
Харе кришна, май либер зольдат...

Mavn

Хм при тех же ~1к+ униках у меня жрет не более 150 мегов(в среднем 100-130мегов) памяти
SimpleMachines Russian Community Team
п.1 Пройду курсы гадалок для определения исходного кода по скриншоту.

п.2 У вас нет желания читать правила раздела, у меня нет желания одобрять темы, которые не соответствуют этим правилам.

vladok

Ты наверно все же как полагается профи, пооптимизировал рнр.ini , а я балду пинал и с деффками трепалси, пользуясь тем что памяти 512 мБ и оставив все по дефолту... :(
Ок.
Пристыдил.

В выходные пойду и честно поставлю все то что СимплМашины разработчики рекомендуют в настройках рнр.ini иметь.
Харе кришна, май либер зольдат...

Angelys

У кого какие вопросы пишите в icq 240-600-072 . Дам на тест, подберем впс настроим все установим .. !!! +) Консультация бесплатна !!!
Хостинг OSHQ

DarkTemplar

Цитата: vladok от 18 июня 2009, 12:07:34
В выходные пойду и честно поставлю все то что СимплМашины разработчики рекомендуют в настройках рнр.ini иметь.
А ссылочкой не поделишься?

Mavn

SimpleMachines Russian Community Team
п.1 Пройду курсы гадалок для определения исходного кода по скриншоту.

п.2 У вас нет желания читать правила раздела, у меня нет желания одобрять темы, которые не соответствуют этим правилам.

CedarMill

Цитата: dmmb от 14 апреля 2009, 21:22:29
в результате cpu у меня занято порядка 3-4 %   а вот память выкушивает до 300-400 метров (специально оптимизирован мускл и его кеширование на полное использование памяти. запросов много идет в базу, так что ей надо помогать. да и бд у меня почти полгига.)
время генерации страницы в пределах 0,01-0,2 сек. :)
Напишите, пожалуйста, как возможно оптимизирован мускл и его кеширование на полное использование памяти?
I love SMF and Joomla!