Требования движка smf к vps

digger® · 28 июля 2008, 17:53:18

Цитата: dom-forum от 28 июля 2008, 16:50:38
Вот ответ от техподдержки Агавы по этому вопросу:

Превышения numothersock возникают из-за большого количества запросов к
базе данных, и запросы не обрабатываются.
Переход на тарифный план Optimal скорее всего исправит данную проблему.

ЗЫ. За вчера - numothersock: 1000 раз

Почему бы тогда не использовать tcp-коннект к базе вместо локального сокета.

domofor · 29 июля 2008, 07:08:01

В последнее время предупреждения о превышении идут только по этому numothersock.

Цитата: digger от 28 июля 2008, 17:53:18
Почему бы тогда не использовать tcp-коннект к базе вместо локального сокета.

А можно популярно объяснить неспецу, чем одно отличается от другого?

dm_mb · 29 июля 2008, 22:14:03

dom-forum , есть небольшая просьба.

зайдите под рутом в консоль и наберите #top

посмотрите там средние значения и те что вам агава выкатывает.

так же впринципе можно попробовать погонять в этот момент чтонибудь тяжелое и посмотреть что происходит. дамп мускула сделать или восстановить таблицы. у меня есть ощущение что хостеры не всегда корректно настраивают vps и скидывают его пользователю, а тот перешедший с шареда не имеет возможности сам его настроить.

у меня VPS с гораздо более слабыми показателями чем у вас, а летает как запорожец на нитросе

а вы на своем бентли дальше первой передачи не едите ...

на предыдущей странице я писал о ТХ своего впс

domofor · 29 июля 2008, 23:24:46

Цитата: dm_mb от 29 июля 2008, 22:14:03
dom-forum , есть небольшая просьба.

зайдите под рутом в консоль и наберите #top

Если я правильно понимаю, то у меня такого доступа нет - я ведь оплачиваю администрирование сервера силами спецов Агавы.

Цитата: dm_mb от 29 июля 2008, 22:14:03у меня VPS с гораздо более слабыми показателями чем у вас, а летает как запорожец на нитросе а вы на своем бентли дальше первой передачи не едите

Такое ощущение, что вы меня в садомазохизме обвиняете.

Я всего лишь пользователь движка форума, далекий от серверов и прочего хостинга. Поэтому стараюсь не лезть туда, где ничего сам не понимаю. Но вот в этом случае спецы с "обеих сторон баррикад" не могут разобраться в странной нагрузке сервера. Хостер советует взять мощнее сервер, вы (и другие здесь) говорите, что существующего сервера достаточно.

dm_mb · 29 июля 2008, 23:53:10

ну вот я смотрю на базовый vps от агавы и понимаю что полный писец. ну нереально так тормозить форуму, неточего.

у вас нет доступа к shh ?

возьмите тестовый аккаунт на mchost на любой их впс и попробуйте там запустить все это дело. если там на базовом тарифе все будет шустро - значит агаву однозначно в топку.

digger® · 30 июля 2008, 00:03:32

Цитата: dom-forum от 29 июля 2008, 23:24:46
Если я правильно понимаю, то у меня такого доступа нет - я ведь оплачиваю администрирование сервера силами спецов Агавы.

Работа спецов заключается в навязывании более дорогих тарифов?

dm_mb · 30 июля 2008, 00:56:14

digger, нормальный и адекватный админ никогда не будет клиенту впаривать то что он не понимает. я первый раз вижу что говорят о нагрузке и не говорят о том что именно вызывает нагрузку.

даже на шареде обычно когда начинают доставать что аккаунт грузит сервак и либо валите, либо оптимизируйте скрипты - на вопрос "дайте мне данные какие скрипты и запросы дают нагрузку" . либо дают, либо больше не домогаются.

просто сейчас в техподдержке сидят прышавые школьники которые на переменках суппортом подрабатывают

совершенно неадекватная поддержка стала. был раньше у sweb.ru - теперь вообще стало нереально что-то вразумительное получить. впрочим у многих так сейчас судя по отзывам знакомых.

domofor · 30 июля 2008, 03:05:33

Подглядел на чужом форуме - см. скриншот (правда, там движок ipb, но не в этом суть). Может ли большое цитирование как-то влиять на движок?

ЗЫ. Мне теперь как озабоченному

)) везде мерещатся перегрузки серверов и источники этих перегрузок.

bbbbbb · 30 июля 2008, 03:33:02

очевидно: нужно правильно настроить безопасность и
производительность... (но сначало оценить ситуацию, про то что вам писали раньше)

Аминь

===========================================================
может быть кому-то пригодиться:

1.

Код Выделить

add allow tcp from any to 1.2.3.4 80 limit src-addr 10
add allow tcp from any to 1.2.3.4 80 via rl0 setup limit src-addr 10

ограничивает до 10 конектов

2.

Цитироватьmod_dosevasive is an evasive maneuvers module for Apache to provide evasive
action in the event of an HTTP DoS or DDoS attack or brute force attack.
It is also designed to be a detection and network management tool, and can be
easily configured to talk to ipchains, firewalls, routers, and etcetera.
mod_dosevasive presently reports abuses via email and syslog facilities.

Detection is performed by creating an internal dynamic hash table of IP
Addresses and URIs, and denying any single IP address from any of the
following:

* Requesting the same page more than a few times per second
* Making more than 50 concurrent requests on the same child per second
* Making any requests while temporarily blacklisted (on a blocking list)

This method has worked well in both single-server script attacks as well as
distributed attacks, but just like other evasive tools, is only as useful to
the point of bandwidth and processor consumption (e.g. the amount of bandwidth
and processor required to receive/process/respond to invalid requests), which
is why it's a good idea to integrate this with your firewalls and routers for
maximum protection.

This module instantiates for each listener individually, and therefore has a
built-in cleanup mechanism and scaling capabilities. Because of this per-child
design, legitimate requests are never compromised (even from proxies and NAT
addresses) but only scripted attacks. Even a user repeatedly clicking on
'reload' should not be affected unless they do it maliciously. mod_dosevasive
is fully tweakable through the Apache configuration file, easy to incorporate
into your web server, and easy to use.

WWW: http://www.nuclearelephant.com/projects/dosevasive

domofor · 30 июля 2008, 23:53:04

bbbbbb, вы можете постить где-нить в другой, но только не в этой теме?

Вопрос к Mavn:
Вот что подумалось. Когда я оптимизирую в админке форум через движок, то у меня процесс присходит порциями (появляется надпись, чтоб не перегрузить сервер).
А вот влияет ли слияние и переименование больших форумных тем (<50 страниц) на сервер? Никогда не видел подобных вышеуказанных предупреждений, а мне часто приходится "гонять" посты из темы в тему.

bbbbbb · 30 июля 2008, 23:58:24

я пишу не вам, а тем кто интересовался, для Mavn и других ...

вы решить навреное не хотите

domofor · 31 июля 2008, 23:46:50

Цитата: bbbbbb от 30 июля 2008, 23:58:24
я пишу не вам, а тем кто интересовался, для Mavn и других ...

Ну так откройте свою тему и пишите там на понятном вам языке (я смотрю, не только я ваши изъяснения на форуме не понимаю).

Mavn · 02 августа 2008, 00:14:41

На счет оптимизации форума в самом движке просто прописан таймаут на это дело.
Вообще честно говоря на больших форумах я бы не запускал бы оптимизацию форума через админку.
В некоторых случаях на больших форумах это может привести даже к краху одной из таблиц(говорю так потому что был случай).
Оптимально на мой взгляд производить оптимизацию при большой бд (800Мб и более) стопорите apache ждете секунд 40 чтобы наверняка все запросы текущие выполнились после выполняете оптимизацию бд средствами mysql и после запускаете http.

Связано это с тем что сама по себе оптимизация тяжелая задача и если ее выполнять при постоянном обращении к бд пользователей просто приведет сервак к перегрузке.
Поясню русским языком теперь у вас идут запросы от пользователей к бд + еще и вы будете колбасить базу оптимизацией особенно если это в час пик будет очень весело на сервере.

Кстати тут правильную вещь сказали когда идет перегруз сервака хостер всегда может дать статистику о том что именно грузит сервак на каком домене и какой файл все это делает. Вопрос только в том что не у всех ведется журнал нагрузки и можно получить только текущие данные.

Ради интереса сделайте эксперемент:
1. Включите дебаг режим форума (режим отладки)
2. Посмотрите сколько будет выполняться запросов при создании сообщения, темы и при ваших модераторских действиях.
Это как раз и будет ответом на ваш вопрос о нагрузке на сервер при модерировании форума

Lysyj · 04 августа 2008, 03:17:33

никогда еще не встречал тех. поддержку, которая бы сказала какой файл грузит сервер. У скольких не спрашивал, никто не знает как узнать конкретный файл.
Говорю так, потому что в самом начале еще в 2004 году, попался мне скрипт вап чата. так вот, у меня все время выскакивала информация о том, что подключений к базе очень много. там доходтло и до 70 подключений.
Не мог понять в чем проблемы, какой файл надо отредактировать.
спрашивал у тех. поддержки они не знали какой файл так грузит. только методом втыка узнал какой файл грузил.

domofor · 04 августа 2008, 04:54:20

Цитата: Лысый от 04 августа 2008, 03:17:33
никогда еще не встречал тех. поддержку, которая бы сказала какой файл грузит сервер. У скольких не спрашивал, никто не знает как узнать конкретный файл.

Спасибо за ответ (+1).
После раздумий пришел к выводу, что надо все-таки перейти на более высокий тариф, ибо на нем и места в 2 раза больше (12Гиг), а у меня уже скоро будут проблемы с фотофайлами вложений (после пробной "чистки" вложений народ начал высказывать недовольство такой "экономией").

Mavn · 04 августа 2008, 10:47:56

Цитата: Лысый от 04 августа 2008, 03:17:33
никогда еще не встречал тех. поддержку, которая бы сказала какой файл грузит сервер.

я бы не говорил так если бы мне отчеты не приходили с указанием нагрузки и название файла!

dm_mb · 04 августа 2008, 11:51:38

это вполне элементарно вычисляется что именно грузит и как. достаточно иметь root к серверу и желание.

digger® · 04 августа 2008, 16:31:03

Цитата: dm_mb от 04 августа 2008, 11:51:38
это вполне элементарно вычисляется что именно грузит и как. достаточно иметь root к серверу и желание.

Ну вот например mod_php. Как элементарно вычислить какой из работающих скриптов самый тяжелый?

domofor · 26 октября 2008, 19:40:03

Два дня назад обнаружилось такое совпадение событий:
1. форум неприлично тормозился
2. от хостера пришло сообщение о мощной перегрузке vps
3. в логах бана сделано множество записей на один и тот же ip 65.55.*.*

Если я правильно понял, то боты поисковиков по-прежнему очень сильно нагружают сервер, но как запретить ненужных, если вроде бы приняты меры в .htaccess, в robots.txt?

Код Выделить

order Allow,Deny
Deny from 65.55
Allow from All

order Allow,Deny
Deny from 74.6
Allow from All

Код Выделить

User-agent: Slurp
Disallow: /

Mavn · 26 октября 2008, 19:56:03

попробуйте забанить через фаервол через правила в htaccess все таки запросы обрабатывает сам apache что при большом потоке вполне возможна нагрузка на сервер фаервол же будет на входе блокировать пакеты.

Yworld_garry · 26 октября 2008, 19:56:29

htaccess прописываем это, просто так вроде работает.

ЦитироватьА теперь, собственно, сама защита от ботов:

RewriteEngine on
RewriteBase /
RewriteCond %{HTTP_USER_AGENT} ^Googlebot
RewriteRule ^.*$ - [F]

В данном случае робот с юзер-агентом Googlebot (сканирующий робот поисковой системы Google) не сможет получить доступ к сайту. На месте Googlebot можно написать любой юзер-агент программы или робота, которого вы не хотите видеть у себя. Здесь же можно указать и юзер-агенты известных программ-сборщиков спама типа EmailSiphon или ExtractorPro.
А как запретить доступ сразу нескольким роботам?

RewriteEngine on
RewriteBase /
RewriteCond %{HTTP_USER_AGENT} ^ Googlebot [OR]
RewriteCond %{HTTP_USER_AGENT} ^ Yandex
RewriteRule ^.*$ - [F]
Как запретить доступ роботов с определённых IP?

RewriteEngine on
RewriteBase /
RewriteCond %{REMOTE_ADDR} ^200.35.120.15$
RewriteRule ^.*$ - [F]
Как запретить сразу несколько роботов с одного диапазона IP?

RewriteEngine on
RewriteBase /
RewriteCond %{REMOTE_ADDR} ^200.35.120.
RewriteRule ^.*$ - [F]

Дыкс пока писал и проверял, уже есть и лучше ответ, выше

domofor · 28 октября 2008, 01:54:30

Цитата: Mavn от 26 октября 2008, 19:56:03
попробуйте забанить через фаервол

Извиняюсь за наивный вопрос (никогда раньше серьезно не админил сервер): правильно ли я понимаю, что надо выставить
"Domain Name Server - частично закрытый" и перечислить запретные ip?

На vps сейчас выставлено по умолчанию следующее:
Имя сервиса    Статус
Domain Name Server    открытый
FTP server    открытый
Internet Mail Access Protocol (IMAP)    открытый
Internet Mail server (smtp)    открытый
Post-Office Protocol (pop3)    открытый
SSH server    открытый
Secure WWW server    открытый
WWW server    открытый
imaps    открытый
pop3s    открытый
webcache    открытый

Mavn · 28 октября 2008, 17:20:50

Цитата: dom-forum от 28 октября 2008, 01:54:30
Извиняюсь за наивный вопрос (никогда раньше серьезно не админил сервер): правильно ли я понимаю, что надо выставить
"Domain Name Server - частично закрытый" и перечислить запретные ip?

лучше через личку давай решил вопросы но это действие что ты привел лучше не делать!

Lysyj · 12 ноября 2008, 15:57:49

а если полностью закрыть
65.* через форум?

domofor · 12 ноября 2008, 18:57:02

Цитата: Лысый от 12 ноября 2008, 15:57:49
а если полностью закрыть
65.* через форум?

Совет от Mavn полностью снял все проблемы: попытки входа ненужных ботов теперь не фиксируются в бан-листе, и сервер перестал ежедневно сигнализировать о перегрузках.

Mavn · 13 ноября 2008, 13:04:09

Лысый когда ты банишь при помощи форума или htaccess так или иначе у тебя обработкой запросов к хосту занимается апач что в итоге и приводит к перегрузке системы. Если ты блокируешь на уровне фаервола то все запросы блокируются на входе и сервер их просто не обрабатывает и таким образом снижается нагрузка на сервер

Lysyj · 13 ноября 2008, 17:32:04

ясно. значит надо блокировать через панель управления сервером, сайтом

Serifa · 17 декабря 2008, 19:04:39

Цитата: Лысый от 13 ноября 2008, 17:32:04
ясно. значит надо блокировать через панель управления сервером, сайтом

А вот здесь можно подробнее: куда идти и что смотреть (в панели управления) и как сделать.
Хотлинк защита IP бан Хотлинк защита Защита папок Шифрование OpenPGP Меню SSL
Что из этого набора потребуется?

Mavn · 18 декабря 2008, 12:32:29

тебе нужен IP бан, но вопрос в том каким образом блокирует Ip Cpanel средствами apache или средствами Firewall

Adept · 17 января 2009, 00:27:26

Еще проблемы могут возникнуть с хитами, сам подхожу в плотную к этой беде. Хостер дает 100 000 хитов в сутки (VPS-1), а у меня уже под 70 000 ежедневно. Пытаюсь разыскать пути снижения обращений к серверу. На localhost выдает кучу обращений к файлам при показе одной страницы (файлы форума). Но здесь проблематично бороться, т.к. движок не переписывать же.

Mavn · 18 января 2009, 12:56:44

C хитами врятли. Обычно предоставляют ресурс сервака а не хиты на этот сервак!

Adept · 18 января 2009, 15:46:58

Цитата: Mavn от 18 января 2009, 12:56:44
C хитами врятли. Обычно предоставляют ресурс сервака а не хиты на этот сервак!

А мой хостер именно ограничивает еще и хиты (сервер в Нидерландах). Тогда эта проблема многим и не проблема, жаль конечно...

vladok · 14 апреля 2009, 20:59:43

Господа.
Вопрос ВПСникам -
для SMF2.0 под 1000 уников
VDS 600mHz CPU/ 160mB сгодится?

dmmb · 14 апреля 2009, 21:22:29

у меня 5 тыс крутится на 400 cpu и 500 памяти.

причем судя по моим наблюдениям тут надо гнаться не за cpu а за памятью.

поскольку 160 - это мизер.

у меня стоит nginx фронтендом к апачу - всю статику с форума через него гоню. (апач вообще можно было убрать, но нужен для соседних сайтов) + очень помогает кеширование. eaccelerator + memcache стоит.

в результате cpu у меня занято порядка 3-4 % а вот память выкушивает до 300-400 метров (специально оптимизирован мускл и его кеширование на полное использование памяти. запросов много идет в базу, так что ей надо помогать. да и бд у меня почти полгига.)

время генерации страницы в пределах 0,01-0,2 сек.

vladok · 14 апреля 2009, 21:45:14

Если под 5 к выкушивается 400 мБ то сколько будет выкушиватся под 1-2к?
Есть ли зависимость? Это вроде бы запросы к мускулю и их кеширование в раме или нет?

dmmb · 14 апреля 2009, 22:09:00

нет. зависимоссть другая. скорость открытия страницы зависит от скрости обработки запроса из бд и отдачи скомпилированной страницы.

я просто параметры кеширования и буфера в mysql поднимал специально под мой объем памяти. чтобы как можно больше однотипных запросов висело в кеше и был на каждый запрос был больше.

было бы у меня памяти поменьше -параметры бы понизил и страницы чуть дольше бы открывались. собственно ничего страшного

+ кеширование скомпилированного php акселератором. тоже шустрит сильно открытие страницы.

vladok · 14 апреля 2009, 23:29:43

Понятно

Ок, пошел рыться дальше в поиске побольше рама за приемлимые деньги. Ибо соблазн кешировать в раме побольше запросов овладел и мною

Mavn · 14 апреля 2009, 23:58:51

160 метров хватит в притык без какого либо запаса, судя по наблюдениям как сказано выше основное потребление это память цпу очень редко привышает 1-3 % среднее потребление проца у меня например не привышает 0.5% при тех же 1к униках(smfru остальное не считаю поскольку нагрузка создается доп проектами незначительная)

vladok · 19 апреля 2009, 12:58:11

Ок. Воткнул на ВПС SMF 2.0В3.1 и имею честь наблюдать как при примерно 700 униках в сутки потребление памяти (акселераторов нет, кеширование вкл) медленно болтается в р-не 300 мБ из 512 доступных. Пр практически нулевой загрузке проца... редко о 10 процентов... ежели начинаю базу там опимизировать...

Что там в настройках мускуля пробить дабы оптимальнее оно с памятью работало?

dm_mb · 19 апреля 2009, 13:16:04

тут прежде всего надо играться вот с этими параметрами

Код Выделить


key_buffer_size = 32M 
table_cache = 256 
record_buffer = 1M 
max_connections = 650 
sort_buffer_size = 32M 
query_cache_limit = 2M 
query_cache_size = 64M 
query_cache_type = 1

пример моей конфигурации под 400 метров оперативы.

если памяти больше - то надо играться с key_buffer_size, table_cache и query_cache_size

например для 512 можно сделать
key_buffer_size = 64M
table_cache = 512
query_cache_size = 128M

тольк стоит не забывать что это частный случай, если у вас апач много жрет или еще какие приложения запущенны которые используют сильно память, то надо уменьшать буфер и кеш, иначе памяти просто не хватит.

vladok · 19 апреля 2009, 14:51:52

Ок, спасибо, буду пробовать

Roman · 11 июня 2009, 18:03:39

Прочитал всю ветку, данные довольно противоречивые.

Хватит ли конфигурации VDS:
процессор 700;
память 256;
открытые одновременно файлы - 512;
Процессы - 64

для пары smf 1.1.9, 1400 хостов - 9000 хитов, и 700 хостов - 7000 хитов. с перспективой роста посещаемости раза в полтора - два?

И самое главное. Никогда не занимался администрированием веб-серверов.
Насколько, в среднем, сложно освоить премудрости данного процесса?

Mavn · 17 июня 2009, 16:58:02

памяти возможно не хватит

vladok · 18 июня 2009, 11:27:25

Возможно точно не хватит. Нужно мег 400 как минимум.
У меня при 1к уников примерно SMF 2.0 RC 1_1- жрет 300 мБ как с куста.

Mavn · 18 июня 2009, 12:01:57

Хм при тех же ~1к+ униках у меня жрет не более 150 мегов(в среднем 100-130мегов) памяти

vladok · 18 июня 2009, 12:07:34

Ты наверно все же как полагается профи, пооптимизировал рнр.ini , а я балду пинал и с деффками трепалси, пользуясь тем что памяти 512 мБ и оставив все по дефолту...

Ок.
Пристыдил.

В выходные пойду и честно поставлю все то что СимплМашины разработчики рекомендуют в настройках рнр.ini иметь.

Angelys · 17 июля 2009, 00:55:16

У кого какие вопросы пишите в icq 240-600-072 . Дам на тест, подберем впс настроим все установим .. !!! +) Консультация бесплатна !!!

DarkTemplar · 13 августа 2009, 00:50:22

Цитата: vladok от 18 июня 2009, 12:07:34
В выходные пойду и честно поставлю все то что СимплМашины разработчики рекомендуют в настройках рнр.ini иметь.

А ссылочкой не поделишься?

Mavn · 13 августа 2009, 13:36:24

Цитата: DarkTemplar от 13 августа 2009, 00:50:22
А ссылочкой не поделишься?

http://download.simplemachines.org/requirements.php

CedarMill · 18 декабря 2009, 17:31:29

Цитата: dmmb от 14 апреля 2009, 21:22:29
в результате cpu у меня занято порядка 3-4 % а вот память выкушивает до 300-400 метров (специально оптимизирован мускл и его кеширование на полное использование памяти. запросов много идет в базу, так что ей надо помогать. да и бд у меня почти полгига.)
время генерации страницы в пределах 0,01-0,2 сек.

Напишите, пожалуйста, как возможно оптимизирован мускл и его кеширование на полное использование памяти?