Уменьшение размера БД .

Автор Serjik, 27 августа 2010, 16:42:26

« назад - далее »

0 Пользователи и 4 гостей просматривают эту тему.

Serjik

Всех приветствую !

Есть форум , в день заходят порядка нескольких сотен пользователей , пишут много сообщений соответственно база данных растет . Раз в 3-4 месяца удаляется примерно 7-10 тыс. сообщений , но размер базы данных не уменьшается.

Вопрос , как уменьшить размер БД ?

digger®

То что размер растет, это нормальный процесс. Насколько большой размер базы что это доставляет проблемы?
После удаления нужно делать оптимизацию таблиц в админке, чтобы размер уменьшился.

BIOHAZARD

может стоит просто подумать над монетизацией форума?
сейчас дополнительное место на винтах стоит не на столько дорого, чтобы из-за этого удалять часть сообщений - даже в куче мусора иногда проскальзывает полезная информация, а вы по живому
Мои моды:
  • RedirectPage
  • Counters
  • CustomSearch
  • SypexDumper
   адаптирую темы    1.1.хx<=>2.0задавая вопросы, старайтесь сразу указывать конечную цель, предполагаемый Вами путь не обязательно окажется самым коротким

Любые моды на заказ


Serjik

Цитата: BIOHAZARD от 27 августа 2010, 17:39:03
может стоит просто подумать над монетизацией форума?
сейчас дополнительное место на винтах стоит не на столько дорого, чтобы из-за этого удалять часть сообщений - даже в куче мусора иногда проскальзывает полезная информация, а вы по живому
С монетизацией все нормально. Форум технический и образуется довольно много флуда , соответственно он и удаляется.

Serjik


BIOHAZARD

Цитата: digger от 27 августа 2010, 16:59:05После удаления нужно делать оптимизацию таблиц в админке, чтобы размер уменьшился.
пробовали?
как результаты?
Мои моды:
  • RedirectPage
  • Counters
  • CustomSearch
  • SypexDumper
   адаптирую темы    1.1.хx<=>2.0задавая вопросы, старайтесь сразу указывать конечную цель, предполагаемый Вами путь не обязательно окажется самым коротким

Любые моды на заказ

Serjik

Отрицательно  :-\ .

При попытке удалить сообщения вываливается вот такое сообщение

The SELECT would examine more than MAX_JOIN_SIZE rows; check your WHERE and use SET SQL_BIG_SELECTS=1 or SET SQL_MAX_JOIN_SIZE=# if the SELECT is okay
Файл: /home/s/*****/public_html/forum/Sources/ManageAttachments.php
Строка: 571

Примечание: Возможно Вашей базе данных требуется обновление. Версия файлов Вашего форума SMF 1.1.11, тогда как версия Вашей базы данных 1.1.5. Для устранения ошибки обновите, пожалуйста, форум.

Что то необходимо подредактировать ?

Drakonsa


Serjik

Цитата: Drakonsa от 29 августа 2010, 11:21:39
SET SQL_BIG_SELECTS=1
А где именно поменять этот параметр ?


Serjik

Парни , спасибо за ответы !
Все получилось !

dmitriy_af

Я тоже удаляю старые и неактуальные темы, выполняю оптимизацию, за счет чего база уменьшается. Не подскажете только, как сделать так, чтобы количество сообщений в профилях пользователей после обслуживания  не уменьшалось, а то обижаются некоторые - мол сидят на форуме годами и опять с "носом"?

karavan

Чтобы не создавать новую тему, напишу здесь, из-за большого размера БД (133 Мб) Sypex Dumper не успевает сделать бекап, видимо его останавливает сервер постоянно на 19 секунде, 98-99% работы...

Пришла мысль очистить таблицы:
smf_log_digest (4,2 Мб)
smf_log_actions (1,6 Мб)
smf_log_topic_view (6,4 Мб)
smf_log_topics (6,6 Мб)
smf_log_search_subjects (1,2 Мб)

За что отвечают эти таблицы, можно ли их безболезненно очистить?


digger®

Цитата: karavan от 01 августа 2013, 18:55:51Чтобы не создавать новую тему, напишу здесь, из-за большого размера БД (133 Мб) Sypex Dumper не успевает сделать бекап, видимо его останавливает сервер постоянно на 19 секунде, 98-99% работы...
Это не из-за размера базы. И он не большой :)

karavan



karavan

Да никакой не выдаёт, просто "зависает"...

Slavegirl

Версия Sypex Dumper у Вас последняя, 2.0.10? У меня были похожие проблемы с 2.0.9 версией, так же начала зависать после обновления PHP.

Во всяком случае у разработчика Sypex Dumper есть свой форум, там могут оказать специализированную помощь по проблемам в данном продукте. Мою проблему удалось решить банальным обновлением до последней 2.0.10 версии.

karavan

Slavegirl спасибо за идею, у меня 2.0.8, сегодня попробую поменять.

karavan

К сожалению обновление Sypex Dumper до последней версии 2.0.10 не помогло, так же "зависает" на 99%... ( Но сам архив создаётся, может он и рабочий, пока покладу в папку...

ALLIGATOR-J

Дабы не плодить новых тем.

За неделю размер БД вырос с 47 до 77 МБ. Причем рост прям равномерный был. Столько контента не было написано, да и пользователей много не пришло. Модов за это время не ставилось. Отчего такое может быть? Нормально ли это?

Yarik

Цитата: ALLIGATOR-J от 23 мая 2021, 20:16:37Дабы не плодить новых тем.

За неделю размер БД вырос с 47 до 77 МБ. Причем рост прям равномерный был. Столько контента не было написано, да и пользователей много не пришло. Модов за это время не ставилось. Отчего такое может быть? Нормально ли это?
Логи ошибок,разные временные таблицы.У меня БД от 1.4гига до 1.9 может гулять в течении недели запросто
PHPMyAdmin позволит посмотреть какие таблицы в БД разрослись..

ALLIGATOR-J

Цитата: S.T.A.L.K.E.R. от 23 мая 2021, 21:15:31Логи ошибок,разные временные таблицы.У меня БД от 1.4гига до 1.9 может гулять в течении недели запросто
PHPMyAdmin позволит посмотреть какие таблицы в БД разрослись..
Самый большой размер у таблицы sessions. Её можно как-то чистить?

Yarik

Цитата: ALLIGATOR-J от 23 мая 2021, 21:33:09Самый большой размер у таблицы sessions. Её можно как-то чистить?
Обнулятся все сессии на форуме.Скорее всего всех выкинет с форума,все сообщения станут не прочитанными и прочее...

ALLIGATOR-J

Цитата: S.T.A.L.K.E.R. от 23 мая 2021, 21:54:25Обнулятся все сессии на форуме.Скорее всего всех выкинет с форума,все сообщения станут не прочитанными и прочее...


Сейчас  посмотрел - получилось, что эту неделю очень активно Яндекс топтался по форуму, примерно по 7000 обращений в сутки. Короче, автор разросшейся резко БД - Яша.

Если сессии не хранить в БД, это сильно замедлит работу? 

Насколько нужны все эти записи сессий? Они никак автоматом не чистятся? Это ж получается, что больше половины БД они и составляют...

Yarik

Цитата: ALLIGATOR-J от 24 мая 2021, 08:07:14Сейчас  посмотрел - получилось, что эту неделю очень активно Яндекс топтался по форуму, примерно по 7000 обращений в сутки. Короче, автор разросшейся резко БД - Яша.

Если сессии не хранить в БД, это сильно замедлит работу?

Насколько нужны все эти записи сессий? Они никак автоматом не чистятся? Это ж получается, что больше половины БД они и составляют...
Не пробовал хранить сессии не в БД. Проблем со свободным дисковым местом у меня нет. Так что не проверял.

ALLIGATOR-J

Цитата: S.T.A.L.K.E.R. от 24 мая 2021, 08:41:30Не пробовал хранить сессии не в БД. Проблем со свободным дисковым местом у меня нет. Так что не проверял.
Да у меня тоже проблемы нет со свободным пространством вроде, пока  ;D Просто смущает, что она на пустом месте растет такими темпами, вот и думаю, можно ли как-то оптимизировать...

Yarik

Цитата: ALLIGATOR-J от 24 мая 2021, 09:05:57Да у меня тоже проблемы нет со свободным пространством вроде, пока  ;D Просто смущает, что она на пустом месте растет такими темпами, вот и думаю, можно ли как-то оптимизировать...
И будет расти. С ростом пользователей,просмотров.
Моды так же могут добавлять своих таблиц.

domofor

Цитата: ALLIGATOR-J от 24 мая 2021, 09:05:57Да у меня тоже проблемы нет со свободным пространством вроде, пока

Был такой у меня случай: однажды сайт стал недоступен. Пишу хостеру и получаю ответ, что хостинг автоматом отключил мой сайт из-за превышения лимита пространства. Оказалось, что за ночь какие-то сумасшедшие логи забили под завязку выделенный объем на хостинге.

Yarik

Цитата: domofor от 24 мая 2021, 13:10:58Был такой у меня случай: однажды сайт стал недоступен. Пишу хостеру и получаю ответ, что хостинг автоматом отключил мой сайт из-за превышения лимита пространства.
Это получается что дискового места впритирку.Если даже такая ничтожная информация как текст забила остаток.Сколько бы там не было этих логов.

domofor

Цитата: S.T.A.L.K.E.R. от 29 мая 2021, 08:53:32Это получается что дискового места впритирку.Если даже такая ничтожная информация как текст забила остаток.Сколько бы там не было этих логов.
Нет, вы не поняли. Места было достаточно много. Просто логов было столько, что было забито все свободное пространство на хостинге. Возможно, это произошло не за одну ночь, но точно за короткое время. А сайт с утра отключили.

Yarik

Цитата: domofor от 29 мая 2021, 12:45:44Нет, вы не поняли. Места было достаточно много. Просто логов было столько, что было забито все свободное пространство на хостинге. Возможно, это произошло не за одну ночь, но точно за короткое время. А сайт с утра отключили.
У меня сейчас свободного места 2 террабайта.Еще два диска по 4 террабайта просто отключены до нужных времен.Вот это места достаточно.

domofor

Цитата: S.T.A.L.K.E.R. от 29 мая 2021, 12:54:16У меня сейчас свободного места 2 террабайта.Еще два диска по 4 террабайта просто отключены до нужных времен.Вот это места достаточно.

Молодец. Есть еще чем похвалиться?

Yarik

Цитата: domofor от 31 мая 2021, 02:00:50Молодец. Есть еще чем похвалиться?
Ага.Тем что форум не падает когда логов слишком много.... :D

ALLIGATOR-J

Попробовал в диспетчере задач оптимизацию БД поставить не раз в неделю, а раз в сутки. Пока БД уже неделю не увеличивается...

bibliary

А у кого то удавалось на MariaDB переехать на SMF?


Yarik

Версия MySQL: 10.3.27-MariaDB-0+deb10u1
Memcached: 1.5.6
PHP: 7.4.19
Работает.

bibliary

Странно пару раз пытался прыгать с MySQL на MariaDB - форум после апдейта не хочет коннектиться к базе.

Yarik

Цитата: bibliary от 08 июня 2021, 17:50:23Странно пару раз пытался прыгать с MySQL на MariaDB - форум после апдейта не хочет коннектиться к базе.
Версия РНР?

bibliary

Цитата: S.T.A.L.K.E.R. от 08 июня 2021, 18:12:17Версия РНР?

пробовал изначально на 5.4, потом после перехода на 7.2, и позже после перехода на 7.3. Нужно наверное все таки на 7.4 перейти и еще раз попробовать что ли...