Radikal.ru закрывается

Автор digger®, 05 марта 2022, 16:13:45

« назад - далее »

0 Пользователи и 4 гостей просматривают эту тему.

digger®

Цитировать10.03.2022 сайт radikal.ru прекращает свою работу.
С указаной даты видео и картинки не будут доступны.
Чтобы не потерять свой контент, сохраните его себе на диск.

Скрипт для сохранения файлов https://github.com/realdigger/SMF-Radikal

Yarik


domofor


Сан

А ещё может появится проблема с сертификатами (https) для .ru

Yarik

Цитата: domofor от 05 марта 2022, 23:50:22Вас это сильно затронуло?
Да есть немного. Поиском 300 с лишним сообщений нашло. Всех же не заставишь все сохранять на сервер, да и сам грешен, каюсь.
Через img тоже вставлял картинки там где критичного ничего нет. Не всегда правда радикалом.
Из критичного я так посмотрел сообщений 20-ть будет ±
Остальное то треп с поздравлением и прочим, то такое. Туда уже толком никто не смотрит и похерятся картинки да и хрен с ними. Там поздравления и прочее 5 летней давности которые уже давно никто не смотрит. Только если боты.


Yarik

#6
Было бы просто отлично
Ибо сколько не просишь чтобы в критичных темах где допустим есть инструкции для чего-то сохраняли на сервер
Все равно то на радикал то еще где-то...

Marius

Я думал он уже давно закрылся...


Kira

6754 сообщений с картинками с радикала, большинство полезные. Терять жалко. Тоже почти написал скрипт, но если мастер делает, то подожду.
Эх, раньше сюда не заглянул.

digger®

Можно пробовать, кто смелый https://github.com/realdigger/SMF-Radikal

Как есть, без гарантий успеха и безопасности. Бэкапы обязательно, главное таблицу smf_messages.
Рассчитано на запуск в консоли.
Под работу в браузере особо не заморачивался, работать будет, но никакого пошагового выполнения там нет. Будет вылетать, просто обновляйте страницу. В логе будет видно, что идет процесс.

В начале файла есть параметр
$downloadOnly = true;
по умолчанию скрипт только качает файлы в папку радикал с сохранением структуры радикала и показывает что и где будет менять. Уже скачанные успешно файлы второй раз не тянет, так что можно запускать сколько угодно раз.

Если все нормально, меняете на
$downloadOnly = false;
и тогда уже в базе будет менять на скачанные файлы.

При работе пишет лог в файл radikal.log.Y-m-d.txt

Ведет лог вида
 Сообщение #номер | Ссылка | HTTP код ответа радикала
 Сообщение #номер | Какая замена произойдет в сообщении

Kira

Предлагаю добавить следующее
if(mime_content_type($file)=='text/html'){
unlink($file);
echo '[ERROR] Файл отсутствует на сервере.' . $phpEOL;
}

На случай, если вместо картинки отдаётся страница с сообщением об ошибке.

digger®

Цитата: Kira от 07 марта 2022, 23:26:39Предлагаю добавить следующее
if(mime_content_type($file)=='text/html'){
unlink($file);
echo '[ERROR] Файл отсутствует на сервере.' . $phpEOL;
}

На случай, если вместо картинки отдаётся страница с сообщением об ошибке.

Там 404 с такими страницами отдает, это проверяется.

Kira

Не всегда. Иногда просто страничка с надписью. Сейчас попробую найти пример.

Kira



digger®

Поступило еще предложение убирать "t" из конца имени файла, если есть. Чтобы принудительно превьюшки в полноразмерные превращать.

Kira

Цитата: digger® от 07 марта 2022, 23:57:32Можно проверять, но фактически пользы от этого нет. Файл там уже все равно не появится, что заглушку эту скачать, что не скачивать.
В принципе, да. Но была мысль в таких случаях ставить свою заглушку. Писать в базу вместо ссылки на скачанный html ссылку на маленькую картинку с надписью "картинка отсутствует".


Kira

Качает ну очень медленно. Иногда висит по пол часа. 
curl_setopt($curl, CURLOPT_TIMEOUT, 10); помогает. Потом нужно будет докачать оставшееся.

digger®

Цитата: Kira от 08 марта 2022, 09:40:45Качает ну очень медленно. Иногда висит по пол часа.
curl_setopt($curl, CURLOPT_TIMEOUT, 10); помогает. Потом нужно будет докачать оставшееся.

Радикал тормозит, все качают. Поставил 30 в скрипте.

Yarik

Проверил на тестовом...Работает :D  O0
Но я вот что думаю. Посмотрел поиском. Ну реально сообщений 20 восстановить стоит.
Остальное мусор который и восстанавливать не стоит.
Так что наверно вручную.

Хлебопек

#22
Альтернативный способ:
https://hlebopechka.ru/index.php?option=com_smf&topic=551181.0
Конечно, это многими ругаемый file_put_contents и в базе никаких изменений не делает, но при параллельном запуске нескольких скриптов (с разным  BETWEEN) через командную строку довольно шустренько скачивает.


Yarik

Шеф усё отработало нормально :D  O0


domofor

Цитата: Сан от 06 марта 2022, 12:27:09А ещё может появится проблема с сертификатами (https) для .ru

Обещают открыть отечественный центр с бесплатной раздачей сертификатов.

digger®

Цитата: domofor от 09 марта 2022, 03:42:48Обещают открыть отечественный центр с бесплатной раздачей сертификатов.
И работать эти сертификаты будут только в отечественных браузерах.


digger®

Дополнено отображение результатов работы

*** Импорт завершен.
*** Найдено ссылок: xxx
*** Из них миниатюр: yyy
*** Заменено в сообщениях: zzz


Kira

Пожелание :)
Не сохранять структуру каталогов, а свалить всё в один.
Для удобства и чтоб в каждую папку не добавлять index.html


Kira

Но скачать успели. Спасибо.


domofor

Цитата: digger® от 09 марта 2022, 04:22:13И работать эти сертификаты будут только в отечественных браузерах.

Есть какие-то другие варианты?

Yarik

Цитата: digger® от 10 марта 2022, 02:24:11* digger® Смахнул скупую слезу
Этих эпох уже ушло... Замахаешься смахивать.
--------------------------------------------------------------------------------------------
Я скачать то успел.А потом 8 марта хостеру в Германии отрубили всю стойку целиком.
Сейчас бодаюсь с возвратом денег.И потом буду подниматься с бекапа.В котором я еще не проделал скачивание радикала
Так что скорее всего всё. :'(

Yarik

Вопрос автору скрипта
Если у меня таки получится забрать папку куда уже скачаны файлы были, скрипт заменит ссылки в сообщениях без скачивания файлов?

digger®

Цитата: S.T.A.L.K.E.R. от 11 марта 2022, 01:08:29Вопрос автору скрипта
Если у меня таки получится забрать папку куда уже скачаны файлы были, скрипт заменит ссылки в сообщениях без скачивания файлов?
Да, подхватит уже скачанные.


Kira

Ещё раз спасибо  O0
А можно попросить скрипт для конвертации скачанного в один каталог, без сохранения структуры? :) С заменой ссылок в базе.
Скажем, путь к файлу в строку и прибавить к ней имя файла.

domofor

Цитата: digger® от 13 марта 2022, 18:53:03VFL.RU тоже под вопросом, так что, чтобы два раза не вставать, добавлена и версия скрипта для него.
https://github.com/realdigger/SMF-Radikal

Существует также риск с доступом к github. В один момент могут перекрыть кран, несмотря на все прежние обещания.

2 марта 2022 года представители команды веб-сервиса для хостинга IT-проектов и совместной разработки GitHub высказались по поводу санкций против России. Сотрудники сервиса заявили, что не будут блокировать российских разработчиков. По их словам, GitHub — «дом для всех разработчиков, где бы они ни находились». При этом сервис будет соблюдать запреты экспортного контроля технологий и разработок для России, которые наложены США.

Yarik

С чуваком который сидит в Германии уже разорвали контракт на разработку ПО
Дословно что ему сказали - хоть ты и сидишь в Германии мы знаем что в твоей команде разработчиков есть россияне
По этому пока.
Так что может быть все что угодно

digger®

Цитата: Kira от 13 марта 2022, 20:30:41Ещё раз спасибо  O0
А можно попросить скрипт для конвертации скачанного в один каталог, без сохранения структуры? :) С заменой ссылок в базе.
Скажем, путь к файлу в строку и прибавить к ней имя файла.
В базе ссылки уже заменены на локальные или еще на сам радикал указывают?

Kira

Заменены. Скрипт отработал на отлично. Скачано 27532 файлов и раскидано по 39889 каталогам. Хотелось бы радикально сократить количество каталогов.

artvolt

#44
Приветствую коллеги! У меня на форуме накопилось за годы много фото с фотохостинга "FLV.ru" - в моих постах и постах пользователей. Пожалуйста, можно выложить более подробную инструкцию  - куда и чего надо вставлять и куда нажимать, чтобы фотки перекачались и оказались в папке на форумном хостинге и ссылки в постах поменялись и фотки стали отображаться уже с моего хостинга. Мне никак не разобраться.
👍 Форум на движке SMF - Art Cafe ~ 👍 Блог Позитивных Новостей - https://www.joynews.ru ~ 👍 Качественный хостинг и домены по хорошим ценам - "Hostland"

Yarik

Цитата: artvolt от 15 марта 2022, 15:43:32Приветствую коллеги! У меня на форуме накопилось за годы много фото с фотохостинга "FLV.ru" - в моих постах и постах пользователей. Ради всего святого, пожалуйста, можно выложить более подробную инструкцию  - куда и чего надо вставлять и куда нажимать, чтобы фотки перекачались и оказались в папке на форумном хостинге и ссылки в постах поменялись и фотки стали отображаться уже с моего хостинга. Мне никак не разобраться.
Скрипт загрузить в корень форума
И запускать его в браузере пока не отработает полностью.

artvolt

Ничего не выходит. :-[  Я закачал файл со скриптом в формате ".php" в папку сайта на хостинге "public_html" - и что дальше делать чтоб он включился и заработал??? Я не очень понимаю что такое специальные скрипты для сайта и как они действуют. Набирал в адресной строке браузера адрес с файлом скрипта - но появляется страница форума с ошибкой 404, может не так набирал?

Если и FLV закроют - то куча фото с форума пропадёт. Я уже Радикал прошляпил, хотя с него на форуме не так много фото было. Оттуда с самого FLV - фото скачать не реально, чтобы хоть на компьютер их сохранить - там массовой загрузки своих фото вообще не предусмотрено вроде бы.
👍 Форум на движке SMF - Art Cafe ~ 👍 Блог Позитивных Новостей - https://www.joynews.ru ~ 👍 Качественный хостинг и домены по хорошим ценам - "Hostland"

domofor

Цитата: artvolt от 16 марта 2022, 01:48:32Если и FLV закроют - то куча фото с форума пропадёт.

Да уж... хороший урок преподали многим форумоводам сторонние фотохостинги.

Kira

Цитата: artvolt от 16 марта 2022, 01:48:32Набирал в адресной строке браузера адрес с файлом скрипта - но появляется страница форума с ошибкой 404, может не так набирал?
Вероятно.
Ещё может, что нет прав на выполнение файла. Обычно их можно изменить правой кнопкой мышки на файле.


Цитата: artvolt от 16 марта 2022, 01:48:32Я не очень понимаю что такое специальные скрипты для сайта и как они действуют.

В данном случае, файл, рисующий обычную html страничку, которая открывается в браузере. В процессе рисования выполняет полезную работу. Это если совсем упростить объяснение :)

Доступ к консоли сервера есть?

Yarik

Цитата: domofor от 16 марта 2022, 03:59:42Да уж... хороший урок преподали многим форумоводам сторонние фотохостинги.
Помнится с меня все ржали и пальцем у виска крутили когда говорил что все свое надо хранить у себя.
Это же тысячи картинок, кому они нужны.
Цитата: artvolt от 16 марта 2022, 01:48:32Ничего не выходит. :-[  Я закачал файл со скриптом в формате ".php" в папку сайта на хостинге "public_html" - и что дальше делать чтоб он включился и заработал??? Я не очень понимаю что такое специальные скрипты для сайта и как они действуют. Набирал в адресной строке браузера адрес с файлом скрипта - но появляется страница форума с ошибкой 404, может не так набирал?
https://art-cafe.info/vfl.php
Нажимайте и попутно смотрите в логе как идет процесс
По моему оно на какой то стадии реально бурится или картинок слишком много реально или все бросились скачивать и по этому процесс будет долгий. Попутно так же смотрите за свободным местом на хостинге.