Судьба форумов и сохранение информации

[SergeCpp]

Относительно высказывавшихся в этой теме опасений (к сожалению, вполне реальных) о сохранности в будущем как внешних материалов (сохраняющихся сейчас путём их полного копирования на форум) так и материалов собственно форума ("Самим бы нашим ресурсам только не исчезнуть со всеми нашими разборками.", "...в каком виде можно было бы сохранить и законсервировать имеющуюся здесь информацию?") предлагаю (техническим специалистам форума в первую очередь) обратить внимание на следующий метод сохранения "всего и вся" (по ссылкам - примеры использования): http://www.classicalforum.ru/index.php/topic,8615.msg124734.html#msg124734 и http://forum.ixbt.com/topic.cgi?id=64:3427:1237#1237

1) Внешние ссылки можно таким образом сохранять, обеспечивая их доступность в будущем. Технически: после внешней ссылки в скобках ставится ссылка (лучше две, для двух разных веб-архивов; или больше) архивная. Подобный метод частично применяется в Википедии для внешних ссылок (частично - лишь для некоторых ссылок и в некоторых статьях).

2) Материалы собственно форума (темы, etc) можно также сохранять в одном или нескольких веб-архивах. Подобный метод частично применяется на habrahabr.ru, все темы которого сохраняются в веб-архиве (частично - только при опубликовании, без последующих комментариев): http://archive.is/habrahabr.ru/* -- сохранена почти тридцать одна тысяча тем на сегодня.

Веб-архив http://wayback.archive.org/ работает с 1996 года, сохранён уже 391 миллиард веб-страниц. Где всё это хранится? А вот где: http://archive.org/web/petabox.php

Веб-архив http://archive.is/ работает всего несколько лет, "из новых", однако, успешно сохраняет некоторые страницы, которые отказывается сохранять wayback.archive.org (для специалистов: дело в разной обработке robots.txt), а также разворачивает все комментарии в livejournal.com, что очевидно крайне удобно, также есть другие удобные возможности для пользователей-не-специалистов.

Необходимую дополнительную информацию специалисты (реализовывать же им в конечном счёте) найдут и сами (ведь это моё сообщение - не справочник, а лишь предложение-подсказка).

В качестве "бонуса" приведу две технические ссылки для сохранения второй страницы этой темы в каждом из упомянутых веб-архивов. Переход по ссылке означает автоматическое сохранение страницы на момент перехода (можно и несколько раз сохранять, что удобно, если есть правки сообщений), больше ничего делать не нужно.

http://wayback.archive.org/save/http://www.classicalforum.ru/index.php/topic,9353.15.html

http://archive.is/?run=1&url=http://www.classicalforum.ru/index.php/topic,9353.15.html

(Очевидным образом эти ссылки могут быть изменены при желании сохранить другие веб-страницы.)

P.S. Что уже сохранено в упомянутых веб-архивах для classicalforum.ru:

http://wayback.archive.org/web/*/http://www.classicalforum.ru/*

http://archive.is/www.classicalforum.ru/*

P.P.S. Я писал некогда об одном из веб-архивов (в одном из обсуждений упоминается и другой-третий веб-архив):

http://intoclassics.net/forum/12-4424-1

http://old-dos.ru/index.php?page=news&do=show&id=366

[Predlogoff]

Да, вопрос сохранения информации нужно на всякий случай провентилировать, потому что неизвестно, что будет дальше.
Как говорят современные специалисты в области технологий электронной коммуникации, форумы своё отжили, и теперь их место занимают социальные сети. Вопрос, конечно, интересный!  Можно обсудить, так ли это, но не подлежит сомнению то обстоятельство, что свой форум при тематическом ресурсе позволяет КОНЦЕНТРИРОВАТЬ тематическую информацию. В этом плане социальные сети с форумами при конкретных ресурсах конкурировать не могут: на таких форумах, как наш, всегда будет СВОЯ публика и СВОИ особенности, СВОИ данные, не распылённые в социальных сетях. Но, конечно, мы работаем с опорой на социальные сети, в которых изыскиваем интересную информацию, концентрируя и обсуждая её здесь у нас.
Что скажете по этому поводу, коллеги?

[Predlogoff]

Материалы собственно форума (темы, etc) можно также сохранять в одном или нескольких веб-архивах

А что будет при развёртывании этого архива? Вообще-то, сохранение форума мыслится как сохранение его структуры и сохранение текстовой информации, но уже не в активном виде, а в статичном, в котором хранятся и доступны по своей ссылке любые "неподвижные" сайты, пополняемые не посетителями, а администраторами.
Реально ли развернуть такую структуру без конвертации исходных данных в другой вид?

[SergeCpp]

WayBack позволяет ходить по сохраненному форуму, проверьте сами. Я - так много уже проверял и для самых разных ресурсов.

http://wayback.archive.org/web/20131203071135/http://www.classicalforum.ru/

[Predlogoff]

WayBack позволяет ходить по сохраненному форуму, проверьте сами. Я - так много уже проверял и для самых разных ресурсов.

http://wayback.archive.org/web/20131203071135/http://www.classicalforum.ru/

Да, но ведь эта информация будет лежать не у нас на сайте, а где-то на стороне?

[Predlogoff]

К тому же у меня не получается там ходить:

Hrm.
Wayback Machine doesn't have that page archived.

[SergeCpp]

1. В этом и смысл сохранения и резервирования - многократное распределение информации по множеству мест. Что случись в том месте, где сервер форума - ясно, что должны быть на этот случай местные копии, но если и они? Если владелец форума (как и b3 некогда) решит "всё поудалять"? Уже сейчас в веб-архиве есть сайты, которые уже закрыты владельцами.

2. Ну, это как-то несолидно: от вас - администратора, да получать описание ошибки вида "на деревню дедушке". Ясно, что "не всё" сохранено "сторонними силами", они же обзором занимаются. А кому нужно точно и всё - тот прилагает уже собственные усилия. Достаточную для этого информацию я предоставил. Посмотрите пример с habrahabr.ru - сами же сохраняют.

3. Крайне жаль, что во "времена b3" никто не озаботился сохранением, ведь архив тогда уже работал. А то, читая архивы Классики, постоянно встречаешь удалённое, по окружению которого видно, что b3 писал. Вот зачем вы удаляли?.. Почему?..

[Predlogoff]

1. В этом и смысл сохранения и резервирования - многократное распределение информации по множеству мест. Что случись в том месте, где сервер форума - ясно, что должны быть на этот случай местные копии, но если и они?

Мы сохраняем, просто так не слетит.

читая архивы Классики, постоянно встречаешь удалённое, по окружению которого видно, что b3 писал. Вот зачем вы удаляли?.. Почему?..

Я устал объяснять, что ничего интересного там не было, просто трёп. К тому же администрация того форума прошляпила тот момент, что можно было удалять сообщения какой угодно давности. В дальнейшем они это учли, и у нас это тоже учтено.

Ясно, что "не всё" сохранено "сторонними силами", они же обзором занимаются. А кому нужно точно и всё - тот прилагает уже собственные усилия

Да я готов приложить собственные усилия, но какие? Сохранять на стороне - это тоже смешно.
Хранить нужно у себя, причём, в виде сайта.
То, что вы показываете, интересно, но можно ли пользоваться этим по своему усмотрению?
И, кстати, там не могут быть видны те разделы, которые были видны лишь зарегистрированным пользователям.
Я прошу вас объяснить своими словами:
1) какое ПО годится для свёртки форума?
2) есть ли открытое ПО для этого?
3) как сворачивать и в каком виде хранить?
4) существуют ли конвертеры, позволяющие сохранить информацию и структуру форума в статичном виде в форме обычного сайта?

[Predlogoff]

от вас - администратора, да получать описание ошибки вида "на деревню дедушке"

Если бы там было что-то ещё, я бы не преминул поделиться!

[Predlogoff]

Коллеги!
Я обращаюсь ко всем читающим это.
Что вы думаете по поводу судьбы форумов и социальных сетей? Быть может, социальные сети и впрямь более надёжны и более удобны для обсуждения текущей музыкальной жизни?
Прошу вас высказаться. Я свою точку зрения изложил выше.

[SergeCpp]

от вас - администратора, да получать описание ошибки вида "на деревню дедушке"

Если бы там было что-то ещё, я бы не преминул поделиться!

 Так вы же не сказали самого главного и очевидно нужного - каков точный и конкретный адрес нерабочей ссылки. Прямо же я намекнул - на деревню дедушке - адрес.

Сейчас на остальное отвечу.

[SergeCpp]

1. В этом и смысл сохранения и резервирования - многократное распределение информации по множеству мест. Что случись в том месте, где сервер форума - ясно, что должны быть на этот случай местные копии, но если и они?

Мы сохраняем, просто так не слетит.

Это хорошо, так и нужно. Внешний же архив нужен - если вдруг владелец решит удалить-закрыть или ещё какие форс-мажорные причины. Повторяю, есть уже огромные сайты, оставшиеся только в веб-архиве.

читая архивы Классики, постоянно встречаешь удалённое, по окружению которого видно, что b3 писал. Вот зачем вы удаляли?.. Почему?..

Я устал объяснять, что ничего интересного там не было, просто трёп. К тому же администрация того форума прошляпила тот момент, что можно было удалять сообщения какой угодно давности. В дальнейшем они это учли, и у нас это тоже учтено.

Вот автоматический веб-архив и гарантирует дополнительную надёжность. Автоматический не сам по себе, конечно. На habrahabr сделали вот.

Ясно, что "не всё" сохранено "сторонними силами", они же обзором занимаются. А кому нужно точно и всё - тот прилагает уже собственные усилия

Да я готов приложить собственные усилия, но какие? Сохранять на стороне - это тоже смешно.
Хранить нужно у себя, причём, в виде сайта.
То, что вы показываете, интересно, но можно ли пользоваться этим по своему усмотрению?
И, кстати, там не могут быть видны те разделы, которые были видны лишь зарегистрированным пользователям.
Я прошу вас объяснить своими словами:
1) какое ПО годится для свёртки форума?
2) есть ли открытое ПО для этого?
3) как сворачивать и в каком виде хранить?
4) существуют ли конвертеры, позволяющие сохранить информацию и структуру форума в статичном виде в форме обычного сайта?

Хранить у себя в виде сайта - элементарно. Просите технического специалиста форума (он же очевидно есть) развернуть у вас дома локальную копию форума. Время-от-времени обновляете, или, даже, автоматически так можно. Я-то думал - для всех. Если нужно всем - тут уже вам, администраторам, решать, кому можно такую копию ставить, так как там, если не принимать мер, будут и все личные сообщения.

Можно (для "вообще всех") и попросту попробовать скачать весь форум тем же wget или teleport. Я такого не делал, но знаю, что возможно.

[SergeCpp]

Кстати, форум программистов rsdn.ru к своему журналу, выходящему несколько раз в год (это я рассказываю, как было раньше, а как там сейчас - не знаю) прилагал диск дивиди, где, кроме прочего, была и локальная копия форума для просмотра на компьютере.

Повторить такое, конечно, сложно очень, но вот, к сведению. Адрес форума я дал, ваши специалисты могут разузнать детали.

Просто скопировать их решение не выйдет - там особая структура форума.

Просто упоминаю как факт, что такое (локальная копия форума для любого) уже реализовано.

[SergeCpp]

Коллеги!
Я обращаюсь ко всем читающим это.
Что вы думаете по поводу судьбы форумов и социальных сетей? Быть может, социальные сети и впрямь более надёжны и более удобны для обсуждения текущей музыкальной жизни?
Прошу вас высказаться. Я свою точку зрения изложил выше.

А как обсуждалась текущая музыкальная жизнь 50 лет назад? 100? 200? 300?

Форумы, конечно, хороши, но ведь нас же никто не спросит - позакрывают все форумы или преобразуют их во что-то новое. Мы же не решим ничего. Лишь бы сохранить. На веб-архивы надежда большая, тем более, что они ведь обмениваются информацией, или, по крайней мере, такие разговоры ведутся - читаю о подобном то тут, то там.

Главное же - кто пишет, а формат - дело последнее. А вот этих "кто" - всё меньше. На классике при 100-500 членах было ого-го! Зуб! А при нынешних 100 тысячах - кто? Где Зуб?.. Вот так и везде. Те же форумы (не один!) программистов - идентичная ситуация.

[Вольфрам]

Коллеги!
Я обращаюсь ко всем читающим это.
Что вы думаете по поводу судьбы форумов и социальных сетей? Быть может, социальные сети и впрямь более надёжны и более удобны для обсуждения текущей музыкальной жизни?
Прошу вас высказаться. Я свою точку зрения изложил выше.

На мой взгляд, любую конкретную тематику (как классическую музыку, так и что угодно другое, например, прошивка андроид-планшетов или фотографирование, в частности, на камеры какой-то одной определённой марки) нужно обсуждать именно на форумах, а не в социальных сетях. Нежелательно, чтобы участие в обсуждение какой-то конкретной тематики требовало регистрации во всей социальной сети, кроме того, форумы читать проще даже незарегистрированным пользователям, и для них гораздо больше подходят развёрнутые отзывы, а в сообществах часть информации может оказаться закрытой. На форумах удобнее размещать большие объёмы информации, а не просто переписываться.

[Predlogoff]

Так вы же не сказали самого главного и очевидно нужного - каков точный и конкретный адрес нерабочей ссылки. Прямо же я намекнул - на деревню дедушке - адрес

Начиная с Новостей, ни один раздел не открывается и ни один поток - тоже.

[SergeCpp]

Попробуйте по другим ссылкам походить, я давал в первом сообщении общую ссылку:

http://wayback.archive.org/web/*/http://www.classicalforum.ru/*

[SergeCpp]

Кстати, форум программистов rsdn.ru к своему журналу, выходящему несколько раз в год (это я рассказываю, как было раньше, а как там сейчас - не знаю) прилагал диск дивиди, где, кроме прочего, была и локальная копия форума для просмотра на компьютере.

Повторить такое, конечно, сложно очень, но вот, к сведению. Адрес форума я дал, ваши специалисты могут разузнать детали.

Просто скопировать их решение не выйдет - там особая структура форума.

Просто упоминаю как факт, что такое (локальная копия форума для любого) уже реализовано.

Нашёл: RSDN Offline - смотрите, пробуйте, исследуйте.

[SergeCpp]

А вот и программка для копирования форумов или сайтов целиком себе на компьютер: http://www.httrack.com/

Собственно, это и есть решение проблемы.

[Predlogoff]

А вот и программка для копирования форумов или сайтов целиком себе на компьютер: http://www.httrack.com/

Собственно, это и есть решение проблемы.

Проблемы чего?
Сохранить себе - это одно, а разместить на сайте, чтобы было доступно всем, кто хочет почитать этот архив - это другое.

[SergeCpp]

1. Сохраняете себе на компьютер.

2. Архивируете всё сохраненное (один каталог с тучей файлов) в файл-архив.

3. Заливаете на Яндекс / Мейл / etc.

4. Помещаeте полученную ссылку в тему форума или даёте эту ссылку жирно красным на всех страницах форума вверху (возможности админа такое, думаю, позволяют).

Всё. Проблема решена. Любой может скачать, разархивировать, запустить.

[Predlogoff]

Всё. Проблема решена. Любой может скачать, разархивировать, запустить.

Наперёд вижу, что этим никто заниматься не станет. Нужно, чтобы форум в каком-то виде был доступен на чтение, как сейчас, но представлял бы не пополняемый форум, а статичный сайт с той же или идейно схожей структурой.

[SergeCpp]

Всё. Проблема решена. Любой может скачать, разархивировать, запустить.

Наперёд вижу, что этим никто заниматься не станет. Нужно, чтобы форум в каком-то виде был доступен на чтение, как сейчас, но представлял бы не пополняемый форум, а статичный сайт с той же или идейно схожей структурой.

В таком случае пункты 2 и 3 заменяются на пункт 2-3 следующего содержания:

2-3. Заливаете всё сохранённое на сайт. Можно и на classicalforum, например, в подкаталог classicalforum/archive. Если classicalforum закрывается совсем, то - на любой другой сайт-хостинг.
http://ru.wikipedia.org/wiki/Хостинг

Кому действительно нужно - займется (возможно, попросит помощи специалистов).

Проблемы - нет.

[Predlogoff]

А вы уверены, что мы, один раз свернув, никогда не будем зависеть от этого или какого-то другого программного обеспечения? Я не очень понимаю принцип этой свёртки. Результат её что же - программно-независимый?
Мне нужно будет поговорить со специалистами.

[SergeCpp]

Не свернув, а скачав - на сайте программы всё же описано и документация есть.

Со специалистами поговорите, конечно.

[SergeCpp]

Вот и на форуме simplemachines.org (на этом движке работает classicalforum) советуют эту программку: http://www.simplemachines.org/community/index.php?topic=446835.0 -- причём советует не "абы кто", а Lead Support Specialist и SMF Master (Reply #5).

[SergeCpp]

Вот ещё три подобные нашей темы на том же главном форуме движка, и во всех - упоминается httrack:

http://www.simplemachines.org/community/index.php?topic=2169.0
http://www.simplemachines.org/community/index.php?topic=236280.0
http://www.simplemachines.org/community/index.php?topic=385462.0