Требуются добровольцы или "помоги себе сам":)

Опубликовано ср, 24/02/2010 - 11:24 пользователем Tanja45

Родина-мать Либрусек зовет!
Требуются добровольцы для отслеживания наполнения библиотеки.
Как совершенно справедливо заметили niksi, wotti и Lord KiRon в этой теме http://www.flibusta.net/node/63071, само ничего не делается. Только библиотекари не успевают уследить за всем. Поэтому нужны энтузиасты для отслеживания и заливки книг, появившихся на Флибусте, но не залитых на Либрусек. Нужен не один человек, а несколько: все работают, все заняты и одному это не потянуть. В этой теме можно писать и про разово вдруг замеченные книги на Флибусте, но отсутствующие на Либрусеке.

На призыв niksi и wottiуже откликнулись Миррима и Forcosigan, они же и являются здесь на Либрусеке координаторами этих работ.

Присоединяйтесь.

Лично я заливаю в обе библиотеки. Я искренне и необоримо считаю, что все книги должны быть и на Либрусеке и на Флибусте, потому что книги - это главное. И чем больше сайтов, на которые они будут залиты, тем больше читателей получат к ним доступ. Загнобят один - будут на другом. И поэтому уверена, что группа "синхронизаторов" должна быть одна, общая для обеих библиотек. Так значительно легче и эффективней работать.

Если Вы нашили недостающие книги, но не можете их залить - дайте здесь на них ссылки, их непременно зальют.

Комментарии

Аватар пользователя Mylnicoff

Опубликовано пт, 26/02/2010 - 08:49 пользователем Mylnicoff

impankratov написал:
1. То-есть, книги будут залиты как минимум в двух экземплярах? Причем различных только двумя символами в дополнительных полях?

Так почему в двух-то? Тот же один экземпляр, только с пометкой (Ф), если он залит сюда с Флибусты. Или с пометкой (Ф\Л), если он параллельно заливался в обе библиотеки. Чтоб тем, кто сверяет, легче было. А пометки я уберу этой ночью. И последующими.

Опубликовано пт, 26/02/2010 - 09:12 пользователем impankratov

Mylnicoff написал:
Так почему в двух-то? Тот же один экземпляр, только с пометкой (Ф), если он залит сюда с Флибусты. Или с пометкой (Ф\Л), если он параллельно заливался в обе библиотеки. Чтоб тем, кто сверяет, легче было. А пометки я уберу этой ночью. И последующими.

Вроде основная идея библиотеки - НИЧЕГО НЕЛЬЗЯ УДАЛИТЬ. Эначит, книги так и будут место на сервере занимать плюс лишние эаписи в базе даннных на случай отката.
Аватар пользователя Mylnicoff

Опубликовано пт, 26/02/2010 - 10:18 пользователем Mylnicoff

impankratov написал:
Mylnicoff написал:
Так почему в двух-то? Тот же один экземпляр, только с пометкой (Ф), если он залит сюда с Флибусты. Или с пометкой (Ф\Л), если он параллельно заливался в обе библиотеки. Чтоб тем, кто сверяет, легче было. А пометки я уберу этой ночью. И последующими.

Вроде основная идея библиотеки - НИЧЕГО НЕЛЬЗЯ УДАЛИТЬ. Эначит, книги так и будут место на сервере занимать плюс лишние эаписи в базе даннных на случай отката.

(устало) Так мы сюда будем закачивать то, чего у нас нет...

Опубликовано пт, 26/02/2010 - 10:51 пользователем impankratov

Упс. Понял, что имеется в виду поле не в файле, а на сайте.

Опубликовано пт, 26/02/2010 - 08:18 пользователем Quae

Может при добавлении книги сразу указывать "источник"?

Чтобы можно было вписать там откуда книжка: сделана самостоятельно, либо взята с сайта - самиздата, литреса, флибусты и т.д.

Опубликовано пт, 26/02/2010 - 08:35 пользователем golma1

Quae написал:
Может при добавлении книги сразу указывать "источник"?
Чтобы можно было вписать там откуда книжка: сделана самостоятельно, либо взята с сайта - самиздата, литреса, флибусты и т.д.

Эта информация содержится, как правило, в дескрипторе.
Здесь же речь идёт только о том, чтобы облегчить работу добровольцам, следящим за синхронизацией библиотек. Если Вы заливаете в обе библиотеки, ставьте в поле "доп. инф." метку Л/Ф. Тогда будет видно, что эти книги можно не отслеживать в новых поступлениях.
Эти рабочие пометки потом убираются.

Опубликовано пт, 26/02/2010 - 09:47 пользователем analist

Люди! Зачем все так жутко усложнять? Зачем решать чисто программные, технические задачи административными методами? Это как автоматизировать банк, поставив 1000 счетов.

Делаем 1. На некоторый хорошо защищенный удобный ресурс (любой из библиотек или посторонний) ставим серверную часть CVS.
Делаем 2. Согласовываем систему директорий.
Делаем 3. Ставим на файловую систему каждой из библиотек клиентскую версия CVS.
Делаем 4. Из каждой библиотеки коммитим разницу - недостающие файлы добавляются, исправления берутся из последних версий автоматически.

Это 1 день работы администратора ресурса. Зуб даю. И обе библиотеки будут у вас синхронизированы всегда, автоматически, без героических усилий добровольцев.

Опубликовано пт, 26/02/2010 - 10:28 пользователем locksmith

Впечатляет. Только учтите, что владельцы библиотек не собираются обеспечивать автоматическую синхронизацию по тем или иным причинам.

Опубликовано пт, 26/02/2010 - 10:38 пользователем analist

Никаких проблем.
Оставляете синхронизацию - сам момент коммита - ручной операцией. Так даже проще.

Опубликовано пт, 26/02/2010 - 11:28 пользователем locksmith

? А сколько пунктов из ваших четырех возможно выполнить без разрешения и участия владельцев?

Опубликовано пт, 26/02/2010 - 13:48 пользователем Illarion

CVS это конечно хорошая идея, но кроме того, что владельцы и того и другого сайта по тем или иным причинам, могут не одобрить эту идею, надо учитывать что:

(1) Кто и как будет делать загрузку (commit) книги в CVS? У многих ли пользователей библиотеки стоит клиентская часть CVS? Или возложим эту обязанность на Библиотекарей (снабдив их клиентом CVS и лишней головной болью)?

(2) CVS не очень хорошо работает с двоичными файлами (всякие там PDF, DOC и прочие DJVU).

Хотя вторую проблему можно решить, если поставить SVN, но вот что делать с первой - и самое главное - с нежеланием владельцев сайтов тратить на это время?

Может быть, имеет смысл написать "небольшой" скрипт, который будет вытягивать страницу новых поступлений с той и другой библиотеки, сравнивать страницы и перетягивать файлы отсутствующие в одной библиотеке в другую? Разместить этот скрипт на каком-либо постороннем сервере и запускать его один раз в час - тогда библиотеки будут синхронизированы с точностью до одного часа. Технически это сделать вполне возможно, работы на 3-5 дней.

Аватар пользователя Миррима

Опубликовано пт, 26/02/2010 - 13:52 пользователем Миррима

Ну, так может, кто-то из технически грамотных возьмется? Хоть и Вы?

Опубликовано пт, 26/02/2010 - 17:00 пользователем Illarion

Есть несколько моментов, которые хотелось бы разяснить прежде чем начинать делать эту работу:

1. Организационный. Устраивает ли такой подход Библиотекарей? Как люди намного более опытные в обслуживании библиотеки, видят ли они здесь какие-либо трудности, скользкие места и ловушки?

2. Технический. Потенциальные гонки: предположим некто кладет книгу на сайт L, через 5 сек. после этого запускается наш синхронизатор и книга переписывается на сайт F, еще через 5 секунд тот же некто, не подозревая об этом, кладет ту же книгу на сайт F. В результате, одна и та же книга дублируется на сайте F. Будет ли это приемлемо?

3. Организационный. Сможет ли кто-то, желательно из Библиотекарей, предоставить свой компьютер для выполнения этой программки? Нужен будет постоянно включенный компьютер, OS Linux/FreeBSD, unlimited trafic, установка нескольких модулей CPAN (инструкции по установке я предоставлю).

4. Организационный. В программе надо будет прописать login/password позволяющие вытягивать книги с lib.rus.ec и c flibusta.net. Сможет ли кто-то из библиотекарей "пожертвовать" эти данные?

5. Сроки. Когда я говорил, что такую программу можно сделать за 5 дней, я предполагал, что это 5 дней по 8 часов/день. С учетом текущей занятости, отпусков и прочих привходящих обстоятельств, это может растянуться на 1-2 месяца. Не умрет ли за это время проект синхронизации библиотек? Будет ли к тому времени эта программа нужна кому-либо кроме автора?

Аватар пользователя Миррима

Опубликовано пт, 26/02/2010 - 17:14 пользователем Миррима

Сугубо по п.2

Цитата:
книга дублируется на сайте F. Будет ли это приемлемо?

В этом случае автомат заливальщику скажет: "Такая книга уже есть".
А если движение будет в обратном порядке - сначала на Ф., потом на Л. - то при такой системе заливальщик еще и теряет свой бонус здесь (возможно, необходимый ему).
ИМХО, главная задача - чтобы книги, залитые кем-то только в одну библиотеку, не прошли мимо другой.
ЗЫ. По п.5
Будут жить библиотеки - будет стоять и вопрос синхронизации. Если сильно повезет (надежды, надежды...), глядишь, и третья появится...:)

Опубликовано пт, 26/02/2010 - 17:26 пользователем Illarion

Спасибо за Ваш комментарий. На выходных я подумаю насчет реализации этой задачи. Хорошо было-бы услышать мнения и здоровую критику и Библиотекарей и остальных пользователей.

Аватар пользователя Mylnicoff

Опубликовано пт, 26/02/2010 - 18:22 пользователем Mylnicoff

Illarion написал:
4. Организационный. В программе надо будет прописать login/password позволяющие вытягивать книги с lib.rus.ec и c flibusta.net. Сможет ли кто-то из библиотекарей "пожертвовать" эти данные?

На Либрусеке можно создать юзера с неограниченным доступом ко всем книгам. Это наверняка может сделать Ларин, если поддержит начинание. На Флибусте и так у всех доступ ко всему контенту - просто зарегистрировать этого юзера там.

Опубликовано сб, 27/02/2010 - 03:33 пользователем golma1

Mylnicoff написал:

На Либрусеке можно создать юзера с неограниченным доступом ко всем книгам. Это наверняка может сделать Ларин, если поддержит начинание. На Флибусте и так у всех доступ ко всему контенту - просто зарегистрировать этого юзера там.

На Либрусеке есть библиотекари, которые остались библиотекарями номинально, и масса пользователей, имеющих неограниченный доступ хотя бы за счёт своих прошлых пожертвований. Среди них - идейные противники коммерциализации.
По-моему, они не должны возражать против использования своих аккаунтов для такой цели. Почему бы не кинуть клич на Флибусте, где эта тема тоже обсуждается?

Вопрос, собственно, к Illarion .

Опубликовано сб, 27/02/2010 - 14:33 пользователем Illarion

Спасибо golma1 за Ваш комментарий - я рад, что Вы откликнулись. Наверное, если "бросить клич" то кто-то своими паролями/логинами пожертвует, может не сразу, но пожертвует. Этот момент, наверное, решить как-то можно. Хотелось бы услышать отзывы и по остальным пунктам.

И еще вопрос: если первая версия программы (назовем ее ALPHA) будет при каждом прогоне выдавать список книг закачанных за последний час (два часа, три часа, сутки) на L но не на F и список закачанного на F но не на L причем с разбивкой по жанрам и отсылкой этого списка всем заинтересованным лицам по email, поможет-ли это тем кто уже взялся синхронизировать библиотеки? Извините, я наверное, коряво сформулировал (этот чукча - не писатель!), если не ясно - давайте обсуждать. Просто, написать такую, "сравнивающую" версию, много проще чем синхронизирующую и времени это потребует много меньше.

Аватар пользователя Миррима

Опубликовано сб, 27/02/2010 - 14:53 пользователем Миррима

Illarion написал:
Спасибо golma1 за Ваш комментарий - я рад, что Вы откликнулись. Наверное, если "бросить клич" то кто-то своими паролями/логинами пожертвует, может не сразу, но пожертвует. Этот момент, наверное, решить как-то можно. Хотелось бы услышать отзывы и по остальным пунктам.

И еще вопрос: если первая версия программы (назовем ее ALPHA) будет при каждом прогоне выдавать список книг закачанных за последний час (два часа, три часа, сутки) на L но не на F и список закачанного на F но не на L причем с разбивкой по жанрам и отсылкой этого списка всем заинтересованным лицам по email, поможет-ли это тем кто уже взялся синхронизировать библиотеки? Извините, я наверное, коряво сформулировал (этот чукча - не писатель!), если не ясно - давайте обсуждать. Просто, написать такую, "сравнивающую" версию, много проще чем синхронизирующую и времени это потребует много меньше.


Извините, что снова вмешиваюсь, но не слишком ли много "долбежу" с мылом будет? Да и "лица" меняться могут. Вот если бы некий отдельный "закуток", куда все это скидывается, а уж заинтересованные туда заглядывают... А?

Опубликовано сб, 27/02/2010 - 15:49 пользователем Illarion

миррима написал:

Извините, что снова вмешиваюсь, но не слишком ли много "долбежу" с мылом будет? Да и "лица" меняться могут. Вот если бы некий отдельный "закуток", куда все это скидывается, а уж заинтересованные туда заглядывают... А?

Отнюдь - ни о каком "вмешательсте" не может быть и речи, ведь на основе Ваших комментариев формулируются требования к этой программе. Насчет "долбежу" с мылом" - технически, много проще послать email нежели сделать отдельный "закуток", ведь для "закутка" понадобится сервер 24/7, права доступа, более-менее читаемые страницы и т.д., а сформировать и отослать несколько писем я могу и со своей домашней машины. Кроме того, для того чтобы "заинтересованные" могли "заглянуть" в "закуток", им придется открыть окно в браузере, набрать URL, а потом уже читать что там понаписано. С email возни много меньше - оно к Вам пришло, когда Вам удобно Вы его читаете и перегоняете книги с одного сайта на другой. Можно даже сделать так, чтобы каждый Библиотекарь получал только список книг в "своем" жанре и не отвлекался на "чужие". Если "лица" будут меняться, то и поменять адреса рассылки в программе будет нетрудно - главное, чтобы "лица" сообщали о своих перемещениях.

Пока что надо решить, имеет ли смысл делать такую "укороченную" версию, поможет ли это или не стоит ломать копья и думать сразу об автоматической синхронизации?

Опубликовано сб, 27/02/2010 - 15:52 пользователем oldvagrant

Illarion написал:
Спасибо golma1 за Ваш комментарий - я рад, что Вы откликнулись. Наверное, если "бросить клич" то кто-то своими паролями/логинами пожертвует, может не сразу, но пожертвует. Этот момент, наверное, решить как-то можно. Хотелось бы услышать отзывы и по остальным пунктам....
Ну, я могу пожертвовать. В общественную собственность.

Мой запасной логин со свободным скачиванием - bitstream
Его пароль - хм... В личку отправил Illarion, golma1, миррима. Думаю, если пригодится, дальше люди сами обменяются.

Можете и распубликовать, но это, наверное, чревато.

PS На Флибусте - то же самое.

Опубликовано сб, 27/02/2010 - 16:27 пользователем Illarion

Спасибо, oldvagrant, получил Ваше сообщение, пароль сохраню, публиковать его, разумеется, не надо, ни к чему это. До паролей, пока еще далеко, пока речь идет просто о формировании списка отличий F и L. К сожалению, программы пишутся не так быстро, как хотелось бы, а хорошие программы пишутся еще дольше :).

Опубликовано вс, 28/02/2010 - 13:11 пользователем oldvagrant

Illarion написал:
... К сожалению, программы пишутся не так быстро, как хотелось бы, а хорошие программы пишутся еще дольше :).
Ну, хоть какая-то программа лучше никакой. Так что не увлекайтесь перфекционизмом.:)

Опубликовано сб, 27/02/2010 - 17:23 пользователем aina

Невозможно дважды залить один и тот же файл.

В случае fb2 у него будет та же самая версия, в случае не fb2 тот же самый md5 (может и для fb2 он проверяется, кто знает).

Опубликовано пт, 26/02/2010 - 10:56 пользователем wotti

Цитата:
Заменяете закачанный файл на новую версию без пометки.

Не не так! Ну как вы не поймёте! Вы наверное ни разу не заливали?. Пометку ставим в поле дополнительная информ. Потом Мыльников просто уберёт пометку. Файл тот же!

Опубликовано пт, 26/02/2010 - 11:05 пользователем analist

Все я понимаю.
Вы предлагаете вручную ставить метки, которые потом проверяющий глазами отследит и вручную удалит.

Я предлагаю поставить систему контроля версий и никогда ничего вручную не делать.

Опубликовано пт, 26/02/2010 - 14:49 пользователем jok43

А вот кому хорошую ссылку на СИ?)
Просто почему то у меня при конвертации комп. читает иконвертирует нормально. А при попытке отправить файл, ответ неизвестный формат...
А есть куча хрошего фентези...
киньте адрес кому интересно
Пример: http://zhurnal.lib.ru/editors/n/nesterow_andrej_nikolaewich/trudnobytxserzhantom.shtml
ЛЮБИТЕ ШВЕЙКА? НАСЛАЖДАЙТЕСЬ!)

Опубликовано сб, 27/02/2010 - 05:54 пользователем XtraVert

Сделал - http://lib.rus.ec/b/188112
....Обращайся если что..Кстати, что там за "куча фэнтэзи"?

Опубликовано сб, 27/02/2010 - 10:20 пользователем jok43

спасибо...))
попадается разное, скидываю ссылки:
http://zhurnal.lib.ru/s/sej_p_s/
http://zhurnal.lib.ru/a/andreew_aleksandr_wasilxewich/alxtfekon.shtml
http://zhurnal.lib.ru/a/aleksandr_sergeew/http://zhurnal.lib.ru/a/aleksandr_sergeew/
http://zhurnal.lib.ru/d/dawydenko_s/elt_nb.shtml

Опубликовано пт, 26/02/2010 - 15:53 пользователем Дейдре

мне подходит понедельник и суббота.

Опубликовано пт, 26/02/2010 - 16:01 пользователем wotti

Дейдре Вы личку смотрели?

Опубликовано сб, 27/02/2010 - 15:43 пользователем wotti

Любой общий почтовый ящик с общим паролем и логином

Аватар пользователя Миррима

Опубликовано вс, 28/02/2010 - 07:44 пользователем Миррима

Проект "Синхронизация" официально объявляется закрытым по причине полной бесперспективности.

Опубликовано вс, 28/02/2010 - 08:09 пользователем x2d9cvb

От себя добавлю спасибо всем, кто откликнулся на просьбы.
Illarion, всё-таки было бы неплохо если бы Вы дописали свой скрипт))

Всем спасибо и до свиданья.

Опубликовано вс, 28/02/2010 - 13:40 пользователем Illarion

Действительно, очень жаль, что проект умер... но что делать, видно "великие начинания, вознесшиеся мощно..." и остается порадоваться, что на проект было потрачено еще не слишком много времени и усилий.

Forcosigan написал:
...Illarion, всё-таки было бы неплохо если бы Вы дописали свой скрипт))

Версию ALPHA (сравнение и выдача различий в поступлениях на F и L - см. выше) писать все равно придется, поскольку сам в ней заинтересован (уж очень много времени уходит на прсмотр новинок на двух сайтах). К сожалению, не могу сказать сколько времени это может занять - кроме того, что я ленив, есть еще и работа, которую - хотя бы иногда, но надо работать. Когда ALPHA будет написана, я могу известить всех заинтересованных и всех желающих могу включить в список рассылки результатов работы программы. Если к продолжению проекта будет какой-то "общественный интерес", то потом можно будет добавить и автоматическую синхронизацию библиотек. Всех заинтересованных в версии ALPHA прошу черкнуть мне личное сообщение - чтобы я знал кому демонстрировать результаты и кому потом слать списки рассогласований.

Может быть я чего-то не учитываю, но мне кажется, что имея суточный список рассогласований F и L с ссылками на книги отсортированными по жанрам, синхронизировать обе библиотеки вручную особого труда уже не составит и это можно будет делать силами одного-двух-трех человек.

Forcosigan написал:
Всем спасибо и до свиданья.

Надеюсь, что это все-таки "до свиданья", а не "прощай".
Аватар пользователя Миррима

Опубликовано вс, 28/02/2010 - 13:48 пользователем Миррима

Цитата:
имея суточный список рассогласований F и L с ссылками на книги отсортированными по жанрам, синхронизировать обе библиотеки вручную особого труда уже не составит и это можно будет делать силами одного-двух-трех человек.

Вы абсолютно правы.
Мы подождем. :)

Опубликовано вс, 28/02/2010 - 15:00 пользователем Illarion

миррима написал:
...Вы абсолютно правы.
Мы подождем. :)

Спасибо, миррима - такие отзывы вызывают желание работать.

Опубликовано пн, 01/03/2010 - 11:12 пользователем Tanja45

Illarion написал:
миррима написал:
...Вы абсолютно правы.
Мы подождем. :)

Спасибо, миррима - такие отзывы вызывают желание работать.

Господи, благодарю тебя - все-таки есть люди, у которых возникает желание работать! Спасибо, Illarion, вы придумали очень хорошую штуку. Просто спасительную.
Аватар пользователя Isais

Опубликовано вс, 28/02/2010 - 13:54 пользователем Isais

А для простоты и открытости можете открыть тему в своем блоге и постить эти списки там. Если, конечно, не сочтете такие сведения секретными.

Опубликовано вс, 28/02/2010 - 15:07 пользователем Illarion

Isais написал:
А для простоты и открытости можете открыть тему в своем блоге и постить эти списки там. Если, конечно, не сочтете такие сведения секретными.

Конечно, это списки не секретные. Пока что я планирую, что версия ALPHA будет работать у меня дома и списки согласований я буду получать по email. Добавить в список рассылки еще 5-10-100-200 адресатов будет много проще, чем каждодневно копировать эти списки в блоге. Если у кого-то из заинтересованых найдется кусочек места на хостинге (требования - см. выше), то сделать на основе ALPHA небольшой сайт со списками рассогласований труда большого не составит.
Аватар пользователя Isais

Опубликовано пн, 01/03/2010 - 07:51 пользователем Isais

Illarion написал:
Если у кого-то из заинтересованых найдется кусочек места на хостинге (требования - см. выше), то сделать на основе ALPHA небольшой сайт со списками рассогласований труда большого не составит.
*вполголоса* Просите место у Стивера.

Опубликовано вс, 28/02/2010 - 08:28 пользователем wotti

Да, прискорбно, что те кому этот проект был нужен гораздо больше, не откликнулись и полностью отвергли идею сближения... Очень жалко..... очень...
Forcosigan и Миррима ГРОМАДНОЕ вам спасибо!!!. Для тех, кто не знает .Все эти дни они вдвоём пытались сделать работу, для которой нужно как минимум 10 человек. И справлялись, работая, как каторжные. Остальные оказались горазды только трепать языком.
Forcosigan и Миррима - респект!
Illarion и Дейдре - и вам спасибо от души за желание помочь!

Аватар пользователя Миррима

Опубликовано вс, 28/02/2010 - 08:29 пользователем Миррима

Спасибо за добрые слова, дружище.
Жаль, что все оказалось напрасно.
Но сейчас я как минимум знаю - ГДЕ нужнее моя помощь. :)

Опубликовано чт, 27/01/2011 - 07:55 пользователем ecxel

Всё здорово, но с середины бросил читать. Непонятно что сделать то нужно?
Я так понимаю есть какая-то методика сравнения библиотек или лили?

Аватар пользователя Миррима

Опубликовано чт, 27/01/2011 - 08:07 пользователем Миррима

На сегодняшний день методика такова:
1. Открываем "Последние поступления" Флибусты
2. Методично проверяем, есть ли такие книги здесь. Если есть - в каком формате и какая версия. Оптимальный формат - FB2.
3. Все, чего недостает, скачиваем, проверяем валидатором , если надо - вносим необходимые исправления
4. Заливаем , отрабатываем дубли
И так - ежедневно. Обратный процесс аналогичен.
:)))

Страницы
X