Вы здесьКак создать зеркалоПоследнее время многие спрашивают, как создать зеркало и что для этого нужно. 3. Модуль librusec. Подробности установки - http://github.com/larin/librusec/blob/master/README. Задавайте вопросы, буду стараться довести этот текст до полной ясности.
|
Вход на сайтПоиск по блогам и форумамUser menuПоследние комментарии
Aleks_Sim RE:Багрепорт - 2 1 день
Telly RE:Подайте бедному копеечку на книжку с литреса... 2 дня babajga RE:Удивленная сова 5 дней Larisa_F RE:Серия «Квадрат» издательства «Текст» 1 неделя Aleks_Sim RE:Беженцы с Флибусты 1 неделя edvud RE:Прошу переформатировать, распознать, etc... 1 неделя monochka RE:С 8 Марта! 1 неделя babajga RE:Книга чуДОМищ 1 неделя ProstoTac RE:Подборка о Первой Мировой 2 недели babajga RE:Нержавеющая сабля 2 недели sem14 RE:«Уроки русского» 2 недели Isais RE:Древний Рим. Подборка книг 2 недели kopak RE:О группе Дятлова. О той самой, того самого... 2 недели babajga RE:Отчаянная осень 2 недели babajga RE:Сказки Сени Малины 2 недели babajga RE:Сказки 2 недели babajga RE:Мои четвероногие друзья 2 недели Саша из Киева RE:Кто сможет раздобыть и оцифровать нужные мне книги? 2 недели Впечатления о книгах
nik_ol про Устинова: Детектив на краю лета (Детективы: прочее)
17 03 А что, у Поляковой больше ничего не выхожит? Вместе с её соавтором?..
Олег Макаров. про Хволкер: Фанфик по Overlords (Фанфик, Самиздат, сетевая литература)
17 03 2Fornit - вы уверены, что ваш незамутнённый поток политизированной ругани уместен на этом сайте?
gruin про Чайка: Купец из будущего ч.1 (Альтернативная история, Попаданцы, Самиздат, сетевая литература)
17 03 Капитальная нудятина. Просто тошнит Оценка: нечитаемо
mysevra про Чайлд: Забытая комната [The Forgotten Room ru] (Научная фантастика)
17 03 Персонажи невероятно тупят, выдавая лежащие на поверхности факты за сверхумные озарения. Сплошное разочарование. Оценка: плохо
mysevra про Шемшук: Сыроедение – путь к бессмертию (Здоровье)
17 03 Такую разудалую пургу под одной обложкой редко встретишь. Тут и старость от слова star, и годовалые дети-мудрецы, и умершие от восторга деревья. И поработители, желающие уничтожить человечество, но доведшие популяцию уже до ……… Оценка: неплохо
Belomor.canal про Яхина: Эйзен: роман-буфф (Современная проза)
17 03 Это не роман, то есть не худлит. Это нон фикшн, беллетризированная биография Эйзенштейна, но написанная так что биографию - то есть где и когда и с кем надо держат на коленках, потому как ЖЗЛ Эйзенштейн еще не оцифрован. В ……… Оценка: неплохо
mysevra про Ершов: Конек-Горбунок (Сказка, Детские стихи)
17 03 Замечательна сказка. Со временем воспринимается по-другому, но нравится ещё больше. Оценка: отлично!
jonyks про Гагин: Книга Достигатора (Психология, Самосовершенствование)
17 03 книга просто отличная! очень веселая
miri.ness_ про Александер: Секс был. Интимная жизнь Советского союза (Публицистика, Эротика, Секс)
16 03 Мало кто знает, как Людмила Иванова (автор "Секса у нас нет") закончила фразу (под улюлюканье зала) так: "У нас есть любовь". Жаль, тут скриншот не прикрепишь. Может, не грохнут: https://nnmclub.to/forum/viewtopic.php?t=1763774 Оценка: плохо
Gilean про Боксер [Дамиров, Гуров]
16 03 Читаю 3 книгу и это начинает напоминать, того же Курсанта. Герой начинает "вляпываться" в закрытый кружок получателей благ в СССР через девочек. В общем-то читать интересно, но если для вас это не первая серия писателя, ………
trampak про Морозов: Наши танки дойдут до Ла-Манша! (Альтернативная история)
16 03 Какая страна - такая и фантастика. Такой бред даже во времена совка никто не писал. Когда вот читаю подобное всё(чисто в профессиональном плане мне надо подобное читать) ловлю себя на мысли , вот к чему это всё? Ну допустим ……… Оценка: нечитаемо
Barbud про Номен: Старуха (Альтернативная история, Самиздат, сетевая литература)
16 03 Лучше всего автору удаются описания химических реакций и всяких технологий. Выписывать характеры, эмоции, делать персонажей живыми - не его (или не её). Оценка: нечитаемо |
Комментарии
Отв: Как создать зеркало
не многовато места надо? поставил лайти. без акселератора, только кэш. тестирую. ip 217.30.248.157
Отв: Как создать зеркало
Когда на Либрусеке был один диск на 500, чистить его приходилось регулярно.
Сейчас полтора тера, занято заметно больше половины.
Отв: Как создать зеркало
эээ вижу запросы... надо host передавать... проще всего в файл WINDOWS\system32\drivers\etc\hosts
добавить (естественно на время теста)
217.30.248.157 lib.rus.ec
217.30.248.157 lib2.rus.ec
и обращаться по имени lib.rus.ec . на lib2.rus.ec насколько я понял хранятся сами книги
Отв: Как создать зеркало
Ну и что? На первой странице голая "пустая" страница, на остальных (предположим, что они есть, а их...) - 404...
Отв: Как создать зеркало
сервер проверяет Host: читайте выше что делать.
Отв: Как создать зеркало
Ах, он оба имени использует, а я думал любое из... Сейчас протестим...
Отв: Как создать зеркало
опс.. мой сервер похоже блочит настоящий lib.rus.ec ;) первую страницу отдает на остальное 404
Отв: Как создать зеркало
вот именно ;)
Отв: Как создать зеркало
А может быть изменишь имя хоста, на какое отзывается? Пусть будет, например, libnew.rus.ec или libnew2.rus.ec, их и прописываем в хост... Меньше проблем будет...
Отв: Как создать зеркало
без хозяина несмогу... хост передается напрямую. к стати нашел ошибку (опечатку) в конфиге теперь 404 не выдает.
Отв: Как создать зеркало
Теперь подмененный lib.rus.ec у тебя вовсе не отзывается, а подмененный lib2.rus.ec дает начальную страницу со ссылкой на lib.rus.ec.
Отв: Как создать зеркало
всетаки походу блочит изза количиства соединений... уже 3 ip меняю на исходящие соединения.
Отв: Как создать зеркало
Посоветуйте бесплатный хостинг чтобы попробовать на вкус ето дело
Отв: Как создать зеркало
Таких не бывает, но есть такие у которых 30 дней money back guarantee - вот их и ищите. Обычно смотрите на простенькие VPS с линуксом.
Отв: Как создать зеркало
впс с 500Г места - это очень дорого.
Или шаред, или дедик.
Отв: Как создать зеркало
В порядке бреда: а может ли сработать такая конструкция:
Frontend с MySQL и базаданой на относительно быстром, но маленьком VPS, а backend с собственно книжками - на недорогом, медленном но большом shared?
Отв: Как создать зеркало
Не уверен. Много можете вспомнить хостингов, которые дают ~150gb (неплохо бы сейчас), которые в будущем можно еще расширить (либрусек-то растет). Ну и хорошо: процессор вы шареду сильно грузить не будете, но при должной популярности начнете привышать разумные планки по памяти и трафику. Шаред обычно вещь куда менее рентабельная, чем впс, так что вероятность того что вас попрут больше.
Отв: Как создать зеркало
>Много можете вспомнить хостингов, которые дают ~150gb
На шаредах место, как правило, не проблема:
http://www.powweb.com/powweb/hosting.bml
Disk Space (Raid Storage) UNLIMITED
Data Transfer / Bandwidth UNLIMITED
$4.88 / month
Мой микросайтик на них уж много лет живёт. Сервис, конечно, дерьмовенький, и абюзостойкость нулевая, но... а если файлы не напрямую с шареда, а через франтенд отдавать - абюзостойкость шаред бекенда повысится... правда, траффик франтенда тоже повысится...
Отв: Как создать зеркало
Ну и скрипты, кстати, слегка переписать придется. Ибо книги у вас будут где-то там, а запросы "сделайте мне html/txt" видимо будут валиться на основной сервер. Впрочем, тут большой простор для фантазии и все вполне реализуемо.
Отв: Как создать зеркало
Ничего переписывать не надо. На фронте nginx, можно кэшируюший. Все скрипты и книги на основном сервере, но про него никто не знает.
Отв: Как создать зеркало
А при этом не запалятся прямые ссылки на бэкэнд при скачке книг? И поможет ли здесь спрятать основной сервер скачка не "публичным", а "приватным" способом (из настр. друпала)?
Как я понимаю - если на фронте nginx будет только управлять скачкой файла с шареда, то увидеть, откуда тянется файл - нетрудно. На ум призодит единственный способ - если фронт одновременно будет использоваться и как "прокси", сначала он книжку скачивает, зате отдает юзеру (упрощенно) - вы это имеете ввиду?
Отв: Как создать зеркало
да.
Отв: Как создать зеркало
Может.
Отв: Как создать зеркало
Может кто знает, то ткните пальцем, а где взять содержимое "i" и "img"?
Отв: Как создать зеркало
i/ генерится автоматически при парсинге книги.
img/ проще всего стянуть прям с Либрусека:
for i in s1.gif s2.gif zamok.gif znak1.gif znak5.gif znak.gif; do wget lib.rus.ec/img/$i;done
Отв: Как создать зеркало
Илья, открой пожалуйста для скачивания/синхронизации sql.zip с биографиями авторов. Я обсуждал этот вопрос с Buriy, но его уже несколько дней в Сети нету...
Как-то пусто и неуютно зеркало без них смотрится, а ведь люди должны знать своих героев )
P.S. Первый раз пишу в комментах, так что пользуясь случаем - спасибо за библиотеку )
Отв: Как создать зеркало
Беда в том, что такой таблицы не существует.
А отдавать всю node_revisions я пока морально не готов.
Надо придумать какой хитрый экспорт, или вообще всё переделать.
Отв: Как создать зеркало
Нет проблем, можешь дать мне кусочек файла с примерной структурой, чтобы я мог написать конвертер для этих данных? Вот и будет хитрый экспорт )
адрес: al420(гав-кусь-ням)tut.by
Отв: Как создать зеркало
Какого файла, ты о чём? Всё в базе.
http://github.com/larin/librusec/blob/master/librusec.sql
Отв: Как создать зеркало
В случае удаления файла на lib.rus.ec будет ли удалён автоматически файл на зеркале?
Отв: Как создать зеркало
Да.
Если быть точным, файлы не удаляются никогда, они помечаются как удалённые в базе, но в любой момент могут быть востановлены любым пользователем.
Отв: Как создать зеркало
Извините, я слегка не в теме, но не подойти ли к вопросу глобально: cloud + хранилище типа s3? Вопросы типа DDoS это решает. Остается легальный вопрос. К интерфейсу на cloud (appengine? м\б что-то еще?) претензий формально нет, т.к. данные на нем не хранятся, а вот хранилище надо подобрать с умом.
Как считаете?
Отв: Как создать зеркало
Беда в ценах. Я смотрел cloud storage, но цены у них запредельные.
Отв: Как создать зеркало
Насколько это дороже теперешних расходов на "обычный" хостинг? Я бы согласился на рекламу в обмен на стабильную работу библиотеки.
И мне кажется, что вопросе с деньгами можно было бы решить, но сначала неплохо бы узнать решение легальных вопросов - s3, по-моему, абузонеустойчив.
Улучшения и дополнения.
Добрый день,
Есть несколько пожеланий по поводу "зеркал":
1. Можно ли выложить таблицу libpolka, ведь как раз в ней лежат комментарии к книгам? Хотя самый лучший вариант - разделить каменты юзеров и полку (sql view?)
2. В идеале, было бы сделать синхру по rsync (если такое возможно), а то каждый раз качать все таблицы целиком - это неэффектинво.
Если возникнут какие-то вопросы - можно обсудить их в личке (мы этот код можем сделать и протестировать сами, главное его потом выложить :) ).
--
"Директор катка" (lib.ololo.cc)
Отв: Улучшения и дополнения.
У нас с Вами очень похожие запросы :) Написал в личку.
Как по быстрому стащить часть ваших книг ?
Нужен только машиночитаемый текст (без djvu,pdf). Реально нужно пару гиг текста для машинного анализа. Худ. лит. какая не будь подошла бы.
Отв: Как по быстрому стащить часть ваших книг ?
http://lib.rus.ec/allbooks
Отв: Как по быстрому стащить часть ваших книг ?
http://torrent.rus.ec/viewforum.php?f=52
не - господа....
... я с вами больше не дружу... мне по крайней мере отвечают когда я спрашиваю... это касается вашего "шефа"... я не "ддосю" я просто не разговариваю... я не покину ваш ресурс - буду качать книжки когда это возможно... и еще я не "опер" ... , но этот акк можно удалить чтобы не засорял базу... адью... (о себе - 40 лет , CSO по профессии)
Отв: Как создать зеркало
а если дома сделать по такому рецепту , чтоб не прикопались https://www.torproject.org/docs/tor-hidden-service.html.ru , подойдет такой вариант?
Экспорт отзывов о книгах
Есть ли планы отдавать на публику дампы таблиц libpolka / libpolkarate ---- насколько я понял по структуре базы, именно в них находятся отзывы и рейтинги пользователей о книгах?
Отв: Как создать зеркало
А когда это поменялось bookid -> bid и т.п.? Я инфу пропустил или ее не было?
Благо, что я скрипт обновления баз написал под параноидное настроение...