Вы здесьМассовая Выкачка
Опубликовано ср, 11/06/2008 - 02:52 пользователем writer
Forums: Цитата:
ну раз нельзя чтоб перепаковывалось. то хоть по кнопке дайте список мною выбранного на отдельной новой странице(как раньше показывало как там идет упаковка файлов) чтоб я мог добавить в wget или еще какой Download менеджер
|
Вход на сайтПоиск по блогам и форумамUser menuПоследние комментарии
MERLINA2010 RE:Подайте бедному копеечку на книжку с литреса... 3 часа
Larisa_F RE:Кто сможет раздобыть и оцифровать нужные мне книги? 1 день Isais RE:Древний Рим. Подборка книг 1 день Isais RE:Семейственность в литературе 3 дня kopak RE:Таинственная личность админа Флибусты 1 неделя kopak RE:О группе Дятлова. О той самой, того самого... 1 неделя babajga RE:Ласси возвращается домой 1 неделя sem14 RE:Подборка о Первой Мировой 1 неделя Isais RE:удаление "двойников" 1 неделя Isais RE:Кармен Мола - Пурпурная сеть [litres] 2 недели Isais RE:Детство, опаленное войной (Вторая мировая 1939-1945 и ВОВ) 2 недели Isais RE:Катя Водянова - Дом и два жениха в придачу 3 недели Aleks_Sim RE:Прошу переформатировать, распознать, etc... 3 недели Isais RE:Дмитрий Анатольевич Горчев - ЖЖ Дмитрия Горчева (2009–2010) 1 месяц Саша из Киева RE:Детям о Ленине (Издание 1965 года) 1 месяц Саша из Киева RE:Приключения Мишки-Ушастика (Перевод Марата Брухнова) 1 месяц babajga RE:Белая княжна 1 месяц Isais RE:Файл достаточно хорош. Нет смысла в его улучшении. Ага,... 1 месяц Впечатления о книгах
iggy71 про Маканин: Валечка Чекина (Современная проза)
25 02 Писатель намеревался, видимо, создать загадочный образ провинциалки, "в которой что-то есть", и типа все хотят с ней познакомиться поближе, и она такая себе любвеобильная, духовная и проч. Автор ей симпатизирует, но вот образ ……… Оценка: плохо
konst1 про Рубина: Окна [Авторский сборник] (Современная проза)
25 02 Вдруг Борис заметил: – Между прочим, знаешь ли ты, что еще совсем недавно, в XVIII веке, жители Корнуолла промышляли таким вот способом: в особо сильный шторм выносили на берег большие фонари и расставляли рядами там, ……… Оценка: отлично!
Дей про Господин следователь
25 02 Очень интересно. Детективная и, скажем так, бытовая линии отличные, любовная же не понравилась. Влюбился с первого взгляда, лучше её нет (это ещё даже не разговаривал с ней ни разу), вот эти китайские церемонии с ухаживаниями ………
Олег Макаров. про Капба: Как приручить дракона - 4 [СИ] (Альтернативная история, Киберпанк, Фэнтези, Попаданцы, Самиздат, сетевая литература)
24 02 Капба прекрасен как всегда. Четвёртый том не хуже (лучше!) предыдущих, хотя казалось бы куда ещё. Очень отличная книга. Оценка: отлично!
obivatel про Калинин: Вторая Отечественная [litres] (Альтернативная история, Боевая фантастика, Попаданцы)
24 02 Автор датэл: "если именно благодаря революционерам Россия потеряла шанс выйти из нее в качестве главного победителя". . Если пишешь что-то о периоде, не поленись узнать как оно было. Царя опрокинули крупнейшие промышленники ……… Оценка: плохо
mysevra про Себастьянович: Новая книга о сыроедении, или Почему коровы хищники (Здоровье)
24 02 Подход для таких ленивых как я - нет обязательных самостоятельных чисток. «Мягким тканям потребуется не менее 2 лет, а скелету - около 7.» Непонятно, есть ли это время. Оценка: отлично!
mysevra про Артюшкина: Голем [litres] (Детективная фантастика, Социальная фантастика, Научная фантастика)
24 02 Такой замечательный мир, отличный язык, но невыносимо неспешное развитие событий – кажется вот-вот случится что-то значимое, а нет, очередной проходной момент. Оценка: неплохо
Isais про Абдуллаев: Заговор в начале эры (Исторический детектив, Политический детектив)
24 02 Скучно, нудно, нехудожественно. Вместо живых картин -- картонные декорации, никто из персонажей не вызывает эмоций -- ни любви, ни ненависти, каждый абзац сопровождается таким же по размеру морализаторским поучением, высказанным ……… Оценка: плохо
Nevskaya про Сушков: «Ленинградское дело»: генеральная чистка колыбели революции (Документальная литература)
22 02 Бралась за книгу с трепетом, родная тема, Блокада, Ленинград и все такое... Прочла со стыдом, дочитывала только потому, что не умею бросать начатое. Вранье сплошное, откровенное, бесстыжее, запредельное. Уже много где на форумах ……… Оценка: нечитаемо
Belomor.canal про Акунин: На санях (Современная проза)
22 02 Лучшая, самая лучшая книга Семейной Саги Оценка: отлично!
187 про Царевич: За Отчизну! (История)
21 02 Годная детская книжка, как и Приключения Каспера Берната в Польше и других странах. Оценка: отлично!
Дей про Воспитанник орков
21 02 Какой же ГГ тряпка и слюнтяй. Нет, он храбр и, в общем-то, довольно сообразительный, хоть и несколько тугодум, но он трясётся над жизнью каждой мрази, встречающейся на его пути. Он оставил за спиной несчитанное количество ……… |
Re: Массовая Выкачка
над этим трудятся - пишут скрипт.
этим agrey занимается. вопросы - к нему.
Re: Массовая Выкачка
ТрудЮсь, трудЮсь. "Емкость" списка будет 200-400 книг (добавлять можно с разных страниц) - этого достаточно?
Re: Массовая Выкачка
ха, я подобное еще в прошлом году делал - для новинок, наверное где-то валяетсяЖ)
все собирался собрать автомат, чтоб запускать раз в сутки а оно выкачивало все с последнего запуска. Да никак руки не дойдут. А оно кому-нибудь надо?
Re: Массовая Выкачка
Да вроде надо... Я тоже поначалу делать не собирался, хотя мысль давно была, но тут ограничения ввели...
Re: Массовая Выкачка
Надо. Всем кто хочет качать массово, а сервер не дает. Таких тут 80% :)
Re: Массовая Выкачка
нужен тока список в файл по кнопке
автомат - это cron+wget и все
для windows nncron+wget(есть для винды)
Re: Массовая Выкачка
посмотрел на старое - не годится, формат страниц поменялся, надо править. Ниче сложного, конечно, но время надо.
А насчет автомата, то просьба бросить в меня скриптом. Пригодится:)
Re: Массовая Выкачка
#это в файл go.cmd
wget.exe --background --continue --input-file=from_clipboard.txt --append-output=wget-log.log --directory-prefix=_wwwinet
#в cron'е
# run five minutes after midnight, every day
5 0 * * * path/to/go.cmd
Re: Массовая Выкачка
добавляет в файл всё что похоже на ссылки для закачки
чтоб потом когда надо качать
в nncron'e (под windows) www.nncron.ru
##############################################################################
# This task monitors Windows clipboard contents for URLs that can be
# downloaded and starts 'wget.exe', passing the URL as command line
# parameter. Regular Expressions are used to parse the URL.
#( WGET_task
: WGET-PAT S" /(http)|(ftp):\/\/[^ ]+?\.(zip)|(gz)|(rar)|(jpeg)|(jpg)|(exe)|(mp3)|(rm)|(rpm)/i" ;
WatchClipboard: *
Rule: RE-MATCH: %CLIPBOARD% %WGET-PAT%
Action:
RE-ALL: %CLIPBOARD% %WGET-PAT%
FILE-APPEND: "d:\Downloads\_\down_clipboard.txt" "%$0%%crlf%"
;RE-ALL
)#
Re: Массовая Выкачка
а как это юзать? Сорри за непонятливость:(
Re: Массовая Выкачка
хм. если совсем не понятно, то следуй совету hagen'a внизу ;).
поставил oGet прогу с оперой и все
или задавай конкретные вопросы
качаем с www.nncron.ru прогу nncron. ставим её. регистрируем для некомерческого юзания (оно бесплатно для exUSSR)
качаем wget c http://gnuwin32.sourceforge.net/packages/wget.htm (http://gnuwin32.sourceforge.net/downlinks/wget.php)
распаковываем/устанваливаем wget
создаем файлик с содержимым
#это в файл go.cmd
wget.exe --background --continue --input-file=c:\downloads\from_clipboard.txt --append-output=c:\downloads\wget\wget-log.log --directory-prefix=c:\downloads\_wwwinet
del c:\downloads\from_clipboard.bak
rename c:\downloads\from_clipboard.txt from_clipboard.bak
на установленом nncron'e в systray'e в меню Добавить задачу. Запустить приложение. наш файлик go.cmd
ставим время какое нам удобно
в nncron'e WGET_TASK вроде уже есть. редактируем его ставим наш путь для файла куда копируется клипбоард c:\downloads\from_clipboard.txt
p.s. работает так. когда в клипбоарде появляется ссылка на закачку файла типа *.zip *.exe и др. он добавляется прогой nncron (задача WGET_TASK) в from_clipboard.txt
потом nncron в заданное тобой время запускает go.cmd-> wget -> скачка всего что есть в from_clipboard.txt в c:\downloads\_wwwinet
Re: Массовая Выкачка
т.е. щас на ссылках например на http://lib.rus.ec/all/daily/
мне надо жать Copy на каждую ссылку
ну или найти/написать выдиратель из htm'а этих самых ссылок
и если он есть, то уже 1 шаг до скачивания http://lib.rus.ec/all/daily/ автоматом ночью без участия человека
у кого есть? дайте плиз
Re: Массовая Выкачка
непонятно "когда в клипбоарде появляется ссылка ", ну в смысле как сделать чтобы она там без моего участия появилась.
Re: Массовая Выкачка
как можно заметить;)
началось с
т.е. мне тоже нужен plain text
но раз без твоего участия ...
то смотря когда и что именно
если нужна ежедневная загрузка http://lib.rus.ec/all/daily/
то в винде нужен какой нить скриптовый язык для обработки закачанного списка в хтмл. например php, perl, или др прога типа sed, awk. но т.к. у меня стоит php, то
#создаем файл go2.cmd
wget.exe http://lib.rus.ec/all/daily/
php.exe -F my_script.php -- http://lib.rus.ec/all/daily/ <index.html >my_file_for_download.txt
wget.exe --background --continue --input-file=my_file_for_download.txt --append-output=wget-log.log --directory-prefix=_wwwinet
del my_file_for_download.txt
#cоздаем my_script.php;)
в виндовых Назначенных заданиях или в nncron'е или другом sheduler'е указываем go2.cmd для ночного запуска
итого в папке _wwwinet наши загруженые зипы
Re: Массовая Выкачка
да я тоже ковыряю, но у меня гораздо тупее получается - я не знаю таких вещей как пхп и т.д. Пока что восстановил свое старое, итого, отдельную страницу закачать получается. Теперь надо допилить сравнение с закачанным в последний раз и включить в новый список закачки только новое.
Кстати, я работаю не с этой страницей, в со списками новинок "последние поступления" - там получается еще и список типа оглавления. Но гораздо сложнее парсить и сравнивать. А, кроме того, почему-то через wget не получается авторизоваться.
Re: Массовая Выкачка
авторизация
wget http://lib.rus.ec/node --load-cookies "с:\MyDocs\cookies.txt"
загрузит страницу с авторизацией
для этого надо в Inet Explorer зайти на либрусек и залогиниться (поставить remember me)
а IE меню Файл-Импорт экспорт-Экспорт файлов cookies- сохраняешь например сюда с:\MyDocs\cookies.txt
ну и наверно почистить файл надо от всех записей кроме lib.rus.ec
Re: Массовая Выкачка
да, это сработало, только пишет что кукис действителен на месяц, потом надо будет снова править. Не есть хорошо:(
а чего оно просто через user/password не хочет? На других сайтах работает. Чего здесь особенного?
кстати, там где daily, авторизация не требуется.
Re: Массовая Выкачка
сравнение закаченного с новым не надо
wget --timestamping
ключ --timestamping для предотвращения таких ситуаций
Re: Массовая Выкачка
не, это не мой путь - зачем сервак долбить, я лучше у себя сравню по списку ИДов, да и все. А то вобче можно на зеркало поставить - и курить неделю:) Главное - Иды добыть, пока в лоб не получается. А их в любом случае добывать надо.
Re: Массовая Выкачка
http://home-lib.net/
вроде koreec каталог книг и сделал
может тебе это надо?
Re: Массовая Выкачка
да, я слежу как там дела. Хорошая прога получилась. Но автомат со списком - это совсем не то. Здесь просто должно выкачиваться все новое и складываться отдельно а список книг - пополняться. Вот если бы у корейца тоже был автомат, ну типа, который смотрел бы раз в сутки на новое скачанное и фб2 автоматом парсил, а описание остального брал из списка - тогда да, их можно было бы объединить и получился бы постоянно актуальный локальный каталог. У меня так работает бук-либ. Удобно. Само базу правит, само файлы подтягивает. Жаль, что время не резиновое - читать некогда:)
Вот потому я в начале и спрашивал, нужен ли автомат покнижной скачки вообще. А с учетом, что кукисы живут только месяц, полного автомата все равно не получится. Так что брошу я это, наверное. Есть daily - и хватит:)
Re: Массовая Выкачка
т.к. кукисы - текстовый файл
то в нем автоматом наверно;) можно и дату поправлять/обновлять
>Так что брошу я это, наверное
ок
Re: Массовая Выкачка
посмотрел на http://lib.rus.ec/all/daily/. Здесь просто, у меня для него все есть:) Закачивает те файлы, что есть на сервере и нету на локальном компе. надо иметь wget. http://kv-kvar.mylivepage.ru/file/126/4313_news-avt.rar
Re: Массовая Выкачка
разве по этой ссылке http://lib.rus.ec/all/daily/ не новинки?
тока страницу преобразовать в plain список;)
Re: Массовая Выкачка
Не совсем то, что хотелось бы. А точнее совсем не то. Надо чтобы можно было поставить галочки напротив книжек и рядом с кнопкой "скачать" просто добавлялась бы кнопочка "отправить список ссылок в качалку", по нажатии которой, ссылки на отмеченные файлы добавлялись бы в буфер обмена.
Re: Массовая Выкачка
наверное, новинки. Но я под автоматом понимаю некое приложение, что запускается автоматически в заданное время и скачивает все новинки за прошедшее время. Без моего участия. Главное, чтоб комп был включен. А не включен - следующий раз выкачает. Очень удобно.
Re: Массовая Выкачка
а есть такая штука для оперы, называется oGet:
oGet Ver 2.5.6
Программа предназначена для использования различных менеджеров закачки вместе с Opera.
Поддерживается 26+ штук (USD, FlashGet, ReGet, Download Master...).
Возможности:
Обычная закачка файла. Выделенный текст (если он есть) добавляется в описание.
Закачать всё. Все ссылки на данной странице, передаются в качалку.
Закачать выделенное. Все ссылки (включая текстовые) в выделенном тексте передаются в качалку.
Во всех случаях передаётся referrer.
При закачке с использованием Ctrl+Click, передаются cookie и post-данные.
Установка:
Перед установкой желательно сделать копию меню в Ctrl+F12->Дополнительно->Панели и меню. Потом закрыть Opera, запустить oGet_setup.exe и указать папку Opera.
Требуемый менеджер закачки выбирается в меню Инструменты->Менеджеры закачки.
Можно использовать и обычную закачку (не из меню). При закрытой Opera, поставьте галочку "Полная интеграция с Opera".
Также, вы можете зажать Ctrl и кликнуть на ссылку. (Opera9 only)
Для закачки с rapidshare и подобного, зажмите Ctrl перед кликом по кнопке. (Opera9 only)
Для закачки картинок и флешек установите extra-download-links.js (в папку \profile\userjs\). (Opera9 only)
Известные проблемы:
В Opera 9.20 build 8771 и выше не работает javascript на FTP (Opera bug-263787. Разработчики отключали javascript для локальных страниц, но перестарались).
Версии FlashGet-a выше 1.82, имеют баг приводящий к вылету FlashGot.exe при попытке "Закачать всё".
Удаление:
Снять галочку "Полная интеграция с Opera". Удалить Opera\oget. Переименовать menu.ini_1.bak в menu.ini (в папке Opera\defaults или \profile\menu).
Список поддерживаемых качалок:
BitComet
Download Accelerator Plus
Download Master
FlashGet
Free Download Manager
FreshDownload
GetRight
GigaGet
HiDownload
InstantGet
Internet Download Accelerator
Internet Download Manager
LeechGet
Mass Downloader
NetAnts
Net Transport
Net Transport 2
Orbit
ReGet
Star Downloader
TrueDownloader
Thunder
WellGet
wxDownload Fast
RapGet
Universal Share Downloader
--------------------------------------
Скачать: http://www.esnips.com/doc/92cb57e4-c625-44a3-9d2c-484762ca20fe/oGet
я пользуюсь, и скриптов никаких ненадо.
Re: Массовая Выкачка
Можно ли сделать отложенную отправку файлов?
Например, заходишь под своим аккаутном, отметил произведения или их группу, нажать на кнопочку и отправка произойдёт когда сервер будет свободен на указанный ранее почтовый ящик или FTP.
Ещё одно пожелание.
Если создаётся архив со сборником одного автора, то внутри делать папки с названием серий, если таковые есть.