Вы здесьМассовая Выкачка
Опубликовано ср, 11/06/2008 - 02:52 пользователем writer
Forums: Цитата:
ну раз нельзя чтоб перепаковывалось. то хоть по кнопке дайте список мною выбранного на отдельной новой странице(как раньше показывало как там идет упаковка файлов) чтоб я мог добавить в wget или еще какой Download менеджер
|
Вход на сайтПоиск по блогам и форумамUser menuПоследние комментарии
Aliki RE:Подайте бедному копеечку на книжку с литреса... 2 дня
FVlad RE:Чтение и скачивание невозможны 2 дня dangnax RE:Отключить автопродление абонемента 2 дня Aleks_Sim RE:Багрепорт - 2 2 дня larin RE:Абонемент заплачен но не продлен 1 неделя Tramell RE:Что читать о блокаде Ленинграда. Подборка книг 1 неделя epoost RE:Обвиняемые. Теодор Бун-3 2 недели sem14 RE:Национальный бестселлер (лауреаты и финалисты) 3 недели sem14 RE:Книжная серия "Жизнь в искусстве" издательство "Искусство"... 3 недели sem14 RE:Серия "Очень прикольная книга", издательство Азбука-классика 3 недели wsx. RE:Беженцы с Флибусты 1 месяц larin RE:Оплатил. Абонемент не отображается 1 месяц Yuriko Пжлст загрузите книги автора 1 месяц MrMansur RE:Прошу переформатировать, распознать, etc... 1 месяц sem14 RE:Премия «Фемина» 2 месяца sem14 RE:Беляевская премия 2 месяца Larisa_F RE:Дэвид Герберт Лоуренс собрание в 7 томах том 3 2 месяца sem14 RE:Собираем серию: "Мастер серия", издательство "Лимбус". 2 месяца Впечатления о книгах
alexk про Цветов: Якудза. Мафия по-японски (История, Публицистика)
20 11 Эт ппц, дорогие товарищи, "одаренные" редакторы заменили слово "наркоман" на "алкоголик", а "наркотики" на "сигареты". Владимир Яковлевич в гробу пееворачивается.
Старший про Котов: И пришёл охотник (Боевая фантастика, Героическая фантастика, Научная фантастика, Самиздат, сетевая литература)
20 11 Глупые свошники, за что и за кого подыхают? Оценка нечитаемо.
mysevra про Янси: The 5th Wave [en] (Постапокалипсис, Подростковая литература)
20 11 Если не брать во внимание обязательные для YA атрибуты, то история вызывает довольно тревожненькое впечатление. Да, идея захвата не нова, но от этого не теряет своей жути: кто друг, кто враг – нет доверия и почвы под ногами. ……… Оценка: хорошо
mysevra про Птушкина: Пока она умирала... (Водевиль)
20 11 Пьеса о добрых чудесах. Возможно, несколько сентиментально и наивно, зато мило и сказочно. Оценка: хорошо
Yuriko про Белов: Новая жизнь. Вожак шайки #1 (Боевая фантастика, ЛитРПГ, Самиздат, сетевая литература)
19 11 5-я книга "Новая жизнь. Вожак шайки #2" — отсутствует
Igrina про Тарасов: Таксист из Forbes. Часть 12 [СИ] (Попаданцы, ЛитРПГ, Самиздат, сетевая литература)
18 11 мне нравится эта серия. хотелось бы дочитать до конца ― мне было бы интересно! Оценка: отлично!
AlexTatus про Маринина: Ад (Современная проза)
18 11 Понравились все три книги трилогии,читалось легко,с интересом! Оценка: отлично!
Олег Макаров. про Бурдин: Юрист с Рублёвки. Том 1 (Социальная фантастика, Попаданцы, Самиздат, сетевая литература)
18 11 Авторам не хватило дыхалки. Сначала любопытно, но к концу книги стало совсем неинтересно Оценка: плохо
Олег Макаров. про Маринина: Люди за спиной. Том 2 (Детективы: прочее)
18 11 Утомила не дочитал ½ второй книги Оценка: плохо
Олег Макаров. про Гардемарин ее величества
18 11 Хорошо, но под конец 5 книги стало надоедать, но продолжение если будет, почитаю
Олег Макаров. про Красный код
18 11 Очень интересно, достаточно необычно. Увлекает и держит в... ну не скажу, что в напряжении, но в заинтересованности |
Re: Массовая Выкачка
над этим трудятся - пишут скрипт.
этим agrey занимается. вопросы - к нему.
Re: Массовая Выкачка
ТрудЮсь, трудЮсь. "Емкость" списка будет 200-400 книг (добавлять можно с разных страниц) - этого достаточно?
Re: Массовая Выкачка
ха, я подобное еще в прошлом году делал - для новинок, наверное где-то валяетсяЖ)
все собирался собрать автомат, чтоб запускать раз в сутки а оно выкачивало все с последнего запуска. Да никак руки не дойдут. А оно кому-нибудь надо?
Re: Массовая Выкачка
Да вроде надо... Я тоже поначалу делать не собирался, хотя мысль давно была, но тут ограничения ввели...
Re: Массовая Выкачка
Надо. Всем кто хочет качать массово, а сервер не дает. Таких тут 80% :)
Re: Массовая Выкачка
нужен тока список в файл по кнопке
автомат - это cron+wget и все
для windows nncron+wget(есть для винды)
Re: Массовая Выкачка
посмотрел на старое - не годится, формат страниц поменялся, надо править. Ниче сложного, конечно, но время надо.
А насчет автомата, то просьба бросить в меня скриптом. Пригодится:)
Re: Массовая Выкачка
#это в файл go.cmd
wget.exe --background --continue --input-file=from_clipboard.txt --append-output=wget-log.log --directory-prefix=_wwwinet
#в cron'е
# run five minutes after midnight, every day
5 0 * * * path/to/go.cmd
Re: Массовая Выкачка
добавляет в файл всё что похоже на ссылки для закачки
чтоб потом когда надо качать
в nncron'e (под windows) www.nncron.ru
##############################################################################
# This task monitors Windows clipboard contents for URLs that can be
# downloaded and starts 'wget.exe', passing the URL as command line
# parameter. Regular Expressions are used to parse the URL.
#( WGET_task
: WGET-PAT S" /(http)|(ftp):\/\/[^ ]+?\.(zip)|(gz)|(rar)|(jpeg)|(jpg)|(exe)|(mp3)|(rm)|(rpm)/i" ;
WatchClipboard: *
Rule: RE-MATCH: %CLIPBOARD% %WGET-PAT%
Action:
RE-ALL: %CLIPBOARD% %WGET-PAT%
FILE-APPEND: "d:\Downloads\_\down_clipboard.txt" "%$0%%crlf%"
;RE-ALL
)#
Re: Массовая Выкачка
а как это юзать? Сорри за непонятливость:(
Re: Массовая Выкачка
хм. если совсем не понятно, то следуй совету hagen'a внизу ;).
поставил oGet прогу с оперой и все
или задавай конкретные вопросы
качаем с www.nncron.ru прогу nncron. ставим её. регистрируем для некомерческого юзания (оно бесплатно для exUSSR)
качаем wget c http://gnuwin32.sourceforge.net/packages/wget.htm (http://gnuwin32.sourceforge.net/downlinks/wget.php)
распаковываем/устанваливаем wget
создаем файлик с содержимым
#это в файл go.cmd
wget.exe --background --continue --input-file=c:\downloads\from_clipboard.txt --append-output=c:\downloads\wget\wget-log.log --directory-prefix=c:\downloads\_wwwinet
del c:\downloads\from_clipboard.bak
rename c:\downloads\from_clipboard.txt from_clipboard.bak
на установленом nncron'e в systray'e в меню Добавить задачу. Запустить приложение. наш файлик go.cmd
ставим время какое нам удобно
в nncron'e WGET_TASK вроде уже есть. редактируем его ставим наш путь для файла куда копируется клипбоард c:\downloads\from_clipboard.txt
p.s. работает так. когда в клипбоарде появляется ссылка на закачку файла типа *.zip *.exe и др. он добавляется прогой nncron (задача WGET_TASK) в from_clipboard.txt
потом nncron в заданное тобой время запускает go.cmd-> wget -> скачка всего что есть в from_clipboard.txt в c:\downloads\_wwwinet
Re: Массовая Выкачка
т.е. щас на ссылках например на http://lib.rus.ec/all/daily/
мне надо жать Copy на каждую ссылку
ну или найти/написать выдиратель из htm'а этих самых ссылок
и если он есть, то уже 1 шаг до скачивания http://lib.rus.ec/all/daily/ автоматом ночью без участия человека
у кого есть? дайте плиз
Re: Массовая Выкачка
непонятно "когда в клипбоарде появляется ссылка ", ну в смысле как сделать чтобы она там без моего участия появилась.
Re: Массовая Выкачка
как можно заметить;)
началось с
т.е. мне тоже нужен plain text
но раз без твоего участия ...
то смотря когда и что именно
если нужна ежедневная загрузка http://lib.rus.ec/all/daily/
то в винде нужен какой нить скриптовый язык для обработки закачанного списка в хтмл. например php, perl, или др прога типа sed, awk. но т.к. у меня стоит php, то
#создаем файл go2.cmd
wget.exe http://lib.rus.ec/all/daily/php.exe -F my_script.php -- http://lib.rus.ec/all/daily/ <index.html >my_file_for_download.txt
wget.exe --background --continue --input-file=my_file_for_download.txt --append-output=wget-log.log --directory-prefix=_wwwinet
del my_file_for_download.txt
#cоздаем my_script.php;)
в виндовых Назначенных заданиях или в nncron'е или другом sheduler'е указываем go2.cmd для ночного запуска
итого в папке _wwwinet наши загруженые зипы
Re: Массовая Выкачка
да я тоже ковыряю, но у меня гораздо тупее получается - я не знаю таких вещей как пхп и т.д. Пока что восстановил свое старое, итого, отдельную страницу закачать получается. Теперь надо допилить сравнение с закачанным в последний раз и включить в новый список закачки только новое.
Кстати, я работаю не с этой страницей, в со списками новинок "последние поступления" - там получается еще и список типа оглавления. Но гораздо сложнее парсить и сравнивать. А, кроме того, почему-то через wget не получается авторизоваться.
Re: Массовая Выкачка
авторизация
wget http://lib.rus.ec/node --load-cookies "с:\MyDocs\cookies.txt"
загрузит страницу с авторизацией
для этого надо в Inet Explorer зайти на либрусек и залогиниться (поставить remember me)
а IE меню Файл-Импорт экспорт-Экспорт файлов cookies- сохраняешь например сюда с:\MyDocs\cookies.txt
ну и наверно почистить файл надо от всех записей кроме lib.rus.ec
Re: Массовая Выкачка
да, это сработало, только пишет что кукис действителен на месяц, потом надо будет снова править. Не есть хорошо:(
а чего оно просто через user/password не хочет? На других сайтах работает. Чего здесь особенного?
кстати, там где daily, авторизация не требуется.
Re: Массовая Выкачка
сравнение закаченного с новым не надо
wget --timestamping
ключ --timestamping для предотвращения таких ситуаций
Re: Массовая Выкачка
не, это не мой путь - зачем сервак долбить, я лучше у себя сравню по списку ИДов, да и все. А то вобче можно на зеркало поставить - и курить неделю:) Главное - Иды добыть, пока в лоб не получается. А их в любом случае добывать надо.
Re: Массовая Выкачка
http://home-lib.net/
вроде koreec каталог книг и сделал
может тебе это надо?
Re: Массовая Выкачка
да, я слежу как там дела. Хорошая прога получилась. Но автомат со списком - это совсем не то. Здесь просто должно выкачиваться все новое и складываться отдельно а список книг - пополняться. Вот если бы у корейца тоже был автомат, ну типа, который смотрел бы раз в сутки на новое скачанное и фб2 автоматом парсил, а описание остального брал из списка - тогда да, их можно было бы объединить и получился бы постоянно актуальный локальный каталог. У меня так работает бук-либ. Удобно. Само базу правит, само файлы подтягивает. Жаль, что время не резиновое - читать некогда:)
Вот потому я в начале и спрашивал, нужен ли автомат покнижной скачки вообще. А с учетом, что кукисы живут только месяц, полного автомата все равно не получится. Так что брошу я это, наверное. Есть daily - и хватит:)
Re: Массовая Выкачка
т.к. кукисы - текстовый файл
то в нем автоматом наверно;) можно и дату поправлять/обновлять
>Так что брошу я это, наверное
ок
Re: Массовая Выкачка
посмотрел на http://lib.rus.ec/all/daily/. Здесь просто, у меня для него все есть:) Закачивает те файлы, что есть на сервере и нету на локальном компе. надо иметь wget. http://kv-kvar.mylivepage.ru/file/126/4313_news-avt.rar
Re: Массовая Выкачка
разве по этой ссылке http://lib.rus.ec/all/daily/ не новинки?
тока страницу преобразовать в plain список;)
Re: Массовая Выкачка
Не совсем то, что хотелось бы. А точнее совсем не то. Надо чтобы можно было поставить галочки напротив книжек и рядом с кнопкой "скачать" просто добавлялась бы кнопочка "отправить список ссылок в качалку", по нажатии которой, ссылки на отмеченные файлы добавлялись бы в буфер обмена.
Re: Массовая Выкачка
наверное, новинки. Но я под автоматом понимаю некое приложение, что запускается автоматически в заданное время и скачивает все новинки за прошедшее время. Без моего участия. Главное, чтоб комп был включен. А не включен - следующий раз выкачает. Очень удобно.
Re: Массовая Выкачка
а есть такая штука для оперы, называется oGet:
oGet Ver 2.5.6
Программа предназначена для использования различных менеджеров закачки вместе с Opera.
Поддерживается 26+ штук (USD, FlashGet, ReGet, Download Master...).
Возможности:
Обычная закачка файла. Выделенный текст (если он есть) добавляется в описание.
Закачать всё. Все ссылки на данной странице, передаются в качалку.
Закачать выделенное. Все ссылки (включая текстовые) в выделенном тексте передаются в качалку.
Во всех случаях передаётся referrer.
При закачке с использованием Ctrl+Click, передаются cookie и post-данные.
Установка:
Перед установкой желательно сделать копию меню в Ctrl+F12->Дополнительно->Панели и меню. Потом закрыть Opera, запустить oGet_setup.exe и указать папку Opera.
Требуемый менеджер закачки выбирается в меню Инструменты->Менеджеры закачки.
Можно использовать и обычную закачку (не из меню). При закрытой Opera, поставьте галочку "Полная интеграция с Opera".
Также, вы можете зажать Ctrl и кликнуть на ссылку. (Opera9 only)
Для закачки с rapidshare и подобного, зажмите Ctrl перед кликом по кнопке. (Opera9 only)
Для закачки картинок и флешек установите extra-download-links.js (в папку \profile\userjs\). (Opera9 only)
Известные проблемы:
В Opera 9.20 build 8771 и выше не работает javascript на FTP (Opera bug-263787. Разработчики отключали javascript для локальных страниц, но перестарались).
Версии FlashGet-a выше 1.82, имеют баг приводящий к вылету FlashGot.exe при попытке "Закачать всё".
Удаление:
Снять галочку "Полная интеграция с Opera". Удалить Opera\oget. Переименовать menu.ini_1.bak в menu.ini (в папке Opera\defaults или \profile\menu).
Список поддерживаемых качалок:
BitComet
Download Accelerator Plus
Download Master
FlashGet
Free Download Manager
FreshDownload
GetRight
GigaGet
HiDownload
InstantGet
Internet Download Accelerator
Internet Download Manager
LeechGet
Mass Downloader
NetAnts
Net Transport
Net Transport 2
Orbit
ReGet
Star Downloader
TrueDownloader
Thunder
WellGet
wxDownload Fast
RapGet
Universal Share Downloader
--------------------------------------
Скачать: http://www.esnips.com/doc/92cb57e4-c625-44a3-9d2c-484762ca20fe/oGet
я пользуюсь, и скриптов никаких ненадо.
Re: Массовая Выкачка
Можно ли сделать отложенную отправку файлов?
Например, заходишь под своим аккаутном, отметил произведения или их группу, нажать на кнопочку и отправка произойдёт когда сервер будет свободен на указанный ранее почтовый ящик или FTP.
Ещё одно пожелание.
Если создаётся архив со сборником одного автора, то внутри делать папки с названием серий, если таковые есть.