|
Недоступен liburl=http://free-books.dontexist.com/get?
| |
| drserj | Дата: Среда, 11.07.2012, 10:19 | Сообщение # 31 |
|
Генералиссимус
Группа: Администраторы
Сообщений: 4693
Статус: Offline
| Quote (Vadim_03) А скорость не упадет? Один диск избыточный, 4 пашут, а время идет и на операцию проверки. Вполне может стать слабым местом процессор. Думаю, выигрыш в 3 раза по скорости не очевиден. Не удивлюсь и проигрышу.
На чтение - естественно не упадет, боле того - возрастет... Процессор - не станет слабым местом, ибо рейд обрабатывает собственный контроллер...
Quote (Vadim_03) А где вы нашли свежий дамп базы? У меня годичной давности и скачать более новый я не сумел. Откройте тайну, бите
http://gen.lib.rus.ec/genftp/backup-last.rar
ftp://libgen.org/dailyupdated/My%20Dropbox/Public/
Quote (Vadim_03) Я составил каталог с линками на пакет математических журналов. Примерно 250000 линков в одном каталоге. Так вот, после щелчка Тотал Коммандером по этому каталогу (чтобы войти внутрь) он засыпает примерно на полчаса час. Хоть отключай.
А если те же линки в архив сунуть - сколько времени архив будет открываться?
drSerj
|
| |
| |
| Vadim_03 | Дата: Среда, 11.07.2012, 15:19 | Сообщение # 32 |
|
Сержант
Группа: Пользователи
Сообщений: 38
Статус: Offline
| Quote На чтение - естественно не упадет, боле того - возрастет... Процессор - не станет слабым местом, ибо рейд обрабатывает собственный контроллер..
При работе с дисками, имеющими паспортные скорости порядка 128 мегабайт, я никогда не получал больше 40. Поэтому у меня ложилось впечатление, что ОС, повидимому, даже не использует каналы. Уж что они там делают - не знаю, но занятие себе находят. Например, могут что то делать с файловой системой, могут крутится антивирусы. Контроллер обрабатывает только чередование дисков, а сам поток, идущий в процессор, уже организует не он. Т.е нужен экспериментальный результат, или нужно это делать самому.
Oops! Google Chrome could not connect to gen.lib.rus.ec
Suggestions:
Try reloading: gen.lib.rus.ec/genftp/backup-last.rar
Огромное спасибо. Качаю.
Quote А если те же линки в архив сунуть - сколько времени архив будет открываться?
Могу попробовать. Может быть, и быстрее. Ведь, например, Тотал коммандер заполняет листбокс. Кто его знает, как он это делает. Вполне может от большого ума пытаться заполнить всеми 250000 файлов, а не только верхней частью. Т.е результаты всегда могут быть пародоксальными.
Пока что я подобрал ключики к вашей программе. Если указать в настройках, что библиотек нет, она все пытается грузить. У файлы libdownload.MYD обновление параметров происходит только при выключении программы, но содержимое меняется. Сравнивая старое содержимое и новое удается вытащить контрольную сумму заказанного файла, после чего я его нахожу меньше, чем за секунду. Так что использовать fileSystemWatcher я не смог, просто начал читать с периодичностью полсекунды этот файл и, если он изменился, вытаскиваю добавленную контрольную сумму и ву а ля книга на экране появляется мгновенно - только один лишний клик - ответ на вопрос грузить или нет. Единственное плохо то, что надо, если хочешь посмиотреть книгу еще один раз не забыть стереть список загрузок. У вас там контрольные суммы остаются и после стирания, т.е файл растет бесконечно, но у них исчезают первые два символа. Очень хитрая система.
Сообщение отредактировал Vadim_03 - Среда, 11.07.2012, 15:35 |
| |
| |
| drserj | Дата: Пятница, 13.07.2012, 10:00 | Сообщение # 33 |
|
Генералиссимус
Группа: Администраторы
Сообщений: 4693
Статус: Offline
| Quote (Vadim_03) Тотал коммандер заполняет листбокс
боле того, он еще и инфу вычитывает и выводит...
Quote (Vadim_03) Пока что я подобрал ключики к вашей программе.........................
мдя... нет предела совершенству 
drSerj
|
| |
| |
| Vadim_03 | Дата: Суббота, 14.07.2012, 20:39 | Сообщение # 34 |
|
Сержант
Группа: Пользователи
Сообщений: 38
Статус: Offline
| Quote мдя... нет предела совершенству
В общем, это выглядит у меня так.
Если я разрешаю вашей программе искать нужный мне файл среди скромного множества скачанных из Генезиса (примерно 19447 файлов, занимающих 300 гиг), то жду от десятка или двух секунд до получаса. Это, похоже, зависит от того, где лежит мой файл - в начале или в конце перебора.
Моя вспомогательная программа, живущая в фоне, берет заказ из таблицы загрузок, занимает вместе с внутренними таблицами примерно 20 мегабайт, (на 800000 контрольных сумм), находит файл практически мгновенно, причем ищет его среди, примерно, 800000. Она может работать с пакетом (сделанной в либгене подборкой), может их открывать пакетом, переписвать пакет куда то, переписвать куда то линки к пакету. При открытии пакета pdf, открывает штук 5 или больше файлов в секунду. Так что можно обойтись и с обычными дисками и обычными процессорами.
Интересно, а вы смотрели работу вашей программы с приличной коллекцией, скажем, 800000 файлов?
Сообщение отредактировал Vadim_03 - Суббота, 14.07.2012, 20:39 |
| |
| |
| drserj | Дата: Понедельник, 16.07.2012, 12:20 | Сообщение # 35 |
|
Генералиссимус
Группа: Администраторы
Сообщений: 4693
Статус: Offline
| Quote (Vadim_03) Интересно, а вы смотрели работу вашей программы с приличной коллекцией, скажем, 800000 файлов?
нет, под 300000 - да, только не либгеном а либрусом, но там куда сложнее - несколько мест, архивы одиночные, архивы-тысячники, вариантов имен около десятка и т д... у либгена алгоритм по сравнению с либрусом - детство
Quote (Vadim_03) Моя вспомогательная программа, живущая в фоне, берет заказ из таблицы загрузок, занимает вместе с внутренними таблицами примерно 20 мегабайт, (на 800000 контрольных сумм), находит файл практически мгновенно
потому-что она обращается непосредственно к файлу, не получая полный список файлов. Быстрее, но универсальность отсутствует...
drSerj
|
| |
| |
| drserj | Дата: Понедельник, 16.07.2012, 12:40 | Сообщение # 36 |
|
Генералиссимус
Группа: Администраторы
Сообщений: 4693
Статус: Offline
| Кстати... http://libgen.org/ нормально работает... и программа с него прекрасно книги качает... так что оставим пока libgen.info нервно курить в сторонке
drSerj
|
| |
| |
| Vadim_03 | Дата: Понедельник, 16.07.2012, 13:31 | Сообщение # 37 |
|
Сержант
Группа: Пользователи
Сообщений: 38
Статус: Offline
| Quote нет, под 300000 - да, только не либгеном а либрусом, но там куда сложнее - несколько мест, архивы одиночные, архивы-тысячники, вариантов имен около десятка и т д... у либгена алгоритм по сравнению с либрусом - детство
Дело не в алгоритме. Например, Тотал коммандер считает количество файлов и т.п. в директориях с обложками, (698 директориев и 648000 файлов) порядка 10 минут. Он как раз и занимается перебором директориев и файлов, ничего с ними не делая - просто добавляет единичку к переменной (или длину файла). У меня тоже есть такой кусок для определения размеров переменных, и тоже идет минут 5-10. А, если на каждую единичную акцию в таком переборе, что-то накрутить, какой то анализ, то может быть и очень долго.
Quote потому-что она обращается непосредственно к файлу, не получая полный список файлов. Быстрее, но универсальность отсутствует...
Нет, это клевета. Все вполне универсально. Предварительно другой программой я прошелся по всем дискам и составил таблицы для крупных директориев. Затем таблицы объеденил в одну большую, отсортированную, которая содержит для каждой книги (точнее, позиции) MD5 и путь к ней.
Получилось 1300000 строк 197 мегабайт. Следящая программа минуты за 3-5 принимает эту таблицу и создает внутренню таблицу -Array с тремя измерениям - два long и одно int. В двух лонга сидят половинки MD5, в int адрес MD5 в файле (чтобы найти путь). Обнаружив заказ, она ищет, выполним ли он, если выполним - находит путь. Сам путь может быть куда угодно. А дальше открывает или копирует файл, или делает на него линк. Для группы файлов время для самого поиска одной книги можно отследить только инструментально - это миллисекунды. Даже акробатом открывает штук 5 файлов в секунду. Причем эти файлы где угодно на множестве дисков.
Так что, в сочетании с вашей программой получается очень удобно. Вашей программой делаю себе подборку по нужной тематике. Затем просматриваю подборку, открывая сразу большую группу книг, скажем штук по 10-20 за раз, если надо, заношу вашей программой отобранное в "загрузить", и это загрузить позволяет перенсти книжки или линки к ним в некий каталог, где их можно уже спокойно читать (скажем, на ноутбук). Время идет только на создание подборки вашей программой (а она делает это быстро), и на анализ подборки (просмотр книг). А вот "выдачу книг из библиотеки" теперь ждать не нужно - это мгновенно. Микрозадержка есть потому, что я просматриваю ваш файл каждые 2 секунды, чтобы без толку не дергать компьютер. Он у вас с точки зрения файловой системы не меняется - она не следит за содержимым файла, и отследить его иначе я не сумел
Так что, очень благодарен вам за программу. Она настолько хороша, что вдохновила меня на переброс всех моих файлов, присуствующих в базе генезиса, в директории генезиса - чтобы затем грузить туда все недостающее.
Quote Кстати... http://libgen.org/ нормально работает... и программа с него прекрасно книги качает... так что оставим пока libgen.info нервно курить в сторонке
Да, но сколько будет длиться счастье? Так что, еще раз благодарю вас за вашу программу. Рзаобраться в их базе - большой труд.
Сообщение отредактировал Vadim_03 - Понедельник, 16.07.2012, 13:37 |
| |
| |
| drserj | Дата: Понедельник, 16.07.2012, 22:25 | Сообщение # 38 |
|
Генералиссимус
Группа: Администраторы
Сообщений: 4693
Статус: Offline
| Quote (Vadim_03) Нет, это клевета. Все вполне универсально. Предварительно другой программой я прошелся по всем дискам и составил таблицы для крупных директориев. Затем таблицы объеденил в одну большую, отсортированную, которая содержит для каждой книги (точнее, позиции) MD5 и путь к ней. Получилось 1300000 строк 197 мегабайт.
угу... конечно не клевета Простая баба Маня предварительно, другой программой... ну и дальше по тексту Ну ты же понимаешь, что твой путь - для избранных
Quote (Vadim_03) Да, но сколько будет длиться счастье?
"эта музыка будет вечно, если я заменю батарейки...." (с)
Я думаю - пока нет излишней цензуры копирастов - будет долго.
drSerj
|
| |
| |
| Vadim_03 | Дата: Вторник, 17.07.2012, 16:05 | Сообщение # 39 |
|
Сержант
Группа: Пользователи
Сообщений: 38
Статус: Offline
| Quote (drserj)
угу... конечно не клевета Простая баба Маня предварительно, другой программой... ну и дальше по тексту Ну ты же понимаешь, что твой путь - для избранных
Если глянуть внимательно на то, что я делал, то это выглядит так:
1. Пройтись по всем местам хранения книг, составить таблицы их местонахождения и привести ее к виду, удобному для работы.
2. При поиске книги использовать предварительно подготовленную информацию, грубо говоря, индекс.
А либген всегда делает то, что я делаю в пункте 1, при поиске каждой книги. Это дает преимущество - если в местах хранения были изменения, они будут автоматически учтены. При относительно небольшом числе единиц хранения это приемлемо. А при большом могут быть проблемы. Но, вполне возможно, что такая ситуация и нетипична. Так что от предложений воздержусь.
Quote (drserj) Я думаю - пока нет излишней цензуры копирастов - будет долго
А это "пока" будет долго?
Да здравствует ЛибГен и его автор - наша страховка против превратностей, возникающих при борьбе за права писателей.
PS
А кто мне звание присвоил?
Сообщение отредактировал Vadim_03 - Вторник, 17.07.2012, 16:07 |
| |
| |
| drserj | Дата: Вторник, 17.07.2012, 17:14 | Сообщение # 40 |
|
Генералиссимус
Группа: Администраторы
Сообщений: 4693
Статус: Offline
| Quote (Vadim_03) А это "пока" будет долго?
надеюсь - да
Quote (Vadim_03) А кто мне звание присвоил?
автомат, по количеству сообщений.
drSerj
|
| |
| |
| Vadim_03 | Дата: Вторник, 17.07.2012, 23:10 | Сообщение # 41 |
|
Сержант
Группа: Пользователи
Сообщений: 38
Статус: Offline
| Quote (Vadim_03) надеюсь - да
Надежды юношей питают
Quote (drserj) автомат, по количеству сообщений.
Это ж сколько у вас сообщений то?
|
| |
| |
| drserj | Дата: Среда, 18.07.2012, 12:02 | Сообщение # 42 |
|
Генералиссимус
Группа: Администраторы
Сообщений: 4693
Статус: Offline
| Quote (Vadim_03) Надежды юношей питают
Ой, вы-таки мне льстите
Quote (Vadim_03)
Quote (Vadim_03)надеюсь - да Надежды юношей питают Quote (drserj)автомат, по количеству сообщений. Это ж сколько у вас сообщений то?
2342 Не считая ответов по мылу, в аське, в скайпе и т д ...
drSerj
|
| |
| |
| Vadim_03 | Дата: Среда, 18.07.2012, 15:12 | Сообщение # 43 |
|
Сержант
Группа: Пользователи
Сообщений: 38
Статус: Offline
| Quote (drserj) Ой, вы-таки мне льстите
Все относительно. Так что, вряд ли.
Quote (drserj) Не считая ответов по мылу, в аське, в скайпе и т д .
Понял. Буду краток и молчалив. Вдохновленный вашей программой, базой Генезиса и сомневаясь в долгожительстве сайта Генезиса, заканчиваю программу для перегрупировки своих книг в структуру Генезиса на предмет закачки туда потом всего недостающего. Вызвано это неумением отключать загрузку файлов в потоках программно. Так что решил, что мне проще просто разместить туда свои файлы, пусть хеширует и получает удовольствие от того, что грузить не надо.
|
| |
| |
| drserj | Дата: Среда, 18.07.2012, 22:37 | Сообщение # 44 |
|
Генералиссимус
Группа: Администраторы
Сообщений: 4693
Статус: Offline
| Quote (Vadim_03) проще просто разместить туда свои файлы, пусть хеширует и получает удовольствие от того, что грузить не надо
как вариант....
drSerj
|
| |
| |
|
Главная 
