|
Обсуждение работы программы
| |
| drserj | Дата: Понедельник, 19.06.2017, 18:11 | Сообщение # 1561 |
|
Генералиссимус
Группа: Администраторы
Сообщений: 4693
Статус: Offline
| Цитата jornada812 (  ) я сейчас выдрал из архива первую тысячу и актуализровал ее в скачанном. Так показала в принципе каких файлов нет
Очень правильно,только тогда имеет смысл всё перегнать в один формат, времени потратишь ненамного больше, зато эффект внушительный. У меня сейчас поиск книги на диске - единицы миллисекунд. в тысячниках - секунды (десятки секунд)
drSerj
|
| |
| |
| drserj | Дата: Понедельник, 19.06.2017, 18:44 | Сообщение # 1562 |
|
Генералиссимус
Группа: Администраторы
Сообщений: 4693
Статус: Offline
| Цитата jornada812 ( ) Хотелось бы.. не знаю для чего, наверное для порядка) Можно ткнуть носом в дату, когда это описывалось.
пардон, не заметил первой части 
я несколько раз описывал процесс, но когда - уже не помню... по этому проще написать чем искать
drSerj
|
| |
| |
| jornada812 | Дата: Понедельник, 19.06.2017, 18:48 | Сообщение # 1563 |
|
Лейтенант
Группа: Пользователи
Сообщений: 44
Статус: Offline
| буду премного благодарен. Я периодически обновляю флибусту и либрус, а держать две библиотеки на винте не хочется. Поэтому стоит задача полдучать только обновления, а потом слить это в свою версию. Ну и заодно сравнить все файлы по контрольной сумме и сделать микс некий.. Наверное оставив только fb2 файлы, поскольку остальное не востребовано
|
| |
| |
| drserj | Дата: Понедельник, 19.06.2017, 19:21 | Сообщение # 1564 |
|
Генералиссимус
Группа: Администраторы
Сообщений: 4693
Статус: Offline
| Цитата jornada812 ( ) Я периодически обновляю флибусту и либрус, а держать две библиотеки на винте не хочется.
На самом деле и не надо. До какого-то момента я держал, но потом удалил либрус как класс и объясню почему.
не секрет, что до какого-то момента флибуста являлась зеркалом либруса и ее контент полностью совпадал с либрусовским. Далее прошла монетизация либруса с условием - зальешь книжек - получишь статус. И тут-то всё понеслось - на либрус начали валить тонны дерьма, никому не нужного. На самом же деле основные поставщики нормального контента либруса и флибусты - одни и те же люди. По сей причине как только что-то появляется в сети - оно параллельно заносится на либрус и флибусту. Исключения - правленные версии. в итоге, если мы отделим зёрна от плевел, удалив всё лишнее - окажется, что контенты этих библиотек совпадают. В то же самое время, сделав сравнение по МД5 окажется - разница значительна. Как же так, спросит рядовой читатель А очень просто, в свое время за каким-то хреном, на либрусе внесли изменения в книги, где пробел в конце добавив, где еще чего... Зачем - история умалчивает, но книги по мд5 - отличаются. Нет, я допускаю, что есть часть книг, которые по какой-то причине на флибусте отсутствуют. Но, думается, этого совсем не достаточно, что бы держать даже не две, а , зачастую - двадцать две копии одного и того же.
Впрочем, если есть желание, предлагается краткий обзор по причесыванию библиотеки, переводя разные варианты контента к единому. Но в начале пояснение:
Формат файла %z - это не что иное, как имя файла, представляющее собой контрольную сумму файла(MD5), помещенного в zip-архив. Дабы не загружать файловую систему большим количеством файлов в одном каталоге (это очень напрягает и тормозит компьютер) все файлы располагаются в двухуровневой структуре каталогов. Например, если имя файла 002f0c02ad65405d70f25ce629b99d89.zip то лежать он будет в каталоге .\00\2f\
Как же перейти на столь замечательный формат?
1.В настройках программы выбираем все использующиеся форматы хранения файлов и указываем место их складирования.
2.Вызываем окно поиска и указываем начальный и конечный bookid книг, которые хотим преобразовать (точнее скопировать). Почему не советую много и сразу - вдруг придется приостанавливать работу - неудобно. Да и таблица тяжело работает с десятками тысяч записей. А так взял несколько файлов - взял минимальный ид, максимальный и вперед.
3. (Если хотим выбрать не всё - можем наложить фильтры, например на язык и формат) Выбираем в таблице результатов поиска все записи и вызываем копирование на устройство. В появившемся окне выбираем маску файла %z (если такой нет - создаём) и указываем новое расположение контента в формате %z.
4.Жмем Ок и ждем, когда все файлы будут перегнаны в этот формат.
5.Повторяем для следующей порции файлов до полной перегонки всего контента. Можем при копировании на устройство еще и добавить автоматом отсутствующие файлы в загрузку.
Далее, если реально надо отслеживать наличие файла - можем сделать актуализацию.
Это вкратце. Если есть вопросы - задавай.
drSerj
|
| |
| |
| jornada812 | Дата: Понедельник, 19.06.2017, 19:54 | Сообщение # 1565 |
|
Лейтенант
Группа: Пользователи
Сообщений: 44
Статус: Offline
| И сколько будет весить несжатая флибуста?
У меня они ложатся в папки в несжатом виде..
Добавлено (19.06.2017, 17:54)
---------------------------------------------
С архивами разобрался.. а как переключить саму библиотеку, чтобы она файл брала из того места куда я его скопировал в новом формате?
Сообщение отредактировал jornada812 - Понедельник, 19.06.2017, 20:01 |
| |
| |
| drserj | Дата: Понедельник, 19.06.2017, 19:57 | Сообщение # 1566 |
|
Генералиссимус
Группа: Администраторы
Сообщений: 4693
Статус: Offline
| Цитата jornada812 ( ) И сколько будет весить несжатая флибуста?
Настройки - Устройство - Архивация: Архивация всех типов файлов
Степень сжатия: 9
Переименовывать файлы внутри архива - по желанию (у меня установлено)
При таком раскладе полный набор флибусты у меня:
Всего в наличии Файлов: 472 401; папок: 65 741
Размер: 538 ГБ
Отсутствует файлов: 162 (их реально нет и никогда не было)
drSerj
|
| |
| |
| jornada812 | Дата: Понедельник, 19.06.2017, 23:32 | Сообщение # 1567 |
|
Лейтенант
Группа: Пользователи
Сообщений: 44
Статус: Offline
| Что то я начинаю путаться в актуализации. По какому алгоритму программа решает откуда она берет книжку, если она лежит по разным путям и эти пути указаны как архивы локальной коллекции? У меня были архивы тысячники, была папка для файлов которые я скачал. Теперь я указал, где мне хранить структуру c md5 (добавил ее в пути для архивов), папку для скачивания указал ее же.. и не понимаю по каким законам это существует)
|
| |
| |
| drserj | Дата: Вторник, 20.06.2017, 15:00 | Сообщение # 1568 |
|
Генералиссимус
Группа: Администраторы
Сообщений: 4693
Статус: Offline
| Всё достаточно просто
Есть 2 источника - это путь к скачиваемым файлам и набор путей к архивам локальных коллекций.
Актуализация производится по всем вышеперечисленным источникам но только по тем форматам имен файлов, которые выбраны в списке в настройках.
Тебе надо сначала провести конвертацию, а затем уже одним махом сделать актуализацию. Это приблизительно так, как я делаю ежедневно, добрасывая новую порцию книг, скачиваемую в формате архивов-дейли.
В путях к архивам локальных коллекций у меня прописано два пути - к контенту в формате %z и к временному каталогу, куда я буду сбрасывать файлы.
Скачиваю новые ежедневные архивы. Копирую их во временный каталог . В настройках отмечаю тип - архивы-тысячники и выбираю в путях только временный каталог. Делаю поиск от начального на данный день bookid до конечного. Затем, выбрав все найденные записи, копирую их в тот же временный каталог. После копирования - удаляю только-что скачанные архивы-тысячники. В настройках переключаю тип файлов на "Фиксированная структура..." и делаю актуализацию (только поиск новых книг). После чего переношу все файлы в основной каталог, где хранится весь контент, в настройках путей указываю путь к этому контенту а путь ко временной папке - отключаю.
Кажется, что слишком много операций и не совсем очевидных, но на самом деле - всё очень просто и быстро
drSerj
|
| |
| |
| jornada812 | Дата: Среда, 21.06.2017, 13:14 | Сообщение # 1569 |
|
Лейтенант
Группа: Пользователи
Сообщений: 44
Статус: Offline
| А зачем копировать во временный каталог, а потом переносить? Не проще сразу из той папки где лежат дейли архивы выгрузить на устройство указав уже тот путь, где лежит структура md5 основной библиотеки?
И еще один вопрос - что из себя представляет актуализация? Если отмечены несколько путей и одна и та же книга лежит и по одному пути и по другому - по какому алгоритму она будет работать и какой путь в приоритете?
|
| |
| |
| drserj | Дата: Среда, 21.06.2017, 19:47 | Сообщение # 1570 |
|
Генералиссимус
Группа: Администраторы
Сообщений: 4693
Статус: Offline
| Цитата jornada812 ( ) А зачем копировать во временный каталог, а потом переносить? Не проще сразу из той папки где лежат дейли архивы выгрузить на устройство указав уже тот путь, где лежит структура md5 основной библиотеки?
Цитата jornada812 ( ) И еще один вопрос - что из себя представляет актуализация?
drSerj
|
| |
| |
| surgutian | Дата: Понедельник, 26.06.2017, 12:53 | Сообщение # 1571 |
|
Сержант
Группа: Пользователи
Сообщений: 36
Статус: Offline
| В списке на http://lib.rus.ec/sql/ сегодня пропали файлы
libgenremeta.sql и 2017-06-xx.libgenremeta.sql.
Снова приплыли..?
|
| |
| |
| jornada | Дата: Понедельник, 26.06.2017, 15:07 | Сообщение # 1572 |
|
Рядовой
Группа: Пользователи
Сообщений: 15
Статус: Offline
| Что то сегодня авторизация с помощью VK не работает..и обычной авторизации на форуме через пароль и логин нет. Ну в общем это дело десятое.. вопрос такой - я импортировал всю библиотеку в md5, сделал актуализацию и решил посмотреть количество книжек.. имею 335169 книг в формате fb2. По крайней мере поиск в программе по ID от 0 до последней ID выдает именно такое количество. А на сайте либерторрента, где в свое время забирал архивы тысячники, на данный момент времени в раздаче написано - на 01.06.2017 (398830 книг). Вопрос - это я накосячил и потерял столько книжек или это они считать не умеют?
|
| |
| |
| drserj | Дата: Понедельник, 26.06.2017, 20:31 | Сообщение # 1573 |
|
Генералиссимус
Группа: Администраторы
Сообщений: 4693
Статус: Offline
| Цитата surgutian ( ) Снова приплыли..?
Похоже на то... Чуть позже посмотрю что они там снова натворили...
drSerj
|
| |
| |
| drserj | Дата: Понедельник, 26.06.2017, 20:43 | Сообщение # 1574 |
|
Генералиссимус
Группа: Администраторы
Сообщений: 4693
Статус: Offline
| Цитата jornada ( ) Что то сегодня авторизация с помощью VK не работает..и обычной авторизации на форуме через пароль и логин нет.
Цитата jornada ( ) Вопрос - это я накосячил и потерял столько книжек или это они считать не умеют?
Есть вариант:
1. смотрим пару книг, которых нет в наличии в новом формате
2. смотрим, есть ли реально эти книги в архивах на либерторренте
3. если в архивах есть - смотрим название киги в архиве и делаем выводы о том, что какой-то формат в перечне включеных отсутствует.
Как еще один вариант - получаем список всех книг, которые отсутствуют и смотрим - не один ли это архив.
Мне трудно сказать реальную причину. В свое время таких причин было несколько и трудно определиться что именно встретилось сейчас.
1. Был разрыв с потерей блока книг, который в последствии заполнили новыми книгами
2. Часть книг была удалена и в последствии на это место были занесены новые книги
3. Часть книг никогда в библиотеке не было, только инфа о них
4. Некоторые имена в архивах были искажены из-за юникода и их надо было вытягивать вручную (хотя я вроде всё это победил)
5. Надо делать скидку на то, что это вряд ли реальные архивы библиотеки, скорее это чей-то репак. Так что и тут могут быть вопросы.
6. Может встретился битый архив и книги не были скопированы.
и еще одно - если архивы реально старые - с новой базой будут некоторые несоответствия.
Так что вывод один - на каждую книжку может быть свой косяк
drSerj
|
| |
| |
| jornada | Дата: Понедельник, 26.06.2017, 21:01 | Сообщение # 1575 |
|
Рядовой
Группа: Пользователи
Сообщений: 15
Статус: Offline
| Цитата Есть вариант:
1. смотрим пару книг, которых нет в наличии в новом формате
Может что то не понимаю.. импортировал базу, в этой базе после наложения фильтра "только fb2" уже меньше книг, чем указано в архиве либерторрента , т.е. просто в списке этом их количество меньше . На пару так десятков тысяч. Так что с чем сравнивать и как?
|
| |
| |
|
Главная 
