LibRusLib
Пятница, 29.03.2024, 16:38
Приветствую Вас Гость | RSS
 
Главная ФорумРегистрацияВход
[ Новые сообщения · Участники · Правила форума · Поиск · RSS ]
Форум » MultiLib - Библиотекарь » Version 1.x » Обсуждение работы программы (Баги, проблемы, решения)
Обсуждение работы программы
drserjДата: Понедельник, 19.06.2017, 18:11 | Сообщение # 1561
Генералиссимус
Группа: Администраторы
Сообщений: 4693
Репутация: 30
Статус: Offline
Цитата jornada812 ()
я сейчас выдрал из архива первую тысячу и актуализровал ее в скачанном. Так показала в принципе каких файлов нет

Очень правильно,только тогда имеет смысл всё перегнать в один формат, времени потратишь ненамного больше, зато эффект внушительный. У меня сейчас поиск книги на диске - единицы миллисекунд. в тысячниках - секунды (десятки секунд)


drSerj
 
drserjДата: Понедельник, 19.06.2017, 18:44 | Сообщение # 1562
Генералиссимус
Группа: Администраторы
Сообщений: 4693
Репутация: 30
Статус: Offline
Цитата jornada812 ()
Хотелось бы.. не знаю для чего, наверное для порядка) Можно ткнуть носом в дату, когда это описывалось.

пардон, не заметил первой части smile
я несколько раз описывал процесс, но когда - уже не помню... по этому проще написать чем искать smile


drSerj
 
jornada812Дата: Понедельник, 19.06.2017, 18:48 | Сообщение # 1563
Лейтенант
Группа: Пользователи
Сообщений: 44
Репутация: 0
Статус: Offline
буду премного благодарен. Я периодически обновляю флибусту и либрус, а держать две библиотеки на винте не хочется. Поэтому стоит задача полдучать только обновления, а потом слить это в свою версию. Ну и заодно сравнить все файлы по контрольной сумме и сделать микс некий.. Наверное оставив только fb2 файлы, поскольку остальное не востребовано
 
drserjДата: Понедельник, 19.06.2017, 19:21 | Сообщение # 1564
Генералиссимус
Группа: Администраторы
Сообщений: 4693
Репутация: 30
Статус: Offline
Цитата jornada812 ()
Я периодически обновляю флибусту и либрус, а держать две библиотеки на винте не хочется.

На самом деле и не надо. До какого-то момента я держал, но потом удалил либрус как класс и объясню почему.
не секрет, что до какого-то момента флибуста являлась зеркалом либруса и ее контент полностью совпадал с либрусовским. Далее прошла монетизация либруса с условием - зальешь книжек - получишь статус. И тут-то всё понеслось - на либрус начали валить тонны дерьма, никому не нужного. На самом же деле основные поставщики нормального контента либруса и флибусты - одни и те же люди. По сей причине как только что-то появляется в сети - оно параллельно заносится на либрус и флибусту. Исключения - правленные версии. в итоге, если мы отделим зёрна от плевел, удалив всё лишнее - окажется, что контенты этих библиотек совпадают. В то же самое время, сделав сравнение по МД5 окажется - разница значительна. Как же так, спросит рядовой читатель smile А очень просто, в свое время за каким-то хреном, на либрусе внесли изменения в книги, где пробел в конце добавив, где еще чего... Зачем - история умалчивает, но книги по мд5 - отличаются. Нет, я допускаю, что есть часть книг, которые по какой-то причине на флибусте отсутствуют. Но, думается, этого совсем не достаточно, что бы держать даже не две, а , зачастую - двадцать две копии одного и того же.

Впрочем, если есть желание, предлагается краткий обзор по причесыванию библиотеки, переводя разные варианты контента к единому. Но в начале пояснение:

Формат файла %z - это не что иное, как имя файла, представляющее собой контрольную сумму файла(MD5), помещенного в zip-архив. Дабы не загружать файловую систему большим количеством файлов в одном каталоге (это очень напрягает и тормозит компьютер) все файлы располагаются в двухуровневой структуре каталогов. Например, если имя файла 002f0c02ad65405d70f25ce629b99d89.zip то лежать он будет в каталоге .\00\2f\

Как же перейти на столь замечательный формат? smile
1.В настройках программы выбираем все использующиеся форматы хранения файлов и указываем место их складирования.
2.Вызываем окно поиска и указываем начальный и конечный bookid книг, которые хотим преобразовать (точнее скопировать). Почему не советую много и сразу - вдруг придется приостанавливать работу - неудобно. Да и таблица тяжело работает с десятками тысяч записей. А так взял несколько файлов - взял минимальный ид, максимальный и вперед.
3. (Если хотим выбрать не всё - можем наложить фильтры, например на язык и формат) Выбираем в таблице результатов поиска все записи и вызываем копирование на устройство. В появившемся окне выбираем маску файла %z (если такой нет - создаём) и указываем новое расположение контента в формате %z.
4.Жмем Ок и ждем, когда все файлы будут перегнаны в этот формат. 
5.Повторяем для следующей порции файлов до полной перегонки всего контента. Можем при копировании на устройство еще и добавить автоматом отсутствующие файлы в загрузку.
Далее, если реально надо отслеживать наличие файла - можем сделать актуализацию.

Это вкратце. Если есть вопросы - задавай.


drSerj
 
jornada812Дата: Понедельник, 19.06.2017, 19:54 | Сообщение # 1565
Лейтенант
Группа: Пользователи
Сообщений: 44
Репутация: 0
Статус: Offline
И сколько будет весить несжатая флибуста?
У меня они ложатся в папки в несжатом виде..

Добавлено (19.06.2017, 17:54)
---------------------------------------------
С архивами разобрался.. а как переключить саму библиотеку, чтобы она файл брала из того места куда я его скопировал в новом формате?


Сообщение отредактировал jornada812 - Понедельник, 19.06.2017, 20:01
 
drserjДата: Понедельник, 19.06.2017, 19:57 | Сообщение # 1566
Генералиссимус
Группа: Администраторы
Сообщений: 4693
Репутация: 30
Статус: Offline
Цитата jornada812 ()
И сколько будет весить несжатая флибуста?
зачем несжатая? каждый файл - zip
Настройки - Устройство - Архивация: Архивация всех типов файлов
Степень сжатия: 9
Переименовывать файлы внутри архива - по желанию (у меня установлено)

При таком раскладе полный набор флибусты у меня:

Всего в наличии Файлов: 472 401; папок: 65 741
Размер: 538 ГБ 
Отсутствует файлов: 162 (их реально нет и никогда не было)


drSerj
 
jornada812Дата: Понедельник, 19.06.2017, 23:32 | Сообщение # 1567
Лейтенант
Группа: Пользователи
Сообщений: 44
Репутация: 0
Статус: Offline
Что то я начинаю путаться в актуализации. По какому алгоритму программа решает откуда она берет книжку, если она лежит по разным путям и эти пути указаны как архивы локальной коллекции? У меня были архивы тысячники, была папка для файлов которые я скачал. Теперь я указал, где мне хранить структуру c md5 (добавил ее в пути для архивов), папку для скачивания указал ее же.. и не понимаю по каким законам это существует)
 
drserjДата: Вторник, 20.06.2017, 15:00 | Сообщение # 1568
Генералиссимус
Группа: Администраторы
Сообщений: 4693
Репутация: 30
Статус: Offline
Всё достаточно просто smile
Есть 2 источника - это путь к скачиваемым файлам и набор путей к архивам локальных коллекций.
Актуализация производится по всем вышеперечисленным источникам но только по тем форматам имен файлов, которые выбраны в списке в настройках.

Тебе надо сначала провести конвертацию, а затем уже одним махом сделать актуализацию. Это приблизительно так, как я делаю ежедневно, добрасывая новую порцию книг, скачиваемую в формате архивов-дейли.
В путях к архивам локальных коллекций у меня прописано два пути - к контенту в формате %z и к временному каталогу, куда я буду сбрасывать файлы.
Скачиваю новые ежедневные архивы. Копирую их во временный каталог . В настройках отмечаю тип - архивы-тысячники и выбираю в путях только временный каталог. Делаю поиск от начального на данный день bookid до конечного. Затем, выбрав все найденные записи, копирую их в тот же временный каталог. После копирования - удаляю только-что скачанные архивы-тысячники. В настройках переключаю тип файлов на "Фиксированная структура..." и делаю актуализацию (только поиск новых книг). После чего переношу все файлы в основной каталог, где хранится весь контент, в настройках путей указываю путь к этому контенту а путь ко временной папке - отключаю.
Кажется, что слишком много операций и не совсем очевидных, но на самом деле - всё очень просто и быстро smile


drSerj
 
jornada812Дата: Среда, 21.06.2017, 13:14 | Сообщение # 1569
Лейтенант
Группа: Пользователи
Сообщений: 44
Репутация: 0
Статус: Offline
А зачем копировать во временный каталог, а потом переносить? Не проще сразу из той папки где лежат дейли архивы выгрузить на устройство указав уже тот путь, где лежит структура md5 основной библиотеки? 
И еще один вопрос - что из себя представляет актуализация? Если отмечены несколько путей и одна и та же книга лежит и по одному пути и по другому - по какому алгоритму она будет работать и какой путь в приоритете?
 
drserjДата: Среда, 21.06.2017, 19:47 | Сообщение # 1570
Генералиссимус
Группа: Администраторы
Сообщений: 4693
Репутация: 30
Статус: Offline
Цитата jornada812 ()
А зачем копировать во временный каталог, а потом переносить? Не проще сразу из той папки где лежат дейли архивы выгрузить на устройство указав уже тот путь, где лежит структура md5 основной библиотеки?
 Я ждал этот вопрос smile Дело в том, что я делаю актуализацию после каждого импорта. Актуализация кусочка делается до минуты (просто добавляем новые книги), актуализация всего массива - от десятков минут и больше.

Цитата jornada812 ()
И еще один вопрос - что из себя представляет актуализация?
Актуализация - это поиск и установка даты(подразумевается, что актуализация выполняется сразу после импорта)  в поле базы. Актуализация не привязана к путям, по этому можно спокойно тосовать книги в папках. Пути в приоритете - по идее тот порядок, что в списке. Хотя, какая разница. Я бы рекомендовал использовать одно место для хранения. Ну и одно - для временных операций.


drSerj
 
surgutianДата: Понедельник, 26.06.2017, 12:53 | Сообщение # 1571
Сержант
Группа: Пользователи
Сообщений: 36
Репутация: 0
Статус: Offline
В списке на http://lib.rus.ec/sql/ сегодня пропали файлы
libgenremeta.sql и 2017-06-xx.libgenremeta.sql.
Снова приплыли..?
 
jornadaДата: Понедельник, 26.06.2017, 15:07 | Сообщение # 1572
Рядовой
Группа: Пользователи
Сообщений: 15
Репутация: 0
Статус: Offline
Что то сегодня авторизация с помощью VK не работает..и обычной авторизации на форуме через пароль и логин нет.  Ну в общем это дело десятое.. вопрос такой - я импортировал всю библиотеку в md5, сделал актуализацию и решил посмотреть количество книжек.. имею 335169 книг в формате fb2. По крайней мере поиск в программе по ID от 0 до последней ID выдает именно такое количество. А на сайте либерторрента, где в свое время забирал архивы тысячники,  на данный  момент времени в раздаче написано - на 01.06.2017 (398830 книг). Вопрос - это я накосячил и потерял столько книжек или это они считать не умеют?
 
drserjДата: Понедельник, 26.06.2017, 20:31 | Сообщение # 1573
Генералиссимус
Группа: Администраторы
Сообщений: 4693
Репутация: 30
Статус: Offline
Цитата surgutian ()
Снова приплыли..?

Похоже на то... Чуть позже посмотрю что они там снова натворили...


drSerj
 
drserjДата: Понедельник, 26.06.2017, 20:43 | Сообщение # 1574
Генералиссимус
Группа: Администраторы
Сообщений: 4693
Репутация: 30
Статус: Offline
Цитата jornada ()
Что то сегодня авторизация с помощью VK не работает..и обычной авторизации на форуме через пароль и логин нет.
это укозовцы что-то химичат... я давно по ихнему уиду авторизуюсь...

Цитата jornada ()
Вопрос - это я накосячил и потерял столько книжек или это они считать не умеют?
хм.. вопрос интересен... есть вариант обоюдного косяка smile как вариант - докачай всё, чего у тя нет... хотя, слабо верится.... проще смотреть по базе. 
Есть вариант:
1. смотрим пару книг, которых нет в наличии в новом формате
2. смотрим, есть ли реально эти книги в архивах на либерторренте
3. если в архивах есть - смотрим название киги в архиве и делаем выводы о том, что какой-то формат в перечне включеных отсутствует.

Как еще один вариант - получаем список всех книг, которые отсутствуют и смотрим - не один ли это архив.

Мне трудно сказать реальную причину. В свое время таких причин было несколько и трудно определиться что именно встретилось сейчас.
1. Был разрыв с потерей блока книг, который в последствии заполнили новыми книгами
2. Часть книг была удалена и в последствии на это место были занесены новые книги
3. Часть книг никогда в библиотеке не было, только инфа о них
4. Некоторые имена в архивах были искажены из-за юникода и их надо было вытягивать вручную (хотя я вроде всё это победил)
5. Надо делать скидку на то, что это вряд ли реальные архивы библиотеки, скорее это чей-то репак. Так что и тут могут быть вопросы.
6. Может встретился битый архив и книги не были скопированы.

и еще одно - если архивы реально старые - с новой базой будут некоторые несоответствия.

Так что вывод один - на каждую книжку может быть свой косяк smile


drSerj
 
jornadaДата: Понедельник, 26.06.2017, 21:01 | Сообщение # 1575
Рядовой
Группа: Пользователи
Сообщений: 15
Репутация: 0
Статус: Offline

Цитата
Есть вариант: 
1. смотрим пару книг, которых нет в наличии в новом формате

Может что то не понимаю.. импортировал базу, в этой базе после наложения фильтра "только fb2" уже меньше книг, чем указано в архиве либерторрента , т.е. просто в списке этом их количество меньше . На пару так десятков тысяч. Так что с чем сравнивать и как?
 
Форум » MultiLib - Библиотекарь » Version 1.x » Обсуждение работы программы (Баги, проблемы, решения)
Поиск:

Copyright LibRusLib © 2024