LibRusLib
Суббота, 28.12.2024, 00:57
Приветствую Вас Гость | RSS
 
Главная ФорумРегистрацияВход
[ Новые сообщения · Участники · Правила форума · Поиск · RSS ]
Обсуждение работы программы
sermsev5068Дата: Среда, 05.12.2018, 15:38 | Сообщение # 1891
Рядовой
Группа: Пользователи
Сообщений: 8
Репутация: 0
Статус: Offline
To: drserj и PFN
Благодарю за "пояснялки" и толковые ответы! Буду "пытать" свою библиотеку Мультилибом дальше. Попробую что-то усовершенствовать в системе хранения библиотеки (может быть перейти на %z).

Цитата drserj ()
Цитата sermsev5068 ()md5 считается по всему файлу?
да
Мне кажется, для того чтобы была возможность отсеивать книги (fb2 и pub), в которых текст книги одинаковый а отличается только служебная информация, можно предусмотреть в программе отдельную обработку, которая будет считать md5 не по всему файлу, а только по непосредственно тексту.

Для этих же целей (минимизация дублирования) было бы неплохо добавить в программу обработку, позволяющую сравнивать две книги (или даже несколько) и выводить по результату информацию о различиях в виде "двух-колоночного окна", как это делают многие программы сравнения файлов. Если даже и не в Мультилиб непосредственно, то может быть в виде отдельной утилиты. Главное чтобы сравнение производилось не просто побайтно, а с учетом структуры файла (fb2 и pub)
 
drserjДата: Среда, 05.12.2018, 22:14 | Сообщение # 1892
Генералиссимус
Группа: Администраторы
Сообщений: 4693
Репутация: 30
Статус: Offline
Цитата sermsev5068 ()
Мне кажется, для того чтобы была возможность отсеивать книги (fb2 и pub), в которых текст книги одинаковый а отличается только служебная информация, можно предусмотреть в программе отдельную обработку, которая будет считать md5 не по всему файлу, а только по непосредственно тексту.

абсолютно нереально, множество причин.

Цитата sermsev5068 ()
Для этих же целей (минимизация дублирования) было бы неплохо добавить в программу обработку, позволяющую сравнивать две книги (или даже несколько) и выводить по результату информацию о различиях в виде "двух-колоночного окна", как это делают многие программы сравнения файлов.

Для данной программы это непрприемлемое условие. Программа - каталогизатор существующей библиотеки. Она дает возможность работать с уже имеющимся контентом. Программа не может менять контент. По работе с контентом - все вопросы к библиотекарям.


drSerj
 
sermsev5068Дата: Четверг, 06.12.2018, 05:22 | Сообщение # 1893
Рядовой
Группа: Пользователи
Сообщений: 8
Репутация: 0
Статус: Offline
Цитата drserj ()
множество причин.
если можно, хотелось бы узнать причины. хотя бы несколько самых основных

Цитата drserj ()
Программа не может менять контент
а речь не идет об изменении контента. Речь как раз о функциях, которые должны выполняться каталогизатором библиотеки - поиск дубликатов или близких по содержимому книг и выдача как можно более точной информации о различиях тому, кто пользуется этой программой. Для каких целей этот пользователь будет далее использовать эту информацию - удалять что-то или оставить как есть - это уже его дело. В конце концов это его личная библиотека (речь не о Флибусте и Либрусеке, а о PrivateLib- библиотеке, созданной "для себя") и он может делать с ней все что он пожелает. И не надо запускать эту функцию автоматически при загрузке файлов. Решил пользователь заняться "порядком" в своей библиотеке - выбрал несколько книг с одним и тем же произведением, выбрал в меню команду "запустить сравнение", получил результат. Далее - анализируешь различия и решаешь что делать.
 
drserjДата: Четверг, 06.12.2018, 20:21 | Сообщение # 1894
Генералиссимус
Группа: Администраторы
Сообщений: 4693
Репутация: 30
Статус: Offline
Цитата sermsev5068 ()
если можно, хотелось бы узнать причины. хотя бы несколько самых основных

Хотя бы то, что невозможно определить ни начало ни конец текста, невозможно вообще работать с бинарными документами *pdf, dox и т д), любая мелочь (любой измененный символ в тексте) приведут к изменению хэша и т д. Т.е. Для того, что бы тексты книг были идентичны, необходимо четкое выделение самого текста, с точностью до бита соответствие этих текстов. На сегодня такого формата нет.

Цитата sermsev5068 ()
речь не о Флибусте и Либрусеке, а о PrivateLib- библиотеке

ыыы... начал писать такую, но пока заморозил проект.


drSerj
 
Зепп-ХексерДата: Понедельник, 10.12.2018, 16:53 | Сообщение # 1895
Рядовой
Группа: Пользователи
Сообщений: 5
Репутация: 0
Статус: Offline
Здравствуйте! Помогите, пожалуйста. У меня возникла проблема - на новом компьютере мультилиб с флибустой работает критически медленно.
Просто выделяешь книгу и оно зависает минимум на минуту - пишет "загрузка", не позволяет ни переключиться и отменить операцию.
16 гигабайт оперативной памяти, windows 10 64х. Уже поставил новую версию мультилиба - то же самое.
Может быть нужно запустить какое-то сканирование или что-то изменить в настройках? Раньше программа летала, а теперь такая беда с ней.


Сообщение отредактировал Зепп-Хексер - Понедельник, 10.12.2018, 16:54
 
drserjДата: Понедельник, 10.12.2018, 20:31 | Сообщение # 1896
Генералиссимус
Группа: Администраторы
Сообщений: 4693
Репутация: 30
Статус: Offline
Цитата Зепп-Хексер ()
Раньше программа летала, а теперь такая беда с ней.
Имеется подозрение, что "Настройки текущей библиотеки" - "Поддерживаемые форматы имен файлов" установлены все варианты. Рекомендую оставить только использующиеся. Ну и в соседней закладке посмотреть на путь к архивам локальных коллекций.
Если не поможет - напишите, какой формат коллекции и ее местоположение.


drSerj
 
Зепп-ХексерДата: Понедельник, 10.12.2018, 22:03 | Сообщение # 1897
Рядовой
Группа: Пользователи
Сообщений: 5
Репутация: 0
Статус: Offline
Уважаемый drserj, спасибо за ваш ответ. Оставил одну галку (архивы-тысячники зип), стало гораздо лучше. Теперь находит книгу за 20-25 секунд. Можно ли еще как-то побыстрее сделать?
Коллекция флибусты "Формат, качество: FB2&USR, eBook (изначально компьютерное)Версия Flibusta.net: 01.12.2018"
(взято вот с этой страницы https://booktracker.org/viewtopic.php?t=49016 )
Находится на локальном диске, программу положил на тот же диск и указал путь.
 
drserjДата: Понедельник, 10.12.2018, 22:35 | Сообщение # 1898
Генералиссимус
Группа: Администраторы
Сообщений: 4693
Репутация: 30
Статус: Offline
Цитата Зепп-Хексер ()
Находится на локальном диске, программу положил на тот же диск и указал путь.
Путь к архивам локальной коллекции должен указывать на архивы-тысячники.

Цитата Зепп-Хексер ()
Можно ли еще как-то побыстрее сделать?
хм... при контенте, представляющем собой тысячники.... Разве-что винт по-быстрее да проц по-мощнее... Да и то не на много выиграем... Если хотеть реальную мгновенную (доли секунды) скорость - надо контент перегнать в формат %z. Немного приобретаем в размере, но значительно увеличиваем скорость. Правда, придется потратить время на перегонку, но оно того стоит. Тысячники были удобны для транспортировки и хранения. Для работы они неповоротливы.


drSerj
 
Зепп-ХексерДата: Понедельник, 10.12.2018, 22:49 | Сообщение # 1899
Рядовой
Группа: Пользователи
Сообщений: 5
Репутация: 0
Статус: Offline
Проц достаточно приличный, остается перегонка, но я не знаю, что значит "перегнать в формат %z.". Подскажете, пожалуйста, как это осуществить технически? И как потом прицепить базу?
Я попробовал все имена, но только "тысячники" позволяют открыть книгу. Все остальные переключаются быстро, но не открывают. Название архивов выглядит так "d.fb2-009373-367300.zip"
Но странно, у меня раньше программа летала с такими самыми архивами. Может есть еще варианты?


Сообщение отредактировал Зепп-Хексер - Понедельник, 10.12.2018, 23:07
 
drserjДата: Вторник, 11.12.2018, 20:58 | Сообщение # 1900
Генералиссимус
Группа: Администраторы
Сообщений: 4693
Репутация: 30
Статус: Offline
Цитата Зепп-Хексер ()
Может есть еще варианты?

Отключить вывод обложки и аннотации

Цитата Зепп-Хексер ()
Проц достаточно приличный, остается перегонка, но я не знаю, что значит "перегнать в формат %z.". Подскажете, пожалуйста, как это осуществить технически? И как потом прицепить базу?

Прежде чем задавать вопросы, можно было бы хотя бы прошлую страницу просмотреть. Я уже много раз об этом писал. Да и поиск никто не отменял... Вроде и в справке это было...
Формат %z - это формат, в котором одна книга - один файл. В качестве имени файла - его контрольная сумма (Хэш МД5). 
Например,   .\11\55\11552cc95469bd990eba26e355b45c89.zip (первый каталог 11 - первая группа цифр из имени, второй каталог 55 - соответственно вторая, ну и само имя файла). Вкратце, как сформировать коллекцию в таком формате - тут: http://libruslib.ucoz.com/forum/36-121-9144-16-1543950435


drSerj
 
Зепп-ХексерДата: Среда, 12.12.2018, 12:49 | Сообщение # 1901
Рядовой
Группа: Пользователи
Сообщений: 5
Репутация: 0
Статус: Offline
Благодарю вас за совет. Простите за вопросы, до этого я смотрел предыдущие страницы и ничего не понял - много специализированной информации.
Процессор Intel Xeon cpu e5 2620 шесть ядер, 12 потоков. На 4 ядрах программа прекрасно работала, а теперь возникли проблемы. Система была семерка, теперь 10.

 Отключение аннотаций помогло - книга теперь выбирается быстро! Но теперь она открывается по полгода. Что ж такое (


Сообщение отредактировал Зепп-Хексер - Среда, 12.12.2018, 13:02
 
drserjДата: Среда, 12.12.2018, 21:07 | Сообщение # 1902
Генералиссимус
Группа: Администраторы
Сообщений: 4693
Репутация: 30
Статус: Offline
Цитата Зепп-Хексер ()
Процессор Intel Xeon cpu e5 2620 шесть ядер, 12 потоков. На 4 ядрах программа прекрасно работала, а теперь возникли проблемы. Система была семерка, теперь 10.
На самом деле  проц тут мало роли играет. Большую роль играет быстродействие дисковой системы. Может большая дефрагментация?
Вообще, если коллекция полная - настоятельно рекомендую завести под нее отдельный винт. У меня терабайтник под нее отведен. На диске только книги. Пока кроме флибусты есть еще сборки, но скоро, чувствую, прийдется их куда-нить девать. Т.е. Файлов: 546 038, занимает места 806 ГБ 

Цитата Зепп-Хексер ()
Отключение аннотаций помогло - книга теперь выбирается быстро! Но теперь она открывается по полгода. Что ж такое (

При отключении аннотаций и обложки файлы не затрагиваются. А вот то, что при смене комплектующих компа и ОС производительность дисковой системы упала - должно настораживать...


drSerj
 
Зепп-ХексерДата: Понедельник, 17.12.2018, 12:39 | Сообщение # 1903
Рядовой
Группа: Пользователи
Сообщений: 5
Репутация: 0
Статус: Offline
Проблема решилась другим каталогизатором, благодарю за советы!
 
drserjДата: Понедельник, 17.12.2018, 21:19 | Сообщение # 1904
Генералиссимус
Группа: Администраторы
Сообщений: 4693
Репутация: 30
Статус: Offline
Тоже вариант.

drSerj
 
jornada812Дата: Понедельник, 04.02.2019, 14:41 | Сообщение # 1905
Лейтенант
Группа: Пользователи
Сообщений: 44
Репутация: 0
Статус: Offline
drserj, Приветствую. Словил странный глюк. Закачивал книги и 539817 не закачалась с первого раза. Закачал следующим заходом и решил через поиск проверить. Задаю промежуток с 539817 или ранее , книги в списке нет. указываю с 539817 по 539817 , она выводится. Как так?
 
Поиск:

Copyright LibRusLib © 2024