Обсуждение работы программы
| |
sermsev5068 | Дата: Среда, 05.12.2018, 15:38 | Сообщение # 1891 |
Рядовой
Группа: Пользователи
Сообщений: 8
Статус: Offline
| To: drserj и PFN Благодарю за "пояснялки" и толковые ответы! Буду "пытать" свою библиотеку Мультилибом дальше. Попробую что-то усовершенствовать в системе хранения библиотеки (может быть перейти на %z).
Цитата drserj ( ) Цитата sermsev5068 ()md5 считается по всему файлу? да Мне кажется, для того чтобы была возможность отсеивать книги (fb2 и pub), в которых текст книги одинаковый а отличается только служебная информация, можно предусмотреть в программе отдельную обработку, которая будет считать md5 не по всему файлу, а только по непосредственно тексту.
Для этих же целей (минимизация дублирования) было бы неплохо добавить в программу обработку, позволяющую сравнивать две книги (или даже несколько) и выводить по результату информацию о различиях в виде "двух-колоночного окна", как это делают многие программы сравнения файлов. Если даже и не в Мультилиб непосредственно, то может быть в виде отдельной утилиты. Главное чтобы сравнение производилось не просто побайтно, а с учетом структуры файла (fb2 и pub)
|
|
| |
drserj | Дата: Среда, 05.12.2018, 22:14 | Сообщение # 1892 |
Генералиссимус
Группа: Администраторы
Сообщений: 4693
Статус: Offline
| Цитата sermsev5068 ( ) Мне кажется, для того чтобы была возможность отсеивать книги (fb2 и pub), в которых текст книги одинаковый а отличается только служебная информация, можно предусмотреть в программе отдельную обработку, которая будет считать md5 не по всему файлу, а только по непосредственно тексту. абсолютно нереально, множество причин.
Цитата sermsev5068 ( ) Для этих же целей (минимизация дублирования) было бы неплохо добавить в программу обработку, позволяющую сравнивать две книги (или даже несколько) и выводить по результату информацию о различиях в виде "двух-колоночного окна", как это делают многие программы сравнения файлов. Для данной программы это непрприемлемое условие. Программа - каталогизатор существующей библиотеки. Она дает возможность работать с уже имеющимся контентом. Программа не может менять контент. По работе с контентом - все вопросы к библиотекарям.
drSerj
|
|
| |
sermsev5068 | Дата: Четверг, 06.12.2018, 05:22 | Сообщение # 1893 |
Рядовой
Группа: Пользователи
Сообщений: 8
Статус: Offline
| Цитата drserj ( ) множество причин. если можно, хотелось бы узнать причины. хотя бы несколько самых основных
Цитата drserj ( ) Программа не может менять контент а речь не идет об изменении контента. Речь как раз о функциях, которые должны выполняться каталогизатором библиотеки - поиск дубликатов или близких по содержимому книг и выдача как можно более точной информации о различиях тому, кто пользуется этой программой. Для каких целей этот пользователь будет далее использовать эту информацию - удалять что-то или оставить как есть - это уже его дело. В конце концов это его личная библиотека (речь не о Флибусте и Либрусеке, а о PrivateLib- библиотеке, созданной "для себя") и он может делать с ней все что он пожелает. И не надо запускать эту функцию автоматически при загрузке файлов. Решил пользователь заняться "порядком" в своей библиотеке - выбрал несколько книг с одним и тем же произведением, выбрал в меню команду "запустить сравнение", получил результат. Далее - анализируешь различия и решаешь что делать.
|
|
| |
drserj | Дата: Четверг, 06.12.2018, 20:21 | Сообщение # 1894 |
Генералиссимус
Группа: Администраторы
Сообщений: 4693
Статус: Offline
| Цитата sermsev5068 ( ) если можно, хотелось бы узнать причины. хотя бы несколько самых основных Хотя бы то, что невозможно определить ни начало ни конец текста, невозможно вообще работать с бинарными документами *pdf, dox и т д), любая мелочь (любой измененный символ в тексте) приведут к изменению хэша и т д. Т.е. Для того, что бы тексты книг были идентичны, необходимо четкое выделение самого текста, с точностью до бита соответствие этих текстов. На сегодня такого формата нет.
Цитата sermsev5068 ( ) речь не о Флибусте и Либрусеке, а о PrivateLib- библиотеке ыыы... начал писать такую, но пока заморозил проект.
drSerj
|
|
| |
Зепп-Хексер | Дата: Понедельник, 10.12.2018, 16:53 | Сообщение # 1895 |
Рядовой
Группа: Пользователи
Сообщений: 5
Статус: Offline
| Здравствуйте! Помогите, пожалуйста. У меня возникла проблема - на новом компьютере мультилиб с флибустой работает критически медленно. Просто выделяешь книгу и оно зависает минимум на минуту - пишет "загрузка", не позволяет ни переключиться и отменить операцию. 16 гигабайт оперативной памяти, windows 10 64х. Уже поставил новую версию мультилиба - то же самое. Может быть нужно запустить какое-то сканирование или что-то изменить в настройках? Раньше программа летала, а теперь такая беда с ней.
Сообщение отредактировал Зепп-Хексер - Понедельник, 10.12.2018, 16:54 |
|
| |
drserj | Дата: Понедельник, 10.12.2018, 20:31 | Сообщение # 1896 |
Генералиссимус
Группа: Администраторы
Сообщений: 4693
Статус: Offline
| Цитата Зепп-Хексер ( ) Раньше программа летала, а теперь такая беда с ней. Имеется подозрение, что "Настройки текущей библиотеки" - "Поддерживаемые форматы имен файлов" установлены все варианты. Рекомендую оставить только использующиеся. Ну и в соседней закладке посмотреть на путь к архивам локальных коллекций. Если не поможет - напишите, какой формат коллекции и ее местоположение.
drSerj
|
|
| |
Зепп-Хексер | Дата: Понедельник, 10.12.2018, 22:03 | Сообщение # 1897 |
Рядовой
Группа: Пользователи
Сообщений: 5
Статус: Offline
| Уважаемый drserj, спасибо за ваш ответ. Оставил одну галку (архивы-тысячники зип), стало гораздо лучше. Теперь находит книгу за 20-25 секунд. Можно ли еще как-то побыстрее сделать? Коллекция флибусты "Формат, качество: FB2&USR, eBook (изначально компьютерное)Версия Flibusta.net: 01.12.2018" (взято вот с этой страницы https://booktracker.org/viewtopic.php?t=49016 ) Находится на локальном диске, программу положил на тот же диск и указал путь.
|
|
| |
drserj | Дата: Понедельник, 10.12.2018, 22:35 | Сообщение # 1898 |
Генералиссимус
Группа: Администраторы
Сообщений: 4693
Статус: Offline
| Цитата Зепп-Хексер ( ) Находится на локальном диске, программу положил на тот же диск и указал путь. Путь к архивам локальной коллекции должен указывать на архивы-тысячники.
Цитата Зепп-Хексер ( ) Можно ли еще как-то побыстрее сделать? хм... при контенте, представляющем собой тысячники.... Разве-что винт по-быстрее да проц по-мощнее... Да и то не на много выиграем... Если хотеть реальную мгновенную (доли секунды) скорость - надо контент перегнать в формат %z. Немного приобретаем в размере, но значительно увеличиваем скорость. Правда, придется потратить время на перегонку, но оно того стоит. Тысячники были удобны для транспортировки и хранения. Для работы они неповоротливы.
drSerj
|
|
| |
Зепп-Хексер | Дата: Понедельник, 10.12.2018, 22:49 | Сообщение # 1899 |
Рядовой
Группа: Пользователи
Сообщений: 5
Статус: Offline
| Проц достаточно приличный, остается перегонка, но я не знаю, что значит "перегнать в формат %z.". Подскажете, пожалуйста, как это осуществить технически? И как потом прицепить базу? Я попробовал все имена, но только "тысячники" позволяют открыть книгу. Все остальные переключаются быстро, но не открывают. Название архивов выглядит так "d.fb2-009373-367300.zip" Но странно, у меня раньше программа летала с такими самыми архивами. Может есть еще варианты?
Сообщение отредактировал Зепп-Хексер - Понедельник, 10.12.2018, 23:07 |
|
| |
drserj | Дата: Вторник, 11.12.2018, 20:58 | Сообщение # 1900 |
Генералиссимус
Группа: Администраторы
Сообщений: 4693
Статус: Offline
| Цитата Зепп-Хексер ( ) Может есть еще варианты? Отключить вывод обложки и аннотации
Цитата Зепп-Хексер ( ) Проц достаточно приличный, остается перегонка, но я не знаю, что значит "перегнать в формат %z.". Подскажете, пожалуйста, как это осуществить технически? И как потом прицепить базу? Прежде чем задавать вопросы, можно было бы хотя бы прошлую страницу просмотреть. Я уже много раз об этом писал. Да и поиск никто не отменял... Вроде и в справке это было... Формат %z - это формат, в котором одна книга - один файл. В качестве имени файла - его контрольная сумма (Хэш МД5). Например, .\11\55\11552cc95469bd990eba26e355b45c89.zip (первый каталог 11 - первая группа цифр из имени, второй каталог 55 - соответственно вторая, ну и само имя файла). Вкратце, как сформировать коллекцию в таком формате - тут: http://libruslib.ucoz.com/forum/36-121-9144-16-1543950435
drSerj
|
|
| |
Зепп-Хексер | Дата: Среда, 12.12.2018, 12:49 | Сообщение # 1901 |
Рядовой
Группа: Пользователи
Сообщений: 5
Статус: Offline
| Благодарю вас за совет. Простите за вопросы, до этого я смотрел предыдущие страницы и ничего не понял - много специализированной информации. Процессор Intel Xeon cpu e5 2620 шесть ядер, 12 потоков. На 4 ядрах программа прекрасно работала, а теперь возникли проблемы. Система была семерка, теперь 10.
Отключение аннотаций помогло - книга теперь выбирается быстро! Но теперь она открывается по полгода. Что ж такое (
Сообщение отредактировал Зепп-Хексер - Среда, 12.12.2018, 13:02 |
|
| |
drserj | Дата: Среда, 12.12.2018, 21:07 | Сообщение # 1902 |
Генералиссимус
Группа: Администраторы
Сообщений: 4693
Статус: Offline
| Цитата Зепп-Хексер ( ) Процессор Intel Xeon cpu e5 2620 шесть ядер, 12 потоков. На 4 ядрах программа прекрасно работала, а теперь возникли проблемы. Система была семерка, теперь 10. На самом деле проц тут мало роли играет. Большую роль играет быстродействие дисковой системы. Может большая дефрагментация? Вообще, если коллекция полная - настоятельно рекомендую завести под нее отдельный винт. У меня терабайтник под нее отведен. На диске только книги. Пока кроме флибусты есть еще сборки, но скоро, чувствую, прийдется их куда-нить девать. Т.е. Файлов: 546 038, занимает места 806 ГБ
Цитата Зепп-Хексер ( ) Отключение аннотаций помогло - книга теперь выбирается быстро! Но теперь она открывается по полгода. Что ж такое ( При отключении аннотаций и обложки файлы не затрагиваются. А вот то, что при смене комплектующих компа и ОС производительность дисковой системы упала - должно настораживать...
drSerj
|
|
| |
Зепп-Хексер | Дата: Понедельник, 17.12.2018, 12:39 | Сообщение # 1903 |
Рядовой
Группа: Пользователи
Сообщений: 5
Статус: Offline
| Проблема решилась другим каталогизатором, благодарю за советы!
|
|
| |
drserj | Дата: Понедельник, 17.12.2018, 21:19 | Сообщение # 1904 |
Генералиссимус
Группа: Администраторы
Сообщений: 4693
Статус: Offline
| Тоже вариант.
drSerj
|
|
| |
jornada812 | Дата: Понедельник, 04.02.2019, 14:41 | Сообщение # 1905 |
Лейтенант
Группа: Пользователи
Сообщений: 44
Статус: Offline
| drserj, Приветствую. Словил странный глюк. Закачивал книги и 539817 не закачалась с первого раза. Закачал следующим заходом и решил через поиск проверить. Задаю промежуток с 539817 или ранее , книги в списке нет. указываю с 539817 по 539817 , она выводится. Как так?
|
|
| |
|