LibRusLib
Пятница, 29.03.2024, 08:37
Приветствую Вас Гость | RSS
 
Главная ФорумРегистрацияВход
[ Новые сообщения · Участники · Правила форума · Поиск · RSS ]
Форум » MultiLib - Библиотекарь » Version 1.x » Обсуждение работы программы (Баги, проблемы, решения)
Обсуждение работы программы
PFNДата: Суббота, 01.10.2016, 22:02 | Сообщение # 886
Генерал-майор
Группа: Друзья
Сообщений: 206
Репутация: 0
Статус: Offline
Цитата drserj ()
Самая большая проблема - это их синхронизировать

Многое зависит от того какую литературу пользователь собирается держать в локальной библиотеке.  Все, что находится в сетевой библиотеке вряд ли кому-то нужно. Поэтому нужен отбор: по жанрам, языкам и т.п. Беда в том, что, как я писал выше, с жанрами в книгах полная вакханалия. Сплошь и рядом встречал когда вместо фантастики или фэнтези ставили "старинная литература". Поэтому пришлось мне для этого процесса написать небольшую программку. И хотя она совсем сырая, но... во многом упростила мне отбор нужных книг из архивов Флибусты и Либрусека. Во всяком случае по языку отбирает правильно, даже если в книге язык указан неправильно. Но полностью от ручной работы избавиться невозможно.


===============================
Приказ, который может быть понят неправильно, обязательно будет понят неправильно
 
drserjДата: Суббота, 01.10.2016, 22:28 | Сообщение # 887
Генералиссимус
Группа: Администраторы
Сообщений: 4693
Репутация: 30
Статус: Offline
Цитата PFN ()
Все, что находится в сетевой библиотеке вряд ли кому-то нужно.


Для личного пользования - да, конечно. Вряд ли кто-то сможет прочесть хотя-бы названия всех книг. Но, вот умер либрус, все рыдают и плачут - ах какое горе, потеряли данные. Если бы выложили (как на флибусте) хотя-бы общие обсуждения и мнения, не говоря про материалы об авторах и рейтинги, - и уже библиотеку можно возродить. Именно по этому и держат некоторые всё полностью smile Вот только надо не забывать делать копии дампов хотя-бы за последние дни..
И к чему я это... Скачал я файл месяц назад, а на флибе добрый дядя взял и поменял данные (т.е. изначальную целостность книги). Вроде-бы хорошо, актуально, но... а актуальность библиотеки исчезла, в библиотеке уже совсем другая книга с другим идентификатором. Т.е. казалось бы, книга одна, ан нет - две разные книги.
Так что да, имея только выборку из библиотек доработанную под себя - вариант нормальный. Но, для этого в программе есть частная коллекция. А вот держать всё, да еще и в актуальном состоянии - проблема. Уже сейчас много книг имеют абсолютно другой МД5, не тот что в базе (а это - имя книги для компа) и у разных людей одна и та же книга - это разные файлы. Свести воедино библиотеки, в случае очередного краха , уже не удастся.
Короче, сумбурно всё как - то smile


drSerj
 
PFNДата: Воскресенье, 02.10.2016, 00:29 | Сообщение # 888
Генерал-майор
Группа: Друзья
Сообщений: 206
Репутация: 0
Статус: Offline
Цитата drserj ()
Но, для этого в программе есть частная коллекция.

Я ее использую и пополняю только после своего предварительного отбора книг из архивов. 

Цитата drserj ()
А вот держать всё, да еще и в актуальном состоянии - проблема. Уже сейчас много книг имеют абсолютно другой МД5, не тот что в базе (а это - имя книги для компа)

Держать все в актуальном состоянии, на мой взгляд, вообще неразрешимая задача. В сетевых библиотеках очень много дубликатов книг (даже в одном тысячнике часто встречается несколько экз. одной книги), т.к. их туда заливают все кому не лень в огромном количестве.
Я для своей библиотеки редактирую некоторые книги (правлю метаданные, форматирую тексты, разбиваю по главам и т.д.), поэтому идентификацию по МД5 не учитываю, а привязываюсь к автору и названию, предварительно приведя их к одной форме: Автор_Серия-№_Название. И уже потом отсеиваю дубликаты. Хотя здесь тоже есть проблемы, т.к. некоторые произведения в разное время и в разных издательствах выходили с другими названиями. Хорошо, что их не так много. smile


===============================
Приказ, который может быть понят неправильно, обязательно будет понят неправильно
 
flintfdДата: Воскресенье, 02.10.2016, 15:26 | Сообщение # 889
Рядовой
Группа: Пользователи
Сообщений: 2
Репутация: 0
Статус: Offline
Решил намедни обновить базы данных, выдало вот такое https://yadi.sk/d/A1YlzqDiw4dPX , дата данных базы раньше чем мои... естественно при попытке обновления выдаёт ошибку. Настройки библиотеки https://yadi.sk/d/vOqfWqnIw4dbh , на http://www.flibusta.net/sql/  такой же точно результат выдаёт. Куда копать? или уже некуда...
И такое и на 1.08 и на 1.06 и на 1.05.


Сообщение отредактировал flintfd - Воскресенье, 02.10.2016, 15:31
 
fe-dyaДата: Воскресенье, 02.10.2016, 17:20 | Сообщение # 890
Рядовой
Группа: Пользователи
Сообщений: 1
Репутация: 0
Статус: Offline
Цитата flintfd ()
Решил намедни обновить базы данных, выдало вот такое https://yadi.sk/d/A1YlzqDiw4dPX , дата данных базы раньше чем мои... естественно при попытке обновления выдаёт ошибку. Настройки библиотеки https://yadi.sk/d/vOqfWqnIw4dbh , на http://www.flibusta.net/sql/ такой же точно результат выдаёт. Куда копать? или уже некуда...И такое и на 1.08 и на 1.06 и на 1.05.

Только что попробовал через http://flisland.net/sql/
Показало актуальную дату базы, нормально пошло обновление.

С либрусеком хуже... Похоже, я успел одним из последних обновить базу (BookID последней книги 605087).
Если кому понадобится - выложил архив сюда: https://yadi.sk/d/QrRl88m3w53V5
Распакуйте содержимое в папку multilib/upload/librusec и снимите галку "загружать из интернета."
Прикрепления: 2353406.jpg (24.1 Kb)
 
drserjДата: Воскресенье, 02.10.2016, 17:24 | Сообщение # 891
Генералиссимус
Группа: Администраторы
Сообщений: 4693
Репутация: 30
Статус: Offline
Цитата PFN ()
поэтому идентификацию по МД5 не учитываю, а привязываюсь к автору и названию


Это я уже проходил. Нет, для компьютерного варианта хранения - только уникальный ИД, коим есть МД5. Поиск мгновенный, физические дубликаты просто невозможны. А вот уже дальше к нему привязывать авторов, серии и т.д...


drSerj
 
drserjДата: Воскресенье, 02.10.2016, 17:27 | Сообщение # 892
Генералиссимус
Группа: Администраторы
Сообщений: 4693
Репутация: 30
Статус: Offline
Цитата flintfd ()
дата данных базы раньше чем мои


очень странно. В настройках библиотеки попробуйте отключить запрос даты файлов базы данных (в самом низу закладки Сеть)...

Только что обновился с флибусты - проблем нет:

Дата предыдущего обновления: 30.09.2016 22:54:41
Дата последнего обновления: 02.10.2016 3:09:49

Книг в библиотеке: 443755
Добавлено новых книг: 63
Добавлено в "Новинки": 10
Диапазон ID новых книг: 462297-462359


drSerj
 
flintfdДата: Воскресенье, 02.10.2016, 19:07 | Сообщение # 893
Рядовой
Группа: Пользователи
Сообщений: 2
Репутация: 0
Статус: Offline
Ни в какую не хочет, так и показывает что база на сервере младше локальной. При отключении запроса даты также выдаёт ошибку обновления базы.
 
drserjДата: Воскресенье, 02.10.2016, 19:28 | Сообщение # 894
Генералиссимус
Группа: Администраторы
Сообщений: 4693
Репутация: 30
Статус: Offline
Цитата flintfd ()
При отключении запроса даты также выдаёт ошибку обновления базы.


Может Россия блокирует флибусту? 15.08 явно что-то левое... А отсюда тоже проблема? http://flisland.net/sql/

мдя, надо найти файлопомойку нормальную хотя бы для хранения баз...... и выложить базу некуда...


drSerj
 
PFNДата: Воскресенье, 02.10.2016, 20:27 | Сообщение # 895
Генерал-майор
Группа: Друзья
Сообщений: 206
Репутация: 0
Статус: Offline
Цитата drserj ()
Нет, для компьютерного варианта хранения - только уникальный ИД, коим есть МД5. Поиск мгновенный, физические дубликаты просто невозможны.

К сожалению, дубликаты физические очень даже возможны. Для МД5 важно, чтобы экземпляры книги были абсолютно эквивалентны. Малейшее изменение в тексте дает уже другой МД5. Тут поневоле приходится визуально сравнивать имеющиеся экземпляры и выбирать лучший. Поверьте, я с этим уже давно бьюсь. Одна и таже книга может быть с обложкой или без, кто-то в поле "Название" внес еще и название серии и т.д. Думаю, что в таких случаях ориентироваться на МД5 бесполезно.


===============================
Приказ, который может быть понят неправильно, обязательно будет понят неправильно
 
drserjДата: Воскресенье, 02.10.2016, 20:41 | Сообщение # 896
Генералиссимус
Группа: Администраторы
Сообщений: 4693
Репутация: 30
Статус: Offline
Я полностью согласен, дубли есть как физические, так и логические. Для меня физические - приоритетны, их вообще нельзя допускать. А вот с логическими - всё сложнее. Если нет разницы - хранить незачем. Но, как правило, имеются разные тексты, которые автоматом убрать невозможно. Впрочем, как иногда невозможно определить, какой их экземпляров является истинным. Тут уже решает владелец коллекции. Иногда производится намеренная порча книги. И тогда только дубли могут помочь восстановить оригинал. Я не согласен с тем же Траумом, который заявляет, что отобрал лучшее из дублей. Стесняюсь спросить - как? Всё вычитывал? Абсурд. Голословное хвастовство. тысячи, десятки и сотни тысяч книг вычитать за короткий промежуток нереально. А если внутри файла кусок другой книги, или вообще часть удалена? Нет, пусть будет лучше больше. Место нынче стоит недорого.

drSerj
 
1_абрамДата: Понедельник, 03.10.2016, 10:06 | Сообщение # 897
Генералиссимус
Группа: Друзья
Сообщений: 1207
Репутация: 0
Статус: Offline
Цитата drserj ()
это бред. В итоге, скачав раз, потом второй раз один, казалось бы, и тот же файл - имеем два разных файла.Нет, если формировать локальную частную библиотеку - да, допускаю. Но сетевую - нет. Для сетевой - информация в сетевой базе. Вот она может меняться, а исходный (он же отдаваемый) файл - нет. МД5 файла в базе меняться не имеет права! Иначе, полученная другим способом (например ранее тысячник) книга имеет другой МД5, не совместимый с базой. Это не есть правильно. Исходный материал не имеет права быть изменен.


Ты не понял.  Никто не собирается менять сетевую библиотеку.  Исходные материалы не меняютсмя.  Но при скачивании исходной фб2 - книжки с флибусты теперь может измениться метаинформации книги.  Она теперь берется из БД флибусты.  Эти файли могут использоваться а ридере, для формирования частной библиотеки,  для закачки в сетевую библиотеку (при этом книге присваивается другое id).   В результате  фб2 книги,  скачаные с флибусты могут оказаться лучше,  чем те же книги,  скачаные с помощью мультлиба.  М.б.  имеет смысл сделать (м.б.  опционально) так же на флибусте.
 
PFNДата: Понедельник, 03.10.2016, 11:05 | Сообщение # 898
Генерал-майор
Группа: Друзья
Сообщений: 206
Репутация: 0
Статус: Offline
Цитата drserj ()
есть как физические, так и логические


Цитата drserj ()
Я не согласен с тем же Траумом, который заявляет, что отобрал лучшее из дублей. Стесняюсь спросить - как? Всё вычитывал? Абсурд. Голословное хвастовство. тысячи, десятки и сотни тысяч книг вычитать за короткий промежуток нереально. А если внутри файла кусок другой книги, или вообще часть удалена?

Насчет "логических" не совсем понял... Есть книга, существующая в виде файла на диске. У этого файла атрибуты: размер, название, путь к нему и т.д. У книги: Автор, Название, Жанр, Обложка и пр. метаданные. В архивах Флибусты имена файлов цифровые и вычислить дубликат можно только по метаданным.
Я переименовываю файлы присваивая им имена из метаданных: Автор_Серия-№_Название.
В итоге: имею 2 или больше файлов с одинаковыми названиями, но разными размерами в одной кодировке. Если на размер фала (книги) влияет наличие или отсутствие обложки, ее формат (jpg, png) и размер, а также наличие иллюстраций, то выбор лучшего экземпляра для своей коллекции труда не составляет.

Другое дело, когда при всех равных условиях размеры экземпляров различаются на 100 кб и более. Тут уже нужно сравнивать  тексты... Поэтому в отношении Траума я согласен. Чтобы проделать такую работу нужно иметь целый полк сотрудников, которые будут шерстить тексты. С трудом себе это представляю.


===============================
Приказ, который может быть понят неправильно, обязательно будет понят неправильно
 
1_абрамДата: Понедельник, 03.10.2016, 11:29 | Сообщение # 899
Генералиссимус
Группа: Друзья
Сообщений: 1207
Репутация: 0
Статус: Offline
Цитата PFN ()
Я для своей библиотеки редактирую некоторые книги (правлю метаданные, форматирую тексты, разбиваю по главам и т.д.), поэтому идентификацию по МД5 не учитываю, а привязываюсь к автору и названию, предварительно приведя их к одной форме: Автор_Серия-№_Название. И уже потом отсеиваю дубликаты. Хотя здесь тоже есть проблемы, т.к. некоторые произведения в разное время и в разных издательствах выходили с другими названиями. Хорошо, что их не так много. smile


В вашем случае нет смысла поддерживать локальную библиотеку.  После редактирования,  нужно поделиться своей работай, залив книгу на флибусту и использовать ее   (флибусту).  А локальная библиотека - это для узкоспециальной литературы, котороая интересна только вам.  Имхо, конечно.

Добавлено (03.10.2016, 09:29)
---------------------------------------------
О, наконец нашел отсутствующую возможность в мультилибе.  Хотелось бы сделать возможность отбирать серии.  Например, перемешать выделенную сериию в "Группы".

 
drserjДата: Понедельник, 03.10.2016, 17:05 | Сообщение # 900
Генералиссимус
Группа: Администраторы
Сообщений: 4693
Репутация: 30
Статус: Offline
Цитата 1_абрам ()
После редактирования,  нужно поделиться своей работай, залив книгу на флибусту и использовать ее   (флибусту)

угу... и в случае падения оной - всё потерять smile

Цитата 1_абрам ()
А локальная библиотека - это для узкоспециальной литературы, котороая интересна только вам

типа той, что я те в личку скинул ??? smile

Цитата 1_абрам ()
возможность отбирать серии

Поиском отбирай - прекрасно работает!

Цитата 1_абрам ()
перемешать выделенную сериию в "Группы".

???? ПеремеЩать? это как???? Серии и группы - это разные уровни, которые никак не пересекаются. Можно поместить книгу, принадлежащую серии, в группу. А переместить - никак. А поместить можно - зашел в серию, отметил книги и сделал добавить в группу.


drSerj
 
Форум » MultiLib - Библиотекарь » Version 1.x » Обсуждение работы программы (Баги, проблемы, решения)
Поиск:

Copyright LibRusLib © 2024