|
Обсуждение работы программы
| |
| PFN | Дата: Суббота, 01.10.2016, 22:02 | Сообщение # 886 |
 Генерал-майор
Группа: Друзья
Сообщений: 206
Статус: Offline
| Цитата drserj (  ) Самая большая проблема - это их синхронизировать
Многое зависит от того какую литературу пользователь собирается держать в локальной библиотеке. Все, что находится в сетевой библиотеке вряд ли кому-то нужно. Поэтому нужен отбор: по жанрам, языкам и т.п. Беда в том, что, как я писал выше, с жанрами в книгах полная вакханалия. Сплошь и рядом встречал когда вместо фантастики или фэнтези ставили "старинная литература". Поэтому пришлось мне для этого процесса написать небольшую программку. И хотя она совсем сырая, но... во многом упростила мне отбор нужных книг из архивов Флибусты и Либрусека. Во всяком случае по языку отбирает правильно, даже если в книге язык указан неправильно. Но полностью от ручной работы избавиться невозможно.
===============================
Приказ, который может быть понят неправильно, обязательно будет понят неправильно
|
| |
| |
| drserj | Дата: Суббота, 01.10.2016, 22:28 | Сообщение # 887 |
|
Генералиссимус
Группа: Администраторы
Сообщений: 4693
Статус: Offline
| Цитата PFN ( ) Все, что находится в сетевой библиотеке вряд ли кому-то нужно.
Для личного пользования - да, конечно. Вряд ли кто-то сможет прочесть хотя-бы названия всех книг. Но, вот умер либрус, все рыдают и плачут - ах какое горе, потеряли данные. Если бы выложили (как на флибусте) хотя-бы общие обсуждения и мнения, не говоря про материалы об авторах и рейтинги, - и уже библиотеку можно возродить. Именно по этому и держат некоторые всё полностью  Вот только надо не забывать делать копии дампов хотя-бы за последние дни..
И к чему я это... Скачал я файл месяц назад, а на флибе добрый дядя взял и поменял данные (т.е. изначальную целостность книги). Вроде-бы хорошо, актуально, но... а актуальность библиотеки исчезла, в библиотеке уже совсем другая книга с другим идентификатором. Т.е. казалось бы, книга одна, ан нет - две разные книги.
Так что да, имея только выборку из библиотек доработанную под себя - вариант нормальный. Но, для этого в программе есть частная коллекция. А вот держать всё, да еще и в актуальном состоянии - проблема. Уже сейчас много книг имеют абсолютно другой МД5, не тот что в базе (а это - имя книги для компа) и у разных людей одна и та же книга - это разные файлы. Свести воедино библиотеки, в случае очередного краха , уже не удастся.
Короче, сумбурно всё как - то
drSerj
|
| |
| |
| PFN | Дата: Воскресенье, 02.10.2016, 00:29 | Сообщение # 888 |
|
Генерал-майор
Группа: Друзья
Сообщений: 206
Статус: Offline
| Цитата drserj ( ) Но, для этого в программе есть частная коллекция.
Я ее использую и пополняю только после своего предварительного отбора книг из архивов.
Цитата drserj ( ) А вот держать всё, да еще и в актуальном состоянии - проблема. Уже сейчас много книг имеют абсолютно другой МД5, не тот что в базе (а это - имя книги для компа)
Держать все в актуальном состоянии, на мой взгляд, вообще неразрешимая задача. В сетевых библиотеках очень много дубликатов книг (даже в одном тысячнике часто встречается несколько экз. одной книги), т.к. их туда заливают все кому не лень в огромном количестве.
Я для своей библиотеки редактирую некоторые книги (правлю метаданные, форматирую тексты, разбиваю по главам и т.д.), поэтому идентификацию по МД5 не учитываю, а привязываюсь к автору и названию, предварительно приведя их к одной форме: Автор_Серия-№_Название. И уже потом отсеиваю дубликаты. Хотя здесь тоже есть проблемы, т.к. некоторые произведения в разное время и в разных издательствах выходили с другими названиями. Хорошо, что их не так много.
===============================
Приказ, который может быть понят неправильно, обязательно будет понят неправильно
|
| |
| |
| flintfd | Дата: Воскресенье, 02.10.2016, 15:26 | Сообщение # 889 |
|
Рядовой
Группа: Пользователи
Сообщений: 2
Статус: Offline
| Решил намедни обновить базы данных, выдало вот такое https://yadi.sk/d/A1YlzqDiw4dPX , дата данных базы раньше чем мои... естественно при попытке обновления выдаёт ошибку. Настройки библиотеки https://yadi.sk/d/vOqfWqnIw4dbh , на http://www.flibusta.net/sql/ такой же точно результат выдаёт. Куда копать? или уже некуда...
И такое и на 1.08 и на 1.06 и на 1.05.
Сообщение отредактировал flintfd - Воскресенье, 02.10.2016, 15:31 |
| |
| |
| fe-dya | Дата: Воскресенье, 02.10.2016, 17:20 | Сообщение # 890 |
|
Рядовой
Группа: Пользователи
Сообщений: 1
Статус: Offline
| Цитата flintfd ( )
Только что попробовал через http://flisland.net/sql/
Показало актуальную дату базы, нормально пошло обновление.
С либрусеком хуже... Похоже, я успел одним из последних обновить базу (BookID последней книги 605087).
Если кому понадобится - выложил архив сюда: https://yadi.sk/d/QrRl88m3w53V5
Распакуйте содержимое в папку multilib/upload/librusec и снимите галку "загружать из интернета."
|
| |
| |
| drserj | Дата: Воскресенье, 02.10.2016, 17:24 | Сообщение # 891 |
|
Генералиссимус
Группа: Администраторы
Сообщений: 4693
Статус: Offline
| Цитата PFN ( ) поэтому идентификацию по МД5 не учитываю, а привязываюсь к автору и названию
Это я уже проходил. Нет, для компьютерного варианта хранения - только уникальный ИД, коим есть МД5. Поиск мгновенный, физические дубликаты просто невозможны. А вот уже дальше к нему привязывать авторов, серии и т.д...
drSerj
|
| |
| |
| drserj | Дата: Воскресенье, 02.10.2016, 17:27 | Сообщение # 892 |
|
Генералиссимус
Группа: Администраторы
Сообщений: 4693
Статус: Offline
| Цитата flintfd ( ) дата данных базы раньше чем мои
очень странно. В настройках библиотеки попробуйте отключить запрос даты файлов базы данных (в самом низу закладки Сеть)...
Только что обновился с флибусты - проблем нет:
Дата предыдущего обновления: 30.09.2016 22:54:41
Дата последнего обновления: 02.10.2016 3:09:49
Книг в библиотеке: 443755
Добавлено новых книг: 63
Добавлено в "Новинки": 10
Диапазон ID новых книг: 462297-462359
drSerj
|
| |
| |
| flintfd | Дата: Воскресенье, 02.10.2016, 19:07 | Сообщение # 893 |
|
Рядовой
Группа: Пользователи
Сообщений: 2
Статус: Offline
| Ни в какую не хочет, так и показывает что база на сервере младше локальной. При отключении запроса даты также выдаёт ошибку обновления базы.
|
| |
| |
| drserj | Дата: Воскресенье, 02.10.2016, 19:28 | Сообщение # 894 |
|
Генералиссимус
Группа: Администраторы
Сообщений: 4693
Статус: Offline
| Цитата flintfd ( ) При отключении запроса даты также выдаёт ошибку обновления базы.
Может Россия блокирует флибусту? 15.08 явно что-то левое... А отсюда тоже проблема? http://flisland.net/sql/
мдя, надо найти файлопомойку нормальную хотя бы для хранения баз...... и выложить базу некуда...
drSerj
|
| |
| |
| PFN | Дата: Воскресенье, 02.10.2016, 20:27 | Сообщение # 895 |
|
Генерал-майор
Группа: Друзья
Сообщений: 206
Статус: Offline
| Цитата drserj ( ) Нет, для компьютерного варианта хранения - только уникальный ИД, коим есть МД5. Поиск мгновенный, физические дубликаты просто невозможны.
К сожалению, дубликаты физические очень даже возможны. Для МД5 важно, чтобы экземпляры книги были абсолютно эквивалентны. Малейшее изменение в тексте дает уже другой МД5. Тут поневоле приходится визуально сравнивать имеющиеся экземпляры и выбирать лучший. Поверьте, я с этим уже давно бьюсь. Одна и таже книга может быть с обложкой или без, кто-то в поле "Название" внес еще и название серии и т.д. Думаю, что в таких случаях ориентироваться на МД5 бесполезно.
===============================
Приказ, который может быть понят неправильно, обязательно будет понят неправильно
|
| |
| |
| drserj | Дата: Воскресенье, 02.10.2016, 20:41 | Сообщение # 896 |
|
Генералиссимус
Группа: Администраторы
Сообщений: 4693
Статус: Offline
| Я полностью согласен, дубли есть как физические, так и логические. Для меня физические - приоритетны, их вообще нельзя допускать. А вот с логическими - всё сложнее. Если нет разницы - хранить незачем. Но, как правило, имеются разные тексты, которые автоматом убрать невозможно. Впрочем, как иногда невозможно определить, какой их экземпляров является истинным. Тут уже решает владелец коллекции. Иногда производится намеренная порча книги. И тогда только дубли могут помочь восстановить оригинал. Я не согласен с тем же Траумом, который заявляет, что отобрал лучшее из дублей. Стесняюсь спросить - как? Всё вычитывал? Абсурд. Голословное хвастовство. тысячи, десятки и сотни тысяч книг вычитать за короткий промежуток нереально. А если внутри файла кусок другой книги, или вообще часть удалена? Нет, пусть будет лучше больше. Место нынче стоит недорого.
drSerj
|
| |
| |
| 1_абрам | Дата: Понедельник, 03.10.2016, 10:06 | Сообщение # 897 |
|
Генералиссимус
Группа: Друзья
Сообщений: 1207
Статус: Offline
| Цитата drserj ( ) это бред. В итоге, скачав раз, потом второй раз один, казалось бы, и тот же файл - имеем два разных файла.Нет, если формировать локальную частную библиотеку - да, допускаю. Но сетевую - нет. Для сетевой - информация в сетевой базе. Вот она может меняться, а исходный (он же отдаваемый) файл - нет. МД5 файла в базе меняться не имеет права! Иначе, полученная другим способом (например ранее тысячник) книга имеет другой МД5, не совместимый с базой. Это не есть правильно. Исходный материал не имеет права быть изменен.
Ты не понял. Никто не собирается менять сетевую библиотеку. Исходные материалы не меняютсмя. Но при скачивании исходной фб2 - книжки с флибусты теперь может измениться метаинформации книги. Она теперь берется из БД флибусты. Эти файли могут использоваться а ридере, для формирования частной библиотеки, для закачки в сетевую библиотеку (при этом книге присваивается другое id). В результате фб2 книги, скачаные с флибусты могут оказаться лучше, чем те же книги, скачаные с помощью мультлиба. М.б. имеет смысл сделать (м.б. опционально) так же на флибусте.
|
| |
| |
| PFN | Дата: Понедельник, 03.10.2016, 11:05 | Сообщение # 898 |
|
Генерал-майор
Группа: Друзья
Сообщений: 206
Статус: Offline
| Цитата drserj ( ) есть как физические, так и логические
Цитата drserj ( ) Я не согласен с тем же Траумом, который заявляет, что отобрал лучшее из дублей. Стесняюсь спросить - как? Всё вычитывал? Абсурд. Голословное хвастовство. тысячи, десятки и сотни тысяч книг вычитать за короткий промежуток нереально. А если внутри файла кусок другой книги, или вообще часть удалена?
Насчет "логических" не совсем понял... Есть книга, существующая в виде файла на диске. У этого файла атрибуты: размер, название, путь к нему и т.д. У книги: Автор, Название, Жанр, Обложка и пр. метаданные. В архивах Флибусты имена файлов цифровые и вычислить дубликат можно только по метаданным.
Я переименовываю файлы присваивая им имена из метаданных: Автор_Серия-№_Название.
В итоге: имею 2 или больше файлов с одинаковыми названиями, но разными размерами в одной кодировке. Если на размер фала (книги) влияет наличие или отсутствие обложки, ее формат (jpg, png) и размер, а также наличие иллюстраций, то выбор лучшего экземпляра для своей коллекции труда не составляет.
Другое дело, когда при всех равных условиях размеры экземпляров различаются на 100 кб и более. Тут уже нужно сравнивать тексты... Поэтому в отношении Траума я согласен. Чтобы проделать такую работу нужно иметь целый полк сотрудников, которые будут шерстить тексты. С трудом себе это представляю.
===============================
Приказ, который может быть понят неправильно, обязательно будет понят неправильно
|
| |
| |
| 1_абрам | Дата: Понедельник, 03.10.2016, 11:29 | Сообщение # 899 |
|
Генералиссимус
Группа: Друзья
Сообщений: 1207
Статус: Offline
| Цитата PFN ( ) Я для своей библиотеки редактирую некоторые книги (правлю метаданные, форматирую тексты, разбиваю по главам и т.д.), поэтому идентификацию по МД5 не учитываю, а привязываюсь к автору и названию, предварительно приведя их к одной форме: Автор_Серия-№_Название. И уже потом отсеиваю дубликаты. Хотя здесь тоже есть проблемы, т.к. некоторые произведения в разное время и в разных издательствах выходили с другими названиями. Хорошо, что их не так много. smile
В вашем случае нет смысла поддерживать локальную библиотеку. После редактирования, нужно поделиться своей работай, залив книгу на флибусту и использовать ее (флибусту). А локальная библиотека - это для узкоспециальной литературы, котороая интересна только вам. Имхо, конечно.Добавлено (03.10.2016, 09:29)
---------------------------------------------
О, наконец нашел отсутствующую возможность в мультилибе. Хотелось бы сделать возможность отбирать серии. Например, перемешать выделенную сериию в "Группы".
|
| |
| |
| drserj | Дата: Понедельник, 03.10.2016, 17:05 | Сообщение # 900 |
|
Генералиссимус
Группа: Администраторы
Сообщений: 4693
Статус: Offline
| Цитата 1_абрам ( ) После редактирования, нужно поделиться своей работай, залив книгу на флибусту и использовать ее (флибусту)
угу... и в случае падения оной - всё потерять
Цитата 1_абрам ( ) А локальная библиотека - это для узкоспециальной литературы, котороая интересна только вам
типа той, что я те в личку скинул ???
Цитата 1_абрам ( ) возможность отбирать серии
Поиском отбирай - прекрасно работает!
Цитата 1_абрам ( ) перемешать выделенную сериию в "Группы".
???? ПеремеЩать? это как???? Серии и группы - это разные уровни, которые никак не пересекаются. Можно поместить книгу, принадлежащую серии, в группу. А переместить - никак. А поместить можно - зашел в серию, отметил книги и сделал добавить в группу.
drSerj
|
| |
| |
|
Главная 
