LibRusLib
Пятница, 29.11.2024, 17:29
Приветствую Вас Гость | RSS
 
Главная ФорумРегистрацияВход
[ Новые сообщения · Участники · Правила форума · Поиск · RSS ]
Обсуждение работы программы
drserjДата: Воскресенье, 13.09.2015, 20:05 | Сообщение # 601
Генералиссимус
Группа: Администраторы
Сообщений: 4693
Репутация: 30
Статус: Offline
Цитата PFN ()
Жаль, что упростили...

Как говорил мой шеф - есть достаточное, а есть избыточное... Вот в общем случае - это избыточное... 

Цитата PFN ()
А если какой-нибудь дополнительный плагин?


Дополнительный... Не прокатит, либо в составе импорта, либо отдельная программа. Иначе - нонсенс с неадекватом...
В принципе, нет ничего невозможного... В ближайшем времени - вряд ли, но кто знает...


drSerj
 
PFNДата: Воскресенье, 13.09.2015, 20:48 | Сообщение # 602
Генерал-майор
Группа: Друзья
Сообщений: 206
Репутация: 0
Статус: Offline
Цитата drserj ()
Вот в общем случае - это избыточное...

Возможно Вы и правы. Нельзя объять необъятное, а функционал усложнять - только вредить. Спасибо и за то, что уже есть и отлично работает.


===============================
Приказ, который может быть понят неправильно, обязательно будет понят неправильно
 
drserjДата: Воскресенье, 13.09.2015, 22:47 | Сообщение # 603
Генералиссимус
Группа: Администраторы
Сообщений: 4693
Репутация: 30
Статус: Offline
Цитата PFN ()
Спасибо и за то, что уже есть и отлично работает.

Всегда пожалуйста smile


drSerj
 
1_абрамДата: Понедельник, 14.09.2015, 09:38 | Сообщение # 604
Генералиссимус
Группа: Друзья
Сообщений: 1207
Репутация: 0
Статус: Offline
Цитата PFN ()
Одно из "узких мест" всех подобных программ - это борьба с дубликатами.


Имхо,  проблема надумана.  Все электронные книжки должны быть на флибусте (появляется новая книжка размещайте ее на флибусту).  На флибусте с дубликатами борются местные библиотекари.  Что касается локальных библиотек (книги, которые нельзя разместить на флибусте), то они должны  быть небольшими  и там проблем с дубликатами нет.

Добавлено (14.09.2015, 07:38)
---------------------------------------------

Цитата PFN ()
Я перепробовал много разных каталогизаторов (от MyHome и кончая All My Books) и только с Вашей программой получил почти все, что хотел.
  +1,  аналогичный опыт  и оценка  мультилиба.
 
drserjДата: Понедельник, 14.09.2015, 10:42 | Сообщение # 605
Генералиссимус
Группа: Администраторы
Сообщений: 4693
Репутация: 30
Статус: Offline
Цитата 1_абрам ()
Имхо,  проблема надумана.

Ну, не совсем надуманная, особенно для домашней коллекции, куда с кучи источников книги валят..


drSerj
 
1_абрамДата: Понедельник, 14.09.2015, 11:20 | Сообщение # 606
Генералиссимус
Группа: Друзья
Сообщений: 1207
Репутация: 0
Статус: Offline
Цитата drserj ()
Ну, не совсем надуманная, особенно для домашней коллекции, куда с кучи источников книги валят..


А смысл домашней коллекции.  Если книжка интересная - она обязана быть на флибусте.  Таким образом на долю домашней коллекции остаются либо запрещенные книги,  либо книги,  представляющие интерес только для вас  (отчеты, какие-нибудь  и т.п.).  В этом случае локальная библиотека небольшая и дублей немного.

Добавлено (14.09.2015, 09:20)
---------------------------------------------

Цитата PFN ()
а функционал усложнять - только вредить.


+1

Мультилиб  отличает разумный аскетизм при огромных возможностях.
 
drserjДата: Понедельник, 14.09.2015, 11:30 | Сообщение # 607
Генералиссимус
Группа: Администраторы
Сообщений: 4693
Репутация: 30
Статус: Offline
Цитата 1_абрам ()
Если книжка интересная - она обязана быть на флибусте.

щаззз.... я сетевую библиотеку (при нынешнем раскладе) воспринимаю ТОЛЬКО как источник, но не место хранения.


drSerj
 
1_абрамДата: Понедельник, 14.09.2015, 14:16 | Сообщение # 608
Генералиссимус
Группа: Друзья
Сообщений: 1207
Репутация: 0
Статус: Offline
Цитата drserj ()
щаззз.... я сетевую библиотеку (при нынешнем раскладе) воспринимаю ТОЛЬКО как источник, но не место хранения.


1) Если ты имеешь в виду, что флибуста в любой момент может накрыться и поэтому ее нужно хранить всю целиком  (в виде мд5.zip) ,  то я согласен.

2) А вот если у тебя есть книжки, которых нет на флибусте и  ты их на ней не размещаешь, то это нехорошо, имхо.


Сообщение отредактировал 1_абрам - Понедельник, 14.09.2015, 14:17
 
drserjДата: Понедельник, 14.09.2015, 20:09 | Сообщение # 609
Генералиссимус
Группа: Администраторы
Сообщений: 4693
Репутация: 30
Статус: Offline
Цитата 1_абрам ()
флибуста в любой момент может накрыться

 не может, а именно накроется... 

Цитата 1_абрам ()
2) А вот если у тебя есть книжки, которых нет на флибусте и  ты их на ней не размещаешь, то это нехорошо, имхо.


чем же? Я никому ни чем не обязан... у меня много чего есть, всё отдать?  wink


drSerj
 
PFNДата: Понедельник, 14.09.2015, 21:20 | Сообщение # 610
Генерал-майор
Группа: Друзья
Сообщений: 206
Репутация: 0
Статус: Offline
Цитата 1_абрам ()
Что касается локальных библиотек (книги, которые нельзя разместить на флибусте), то они должны  быть небольшими  и там проблем с дубликатами нет.

У каждого свое видение "домашней" библиотеки. Мы уже неоднократно были свидетелями, когда свободные библиотеки в сети переходили на платный вариант. Могу привести еще массу аргументов, за то, чтобы все, представляющие для меня интерес, книги всегда находились под рукой.

Цитата 1_абрам ()
Мультилиб  отличает разумный аскетизм при огромных возможностях.

Я это оценил! +100500 smile

Цитата drserj ()
я сетевую библиотеку (при нынешнем раскладе) воспринимаю ТОЛЬКО как источник, но не место хранения.

Согласен, на 1000%. Доступ к ней может быть прекращен в любой момент и, по закону бутерброда, как раз тогда, когда какая-то книга может срочно понадобиться.

Цитата 1_абрам ()
А вот если у тебя есть книжки, которых нет на флибусте

Так туда и так заливают все кому не лень что попало и даже не самого лучшего качества. Я уже и со счета сбился, сколько книг пришлось переформатировать, чтобы можно было нормально их читать.

Цитата 1_абрам ()
На флибусте с дубликатами борются местные библиотекари.

Если в их архивах в одном тысячнике попадается как минимум 2-3 дубликата одной и той же книги, то я не слишком высоко оцениваю борьбу библиотекарей Флибусты с дублями. Предпочитаю бороться с этой напастью самостоятельно, выбирая наилучший вариант.


===============================
Приказ, который может быть понят неправильно, обязательно будет понят неправильно


Сообщение отредактировал PFN - Понедельник, 14.09.2015, 21:23
 
drserjДата: Вторник, 15.09.2015, 08:29 | Сообщение # 611
Генералиссимус
Группа: Администраторы
Сообщений: 4693
Репутация: 30
Статус: Offline
Цитата PFN ()
Предпочитаю бороться с этой напастью самостоятельно, выбирая наилучший вариант.

Это возможно только в случае, если библиотека крайне невелика, да и то, что бы оценить лучший вариант - необходимо обследовать все. Иначе, имеется вероятность обзавестись, например, более вычитанным, но не совсем полным экземпляром... Именно из-за того, что невозможно предугадать, какая копия лучше, приходится держать все экземпляры. Я не стал рассматривать библиотеку Траума именно из-за того, что он заявил, что отбирал лучшие экземпляры, хотя с учетом сотен тысяч книг это абсолютно нереально.


drSerj
 
PFNДата: Вторник, 15.09.2015, 10:27 | Сообщение # 612
Генерал-майор
Группа: Друзья
Сообщений: 206
Репутация: 0
Статус: Offline
Цитата drserj ()
Это возможно только в случае, если библиотека крайне невелика, да и то, что бы оценить лучший вариант - необходимо обследовать все. Иначе, имеется вероятность обзавестись, например, более вычитанным, но не совсем полным экземпляром...

 "крайне невелика..." А библиотеку в 200 - 250 тыс. книг Вы к какой категории относите?

Да, определенный риск получить не самый лучший экземпляр, конечно, имеется при любом размере библиотеки. Но и держать все экземпляры, забивая диск дубликатами - не рационально. Поэтому я для себя выстроил следующий алгоритм:
1. Приведение всех книг к единому формату имен: автор (фамилия имя)_серия-№_название
2. Выборка по Автору и Названию (с вариантами)
3. Приведение к единой кодировке (Win-1251)
4. Сравнение по Размеру и мд5
5. Из 100% совпавших удаляем лишние экземпляры
6. У несовпадающих проверка на наличие обложки и/или иллюстраций и их размеры (было бы замечательно, если бы формат FB2 жестко ограничивал их размер, например 350х525)
7. А тут уже вкусовой выбор экземпляра...

Можно, конечно еще смотреть в какой программе сделана книга. Если это Дизайнер, то обязательно будут проблемы. Убедился неоднократно.
Наибольшая сложность с самыми популярными и плодовитыми авторами, особенно зарубежными. Разные переводчики по-разному пишут не только названия, но и фамилии и имена авторов (Герберт - Херберт и т.п.)

Кое-что из этого алгоритма я уже реализовал (переименование, выборка, кодировка), а остальное потихоньку довожу до ума.


===============================
Приказ, который может быть понят неправильно, обязательно будет понят неправильно
 
1_абрамДата: Вторник, 15.09.2015, 11:03 | Сообщение # 613
Генералиссимус
Группа: Друзья
Сообщений: 1207
Репутация: 0
Статус: Offline
Цитата drserj ()
не может, а именно накроется...


Типун тебе на язык.

Добавлено (15.09.2015, 08:43)
---------------------------------------------

Цитата drserj ()
чем же? Я никому ни чем не обязан... у меня много чего есть, всё отдать?


Ты же скачиваешь книжки,  поэтому должен помогать библиотеке.  И это так естественно.  Ты сделал книжку, затратил на это кучу усилий,  как же не поделиться с товарищами, это так естественно. 

Правда,  ты своими программами столько сделал для библиотеки,  что свободен от каких-либо обязательств.

Добавлено (15.09.2015, 08:48)
---------------------------------------------

Цитата PFN ()
Так туда и так заливают все кому не лень что попало и даже не самого лучшего качества. Я уже и со счета сбился, сколько книг пришлось переформатировать, чтобы можно было нормально их читать.


Так и надо заливать на флибусту улучшенную тобой  книгу.  Я, например,  заметив больше 5 опечаток  в книге заливаю исправленный вариант.

Добавлено (15.09.2015, 08:54)
---------------------------------------------

Цитата PFN ()
Согласен, на 1000%. Доступ к ней может быть прекращен в любой момент и, по закону бутерброда, как раз тогда, когда какая-то книга может срочно понадобиться.


Точно,  поэтому разумно хранить полную фб2 сборку флибусты пополняя ее своими любимыми книжками (150Гб - это не очень много), не заботясь о дублях.

Добавлено (15.09.2015, 09:00)
---------------------------------------------

Цитата PFN ()
У каждого свое видение "домашней" библиотеки. Мы уже неоднократно были свидетелями, когда свободные библиотеки в сети переходили на платный вариант. Могу привести еще массу аргументов, за то, чтобы все, представляющие для меня интерес, книги всегда находились под рукой.


Согласен,  у меня стратегия такая. Вся моя "домашняя"   фб2-библиотека является подмножеством флибусты.  И она всегда находится под рукой в виде локальной коллекции мд5.zip файлов.  Имхо,  это оптимальный вариант и для меня,  и для сообщества флибусты.

Добавлено (15.09.2015, 09:03)
---------------------------------------------

Цитата PFN ()
Да, определенный риск получить не самый лучший экземпляр, конечно, имеется при любом размере библиотеки. Но и держать все экземпляры, забивая диск дубликатами - не рационально. Поэтому я для себя выстроил следующий алгоритм:1. Приведение всех книг к единому формату имен: автор (фамилия имя)_серия-№_название
2. Выборка по Автору и Названию (с вариантами)


Отличный алгоритм,  хорошо бы тебе предложить его сообществу флибусты,  чтобы всем миром обновить все архивы библиотеки,  изменив id книжек на флибусте.
 
drserjДата: Вторник, 15.09.2015, 11:21 | Сообщение # 614
Генералиссимус
Группа: Администраторы
Сообщений: 4693
Репутация: 30
Статус: Offline
Цитата PFN ()
А библиотеку в 200 - 250 тыс. книг Вы к какой категории относите?

к достаточно большой

Цитата PFN ()
Приведение всех книг к единому формату имен: автор (фамилия имя)_серия-№_название


для любой автоматизированной системы понятие имени отличается от понятия имени для человека. Оптимальным именем для автоматизированной системы является уникальный код, как правило хэш (тот же мд5). 

Цитата PFN ()
Выборка по Автору и Названию (с вариантами)


как автор, так и названия могут иметь существенные отличия. У автора могут быть различные варианты написания, псевдонимы, ошибки и т д.
у книги - еще хуже, могут быть абсолютно разные названия.

Цитата PFN ()
Приведение к единой кодировке (Win-1251)


вообще не приемлемо. единственной единой кодировкой может быть юникод, utf8 - содержащие в себе понятие кодовой страницы. Но это значительно (в разы) увеличит объем файла. Нужно ли это?

Цитата PFN ()
Сравнение по Размеру и мд5

это да, у меня оно и работает.

Цитата 1_абрам ()
Типун тебе на язык.


это, увы, суровая реальность, уже доводимая до действительности.
Никто не хочет прислушиваться к моему совету - не держать все яйца в одной корзинке. И это погубит библиотеку. Только лишь дело времени. 
При нынешних условиях копирастии, необходимо четкое разделение - библиотека (пользователи, информация о книге, обсуждения) и контент, который никакими видимыми на основном сайте библиотеки средствами не может быть связан законом с этой самой библиотекой. Т.е. на сайте библиотеки не должно быть упоминаний и ссылок на контент. Абсолютно. Связь - хоть по мд5, хоть по ИД, но невидимая. Пока, как минимум, этого не будет - смерть библиотеки - дело времени.

Цитата 1_абрам ()
Правда,  ты своими программами столько сделал для библиотеки,  что свободен от каких-либо обязательств.


вот-вот... впрочем, я на себя обязательств и не брал...

Цитата 1_абрам ()
Я, например,  заметив больше 5 опечаток  в книге заливаю исправленный вариант.


и это есть зло... Плодится туева хуча ненужных дублей. Вот если бы ты взял и создал абсолютно корректный экземпляр, со всеми плюсами предыдущих и отсутствием минусов - да, только в этом случае можно заменить им все предыдущие. А так - очередная недоделка...

Цитата 1_абрам ()
хорошо бы тебе предложить его сообществу флибусты,  чтобы всем миром обновить все архивы библиотеки,

Этого никогда не будет. Там где толпа - там только порождение хаоса. А обычным библиотекарям не под силу такое массовое действо.
Просто изначально любая библиотека напирает на количество (что и понятно) вместо качества. И не важно, платная она или нет. Даже беря деньги за, якобы легальный, корректный контент, всё равно подсовывают тот же самопальный вариант. Впрочем, даже бумажные экземпляры содержат такое к-во ошибок, что страшно смотреть. Это не старые советские времена, когда за каждую опечатку несли ответственность... увы...


drSerj
 
PFNДата: Вторник, 15.09.2015, 14:43 | Сообщение # 615
Генерал-майор
Группа: Друзья
Сообщений: 206
Репутация: 0
Статус: Offline
Цитата 1_абрам ()
Я, например,  заметив больше 5 опечаток  в книге заливаю исправленный вариант.

И умножаем дубликаты... Я прошу прощения, т.к. не знаком досконально с механизмом заливки книг на Флибусту и сужу только по факту наличия в архивах-тысячниках множественных дублей одной и той же книги.

Цитата 1_абрам ()
Точно,  поэтому разумно хранить полную фб2 сборку флибусты пополняя ее своими любимыми книжками (150Гб - это не очень много), не заботясь о дублях.

Именно это я и пытаюсь воплотить в жизнь.

Цитата 1_абрам ()
в виде локальной коллекции мд5.zip файлов

Вот с этим я не знаком. Можно где-нибудь просветиться на этот счет (описание, возможности и т.п.)?

Цитата 1_абрам ()
хорошо бы тебе предложить его сообществу флибусты,  чтобы всем миром обновить все архивы библиотеки,  изменив id книжек на флибусте.

Думаю, что для программистов Флибусты этот алгоритм давно знаком, а может даже и более эффективный. Вопрос стоит только в наличии энтузиастов, готовых его воплотить в реальный работающий продукт. Но я согласен с drserj, что Этого никогда не будет. Там где толпа - там только порождение хаоса. А обычным библиотекарям не под силу такое массовое действо. 

Цитата drserj ()
Оптимальным именем для автоматизированной системы является уникальный код, как правило хэш (тот же мд5).
 
Это понятно. Просто, когда я еще не брался за создание программы, а пользовался разными программами поиска дубликатов типа DupKiller и т.п., то успел довольно много книг привести к этому формату имен. Пока будет так ибо этот процесс я уже автоматизировал почти на 100%
Что касается мд5, то тут я откровенно слаб. Имею только общее представление. Не удивляйтесь ибо я - самоучка, а не профессиональный программист. smile

Цитата drserj ()
Но это значительно (в разы) увеличит объем файла. Нужно ли это?

Я это делаю для себя, получая сокращение объема почти на 40%

Цитата drserj ()
Т.е. на сайте библиотеки не должно быть упоминаний и ссылок на контент. Абсолютно. Связь - хоть по мд5, хоть по ИД, но невидимая. Пока, как минимум, этого не будет - смерть библиотеки - дело времени.

Истинно так!!!

Цитата drserj ()
Впрочем, даже бумажные экземпляры содержат такое к-во ошибок, что страшно смотреть. Это не старые советские времена, когда за каждую опечатку несли ответственность... увы...

Подписываюсь под каждым словом.


===============================
Приказ, который может быть понят неправильно, обязательно будет понят неправильно
 
Поиск:

Copyright LibRusLib © 2024