LibRusLib
Четверг, 28.03.2024, 13:47
Приветствую Вас Гость | RSS
 
Главная ФорумРегистрацияВход
[ Новые сообщения · Участники · Правила форума · Поиск · RSS ]
Форум » Unilib » Проектирование и разработка » Обсуждение проекта (Обсуждение проекта)
Обсуждение проекта
drserjДата: Понедельник, 31.10.2016, 21:26 | Сообщение # 1
Генералиссимус
Группа: Администраторы
Сообщений: 4693
Репутация: 30
Статус: Offline
Unilib - программа для создания локальных библиотек.

Unilib представляет собой развитый офлайновый каталогизатор локальной библиотеки с автоматизированной пакетной обработкой импортируемых книг. Программа позволяет производить автоматический отбор книг по критериям, заданным пользователем, отсеивать дубликаты и.т.д.

Особенности Unilib-а:

1) Поддержка нескольких библиотек.
2) Импорт/экспорт личных данных.
3) Возможность обмена данными с другими библиотеками Unilib.

Ориентировочная структура БД

Структура модуля импорта
 
drserjДата: Пятница, 14.04.2017, 11:44 | Сообщение # 91
Генералиссимус
Группа: Администраторы
Сообщений: 4693
Репутация: 30
Статус: Offline
Цитата 1_абрам ()
Тогда не получится хранить контент на разных дисках. 


с какого ??? Пропиши два каталога корневых для контента... Надо - пропиши двадцать два....

Цитата 1_абрам ()
Лучше бы сделать импорт в произвольный каталог. Гибче получится.


Щазз... а как программа узнает о том, где лежат книги? Ты путаешь понятия. Программе пофиг где ты будешь хранить книги, главное что бы программа знала о путях к этим каталогам.


drSerj
 
1_абрамДата: Пятница, 14.04.2017, 12:30 | Сообщение # 92
Генералиссимус
Группа: Друзья
Сообщений: 1207
Репутация: 0
Статус: Offline
Цитата drserj ()
с какого ??? Пропиши два каталога корневых для контента... Надо - пропиши двадцать два....


Так и я об этом.  Откуда программа узнает в какой именно каталог импортировать книги?  Если их можно будет выбирать вопрос снимается.

Добавлено (14.04.2017, 10:30)
---------------------------------------------
Хорошо бы при  заполнении  БД  для фб2 сделать так:

1) Если в архиве есть fbd то берем библ. информацию оттуда
2)  Если нет - то из метаданных фб2


Сообщение отредактировал 1_абрам - Пятница, 14.04.2017, 12:30
 
drserjДата: Пятница, 14.04.2017, 13:52 | Сообщение # 93
Генералиссимус
Группа: Администраторы
Сообщений: 4693
Репутация: 30
Статус: Offline
Цитата 1_абрам ()
Так и я об этом.  Откуда программа узнает в какой именно каталог импортировать книги?  Если их можно будет выбирать вопрос снимается.


Каталог куда - прописывается в настройках, каталог откуда - выбирается при импорте. Ты что, не смотрел как работает импорт в приватной коллекции мультилиба???

Цитата 1_абрам ()
1) Если в архиве есть fbd то берем библ. информацию оттуда
2)  Если нет - то из метаданных фб2


Прикинь, оно даже сейчас так работает smile


drSerj
 
1_абрамДата: Пятница, 14.04.2017, 18:28 | Сообщение # 94
Генералиссимус
Группа: Друзья
Сообщений: 1207
Репутация: 0
Статус: Offline
Цитата drserj ()
Каталог куда - прописывается в настройках, каталог откуда - выбирается при импорте. Ты что, не смотрел как работает импорт в приватной коллекции мультилиба???


Давно смотрел.  Честно говоря, я пока так  и не стал пользоваться приватной библиотекой.    В настройках "Путь к архивам локальной коллекции"  может быть несколько каталогов.  В какой из них импортируются книги?
 
drserjДата: Пятница, 14.04.2017, 19:50 | Сообщение # 95
Генералиссимус
Группа: Администраторы
Сообщений: 4693
Репутация: 30
Статус: Offline
Цитата 1_абрам ()
В какой из них импортируются книги?
 
В который укажешь (в мультилибе). В юнилибе - сейчас и решаем как лучше делать.
Я всё жду, когда появятся предложения. Больше чем уверен - только сделаю как хочу я - сразу найдется толпа доброжелателей, которые скажут что всё не так а надо этак... Вот и жду эту толпу до того как что-то сделаю smile


drSerj
 
PFNДата: Суббота, 15.04.2017, 01:50 | Сообщение # 96
Генерал-майор
Группа: Друзья
Сообщений: 206
Репутация: 0
Статус: Offline
Цитата drserj ()
Я всё жду, когда появятся предложения. Больше чем уверен - только сделаю как хочу я - сразу найдется толпа доброжелателей, которые скажут что всё не так а надо этак... Вот и жду эту толпу до того как что-то сделаю

Что-то за все время обсуждения проекта большой толпы на этом форуме видно не было. Так может ее и не будет?.. Я думаю, что вопрос с каталогами нужно решить так же, как это сделано в мультилибе: каталог(и) с файлами библиотеки и каталог(и) откуда берутся книги для пополнения могут выбираться по усмотрению пользователя.


===============================
Приказ, который может быть понят неправильно, обязательно будет понят неправильно
 
drserjДата: Суббота, 15.04.2017, 11:04 | Сообщение # 97
Генералиссимус
Группа: Администраторы
Сообщений: 4693
Репутация: 30
Статус: Offline
Цитата PFN ()
выбираться по усмотрению пользователя
Естественно, только вариантов этих усмотрений слишком много... Ладно, посмотрим...

Я вот думаю, надо ли как мультилибе, при импорте раздельно поиск и обработку, или тупо обрабатывать всё что нашло в указанном каталоге?


drSerj
 
PFNДата: Суббота, 15.04.2017, 13:36 | Сообщение # 98
Генерал-майор
Группа: Друзья
Сообщений: 206
Репутация: 0
Статус: Offline
Цитата drserj ()
Я вот думаю, надо ли как мультилибе, при импорте раздельно поиск и обработку, или тупо обрабатывать всё что нашло в указанном каталоге?

Давайте посмотрим на эти процессы внимательнее:
1. Сначала идет поиск и анализ найденных файлов.
2. Потом идет обработка найденных и отмеченных программой или пользователем.
Здесь возникает вопрос: на каком этапе отсеиваются:
  • файлы с нарушенной структурой (ошибки разбора fb2);
  • файлы-дубликаты по МД5 или другой критерий похожести;
  • другие основания/причины отсеивания.

Если отсеивание происходит уже при обработке, то разделять эти этапы не имеет смысла.
Смысл появляется если отсеивание происходит на этапе анализа.
Тогда у пользователя есть возможность вообще исключить из обработки и добавления в базу ненужных ему файлов.

В частности, я своей программкой предварительного отбора сразу отсеиваю:
  • дубликаты МД5;
  • файлы fb2 с ошибками;
  • файлы на иностранных языках;
  • файлы НЕ-FB2.

Потом в ручном режиме сравниваю оставшиеся для обработки файлы и лучшие перемещаю в папки авторов, удаляя их дубли из библиотеки. См. картинку.



 Сразу скажу, что программка сырая... Это видно и по интерфейсу и функционал хромает... Короче: недостатков масса, но мне помогает чистить свою библиотеку от разного мусора... :))

 Вот что-то похожее по функционалу я и хотел бы получить в Юнилибе... Если можно... shy
Прикрепления: 1544408.jpg (146.1 Kb)


===============================
Приказ, который может быть понят неправильно, обязательно будет понят неправильно
 
drserjДата: Суббота, 15.04.2017, 15:09 | Сообщение # 99
Генералиссимус
Группа: Администраторы
Сообщений: 4693
Репутация: 30
Статус: Offline
Цитата PFN ()
Если отсеивание происходит уже при обработке, то разделять эти этапы не имеет смысла.

отсеивать можно на любом этапе...

Цитата PFN ()
дубликаты МД5;

это есть

Цитата PFN ()
файлы fb2 с ошибками;

тут дилема... как xml - файл может и считаться ошибочным, как fb2 - практически все читалки открывают... Что считать ошибочным?

Цитата PFN ()
файлы на иностранных языках;

официально - для меня русский - иностранный smile Тут критерии надо продумывать...

Цитата PFN ()
файлы НЕ-FB2.

есть...

 
Цитата PFN ()
Вот что-то похожее по функционалу я и хотел бы получить в Юнилибе

этот функционал есть и в мультилибе, только не всё автоматом...


drSerj
 
PFNДата: Суббота, 15.04.2017, 18:54 | Сообщение # 100
Генерал-майор
Группа: Друзья
Сообщений: 206
Репутация: 0
Статус: Offline
Цитата drserj ()
тут дилема... как xml - файл может и считаться ошибочным, как fb2 - практически все читалки открывают... Что считать ошибочным?

Я отношу к ошибочным такие файлы:
  • отсутствуют поля жанра, языка и т.п.
  • файл не может быть открыт, т.к. в нем присутствуют знаки "&" или знаки типа "х08", "BELL" и т.п.
  • комментарии/примечания в тексте ограничены знаками "<" и ">"
  • другие причины по которым файл не открывается.

Цитата drserj ()
официально - для меня русский - иностранный Тут критерии надо продумывать...

Для меня тоже... smile
Вопрос только с языками, использующими кириллицу (украинский, белорусский, болгарский). Другие погоды не делают...
Для украинского и белорусского есть специфические буквы: "і, І, ї, Ї, є, Є, ў, Ў". Для болгарского - частота применения "ъ".
Например, употребление "ъ" более 20 раз в тексте из 5000 символов гарантировано определяет болгарский язык. 
Во всяком случае приблизительно в 98% книг (со всеми языками) срабатывает точно. А может % и выше... Это я так, на глазок прикинул... smile
Исключения проявляются когда в кириллице есть и латиница или символы в кодировке Win-1252.


===============================
Приказ, который может быть понят неправильно, обязательно будет понят неправильно
 
drserjДата: Суббота, 15.04.2017, 19:59 | Сообщение # 101
Генералиссимус
Группа: Администраторы
Сообщений: 4693
Репутация: 30
Статус: Offline
Цитата PFN ()
Я отношу к ошибочным такие файлы:

Вот тут стоп: мухи отдельно, котлеты отдельно.
Цитата PFN ()
отсутствуют поля жанра, языка и т.п.
не криминал
Цитата PFN ()
файл не может быть открыт, т.к. в нем присутствуют знаки "&" или знаки типа "х08", "BELL" и т.п.
не криминал. боле того, & будет в большинстве случаев

Цитата PFN ()
комментарии/примечания в тексте ограничены знаками "<" и ">"
тем более, эти знаки тоже будут smile

Цитата PFN ()
другие причины по которым файл не открывается.
а вот это уже может быть....

Для fb2 он же xml может быть только одна ошибка - он не пройдет микрософтовский валидатор. Да и то, не факт, что это ошибка.
Ошибка, если нет Тайтла - да, и то пойдет по статье "недостаточно информации"

Цитата PFN ()
Для меня тоже...

да вижу... UnderNet наше всё...

а про языки... сразу скажу, идентификацию языка делать не буду, ибо анализ еще и UTF и Юникода - дело неблагодарное. Дай Бог решить более мелкие вопросы, например, про устройство вселенной smile


drSerj
 
PFNДата: Суббота, 15.04.2017, 20:40 | Сообщение # 102
Генерал-майор
Группа: Друзья
Сообщений: 206
Репутация: 0
Статус: Offline
Цитата drserj ()
Для fb2 он же xml может быть только одна ошибка - он не пройдет микрософтовский валидатор.
Ну, хотя бы это... и то хлеб...

Цитата drserj ()
Ошибка, если нет Тайтла - да, и то пойдет по статье "недостаточно информации"

Угу... Только в этом случае нужно править уже саму книгу, как и в случае отсутствия жанра, автора, языка, и пр.
Иначе на диске будут храниться мусорные файлы, не соответствующие информации в базе.

Цитата drserj ()
про языки... сразу скажу, идентификацию языка делать не буду, ибо анализ еще и UTF и Юникода - дело неблагодарное.

Ладно, я и своей программкой предварительно основной мусор, в т.ч. и языки, сам уберу... Хотя ничего сверхсложного тут нет. Могу код скинуть, но он на VB...

А как будет стоять вопрос с возможностью подключения к программе сторонних модулей/плагинов/скриптов? Это может помочь улучшить функционал...


===============================
Приказ, который может быть понят неправильно, обязательно будет понят неправильно
 
drserjДата: Суббота, 15.04.2017, 20:55 | Сообщение # 103
Генералиссимус
Группа: Администраторы
Сообщений: 4693
Репутация: 30
Статус: Offline
Цитата PFN ()
Только в этом случае нужно править уже саму книгу, как и в случае отсутствия жанра, автора, языка, и пр. Иначе на диске будут храниться мусорные файлы, не соответствующие информации в базе.


Не... Не будем править smile А то что инфа в книге не соответствует базе - да и бог с ней... Мы-то базу смотрим а не книгу. тогда можно вообще выкусывать инфу из книги и хранить только само произведение...

Цитата PFN ()
Ладно, я и своей программкой предварительно основной мусор, в т.ч. и языки, сам уберу...

Не, ну это дело хозяйское, я не могу навязывать своё мнение smile

Цитата PFN ()
А как будет стоять вопрос с возможностью подключения к программе сторонних модулей/плагинов/скриптов? Это может помочь улучшить функционал...

Ессесно хочется... А значит будем пытаться слепить какой-нить API, дабы со стороны можно было достучаться... Но об этом явно не сейчас... Первостатейно - база, потом импорт, потом основной функционал (поиск, экспорт и т.д.) а потом уже и фенечки с рюшечками smile


drSerj
 
PFNДата: Воскресенье, 16.04.2017, 01:30 | Сообщение # 104
Генерал-майор
Группа: Друзья
Сообщений: 206
Репутация: 0
Статус: Offline
Цитата drserj ()
А то что инфа в книге не соответствует базе - да и бог с ней...

Да, понятно... Но вот натура у меня такая, чтобы все соответствовало... Никак не могу это пропустить... smile 

Цитата drserj ()
Первостатейно - база, потом импорт, потом основной функционал (поиск, экспорт и т.д.)

И кода первая "проба пера" планируется? Любопытство, конечно не красит..., но уж очень хочется знать... smile


===============================
Приказ, который может быть понят неправильно, обязательно будет понят неправильно
 
drserjДата: Воскресенье, 16.04.2017, 16:04 | Сообщение # 105
Генералиссимус
Группа: Администраторы
Сообщений: 4693
Репутация: 30
Статус: Offline
Цитата PFN ()
Но вот натура у меня такая, чтобы все соответствовало.

Значит придется в два этапа натуру усмирять...

Цитата PFN ()
И кода первая "проба пера" планируется?

А как получится... Натхнення потрібно smile Сейчас кой-че делать буду... Завтра... Как получится готовый кусочек - скину...


drSerj
 
Форум » Unilib » Проектирование и разработка » Обсуждение проекта (Обсуждение проекта)
Поиск:

Copyright LibRusLib © 2024