|
Обсуждение проекта
| |
| drserj | Дата: Понедельник, 31.10.2016, 21:26 | Сообщение # 1 |
|
Генералиссимус
Группа: Администраторы
Сообщений: 4693
Статус: Offline
| Unilib - программа для создания локальных библиотек.
Unilib представляет собой развитый офлайновый каталогизатор локальной библиотеки с автоматизированной пакетной обработкой импортируемых книг. Программа позволяет производить автоматический отбор книг по критериям, заданным пользователем, отсеивать дубликаты и.т.д.
Особенности Unilib-а:
1) Поддержка нескольких библиотек.
2) Импорт/экспорт личных данных.
3) Возможность обмена данными с другими библиотеками Unilib.
Ориентировочная структура БД
Структура модуля импорта
|
| |
| |
| drserj | Дата: Пятница, 14.04.2017, 11:44 | Сообщение # 91 |
|
Генералиссимус
Группа: Администраторы
Сообщений: 4693
Статус: Offline
| Цитата 1_абрам (  ) Тогда не получится хранить контент на разных дисках.
с какого ??? Пропиши два каталога корневых для контента... Надо - пропиши двадцать два....
Цитата 1_абрам ( ) Лучше бы сделать импорт в произвольный каталог. Гибче получится.
Щазз... а как программа узнает о том, где лежат книги? Ты путаешь понятия. Программе пофиг где ты будешь хранить книги, главное что бы программа знала о путях к этим каталогам.
drSerj
|
| |
| |
| 1_абрам | Дата: Пятница, 14.04.2017, 12:30 | Сообщение # 92 |
|
Генералиссимус
Группа: Друзья
Сообщений: 1207
Статус: Offline
| Цитата drserj ( ) с какого ??? Пропиши два каталога корневых для контента... Надо - пропиши двадцать два....
Так и я об этом. Откуда программа узнает в какой именно каталог импортировать книги? Если их можно будет выбирать вопрос снимается.
Добавлено (14.04.2017, 10:30)
---------------------------------------------
Хорошо бы при заполнении БД для фб2 сделать так:
1) Если в архиве есть fbd то берем библ. информацию оттуда
2) Если нет - то из метаданных фб2
Сообщение отредактировал 1_абрам - Пятница, 14.04.2017, 12:30 |
| |
| |
| drserj | Дата: Пятница, 14.04.2017, 13:52 | Сообщение # 93 |
|
Генералиссимус
Группа: Администраторы
Сообщений: 4693
Статус: Offline
| Цитата 1_абрам ( ) Так и я об этом. Откуда программа узнает в какой именно каталог импортировать книги? Если их можно будет выбирать вопрос снимается.
Каталог куда - прописывается в настройках, каталог откуда - выбирается при импорте. Ты что, не смотрел как работает импорт в приватной коллекции мультилиба???
Цитата 1_абрам ( ) 1) Если в архиве есть fbd то берем библ. информацию оттуда
2) Если нет - то из метаданных фб2
Прикинь, оно даже сейчас так работает 
drSerj
|
| |
| |
| 1_абрам | Дата: Пятница, 14.04.2017, 18:28 | Сообщение # 94 |
|
Генералиссимус
Группа: Друзья
Сообщений: 1207
Статус: Offline
| Цитата drserj ( ) Каталог куда - прописывается в настройках, каталог откуда - выбирается при импорте. Ты что, не смотрел как работает импорт в приватной коллекции мультилиба???
Давно смотрел. Честно говоря, я пока так и не стал пользоваться приватной библиотекой. В настройках "Путь к архивам локальной коллекции" может быть несколько каталогов. В какой из них импортируются книги?
|
| |
| |
| drserj | Дата: Пятница, 14.04.2017, 19:50 | Сообщение # 95 |
|
Генералиссимус
Группа: Администраторы
Сообщений: 4693
Статус: Offline
| Цитата 1_абрам ( ) В какой из них импортируются книги?
В который укажешь (в мультилибе). В юнилибе - сейчас и решаем как лучше делать.
Я всё жду, когда появятся предложения. Больше чем уверен - только сделаю как хочу я - сразу найдется толпа доброжелателей, которые скажут что всё не так а надо этак... Вот и жду эту толпу до того как что-то сделаю
drSerj
|
| |
| |
| PFN | Дата: Суббота, 15.04.2017, 01:50 | Сообщение # 96 |
 Генерал-майор
Группа: Друзья
Сообщений: 206
Статус: Offline
| Цитата drserj ( ) Я всё жду, когда появятся предложения. Больше чем уверен - только сделаю как хочу я - сразу найдется толпа доброжелателей, которые скажут что всё не так а надо этак... Вот и жду эту толпу до того как что-то сделаю
Что-то за все время обсуждения проекта большой толпы на этом форуме видно не было. Так может ее и не будет?.. Я думаю, что вопрос с каталогами нужно решить так же, как это сделано в мультилибе: каталог(и) с файлами библиотеки и каталог(и) откуда берутся книги для пополнения могут выбираться по усмотрению пользователя.
===============================
Приказ, который может быть понят неправильно, обязательно будет понят неправильно
|
| |
| |
| drserj | Дата: Суббота, 15.04.2017, 11:04 | Сообщение # 97 |
|
Генералиссимус
Группа: Администраторы
Сообщений: 4693
Статус: Offline
| Цитата PFN ( ) выбираться по усмотрению пользователя
Я вот думаю, надо ли как мультилибе, при импорте раздельно поиск и обработку, или тупо обрабатывать всё что нашло в указанном каталоге?
drSerj
|
| |
| |
| PFN | Дата: Суббота, 15.04.2017, 13:36 | Сообщение # 98 |
|
Генерал-майор
Группа: Друзья
Сообщений: 206
Статус: Offline
| Цитата drserj ( ) Я вот думаю, надо ли как мультилибе, при импорте раздельно поиск и обработку, или тупо обрабатывать всё что нашло в указанном каталоге?
Давайте посмотрим на эти процессы внимательнее:
1. Сначала идет поиск и анализ найденных файлов.
2. Потом идет обработка найденных и отмеченных программой или пользователем.
Здесь возникает вопрос: на каком этапе отсеиваются:
- файлы с нарушенной структурой (ошибки разбора fb2);
- файлы-дубликаты по МД5 или другой критерий похожести;
- другие основания/причины отсеивания.
Если отсеивание происходит уже при обработке, то разделять эти этапы не имеет смысла.
Смысл появляется если отсеивание происходит на этапе анализа.
Тогда у пользователя есть возможность вообще исключить из обработки и добавления в базу ненужных ему файлов.
В частности, я своей программкой предварительного отбора сразу отсеиваю:
- дубликаты МД5;
- файлы fb2 с ошибками;
- файлы на иностранных языках;
- файлы НЕ-FB2.
Потом в ручном режиме сравниваю оставшиеся для обработки файлы и лучшие перемещаю в папки авторов, удаляя их дубли из библиотеки. См. картинку.
Сразу скажу, что программка сырая... Это видно и по интерфейсу и функционал хромает... Короче: недостатков масса, но мне помогает чистить свою библиотеку от разного мусора... :))
Вот что-то похожее по функционалу я и хотел бы получить в Юнилибе... Если можно... 
===============================
Приказ, который может быть понят неправильно, обязательно будет понят неправильно
|
| |
| |
| drserj | Дата: Суббота, 15.04.2017, 15:09 | Сообщение # 99 |
|
Генералиссимус
Группа: Администраторы
Сообщений: 4693
Статус: Offline
| Цитата PFN ( ) Если отсеивание происходит уже при обработке, то разделять эти этапы не имеет смысла.
отсеивать можно на любом этапе...
Цитата PFN ( ) дубликаты МД5;
это есть
Цитата PFN ( ) файлы fb2 с ошибками;
тут дилема... как xml - файл может и считаться ошибочным, как fb2 - практически все читалки открывают... Что считать ошибочным?
Цитата PFN ( ) файлы на иностранных языках;
официально - для меня русский - иностранный Тут критерии надо продумывать...
Цитата PFN ( ) файлы НЕ-FB2.
есть...
Цитата PFN ( ) Вот что-то похожее по функционалу я и хотел бы получить в Юнилибе
этот функционал есть и в мультилибе, только не всё автоматом...
drSerj
|
| |
| |
| PFN | Дата: Суббота, 15.04.2017, 18:54 | Сообщение # 100 |
|
Генерал-майор
Группа: Друзья
Сообщений: 206
Статус: Offline
| Цитата drserj ( ) тут дилема... как xml - файл может и считаться ошибочным, как fb2 - практически все читалки открывают... Что считать ошибочным?
Я отношу к ошибочным такие файлы:
- отсутствуют поля жанра, языка и т.п.
- файл не может быть открыт, т.к. в нем присутствуют знаки "&" или знаки типа "х08", "BELL" и т.п.
- комментарии/примечания в тексте ограничены знаками "<" и ">"
- другие причины по которым файл не открывается.
Цитата drserj ( ) официально - для меня русский - иностранный Тут критерии надо продумывать...
Для меня тоже...
Вопрос только с языками, использующими кириллицу (украинский, белорусский, болгарский). Другие погоды не делают...
Для украинского и белорусского есть специфические буквы: "і, І, ї, Ї, є, Є, ў, Ў". Для болгарского - частота применения "ъ".
Например, употребление "ъ" более 20 раз в тексте из 5000 символов гарантировано определяет болгарский язык.
Во всяком случае приблизительно в 98% книг (со всеми языками) срабатывает точно. А может % и выше... Это я так, на глазок прикинул...
Исключения проявляются когда в кириллице есть и латиница или символы в кодировке Win-1252.
===============================
Приказ, который может быть понят неправильно, обязательно будет понят неправильно
|
| |
| |
| drserj | Дата: Суббота, 15.04.2017, 19:59 | Сообщение # 101 |
|
Генералиссимус
Группа: Администраторы
Сообщений: 4693
Статус: Offline
| Цитата PFN ( ) Я отношу к ошибочным такие файлы:
Вот тут стоп: мухи отдельно, котлеты отдельно.
Цитата PFN ( ) отсутствуют поля жанра, языка и т.п.
Цитата PFN ( ) файл не может быть открыт, т.к. в нем присутствуют знаки "&" или знаки типа "х08", "BELL" и т.п.
Цитата PFN ( ) комментарии/примечания в тексте ограничены знаками "<" и ">"
Цитата PFN ( ) другие причины по которым файл не открывается.
Для fb2 он же xml может быть только одна ошибка - он не пройдет микрософтовский валидатор. Да и то, не факт, что это ошибка.
Ошибка, если нет Тайтла - да, и то пойдет по статье "недостаточно информации"
Цитата PFN ( ) Для меня тоже...
да вижу... UnderNet наше всё...
а про языки... сразу скажу, идентификацию языка делать не буду, ибо анализ еще и UTF и Юникода - дело неблагодарное. Дай Бог решить более мелкие вопросы, например, про устройство вселенной
drSerj
|
| |
| |
| PFN | Дата: Суббота, 15.04.2017, 20:40 | Сообщение # 102 |
|
Генерал-майор
Группа: Друзья
Сообщений: 206
Статус: Offline
| Цитата drserj ( ) Для fb2 он же xml может быть только одна ошибка - он не пройдет микрософтовский валидатор.
Цитата drserj ( ) Ошибка, если нет Тайтла - да, и то пойдет по статье "недостаточно информации"
Угу... Только в этом случае нужно править уже саму книгу, как и в случае отсутствия жанра, автора, языка, и пр.
Иначе на диске будут храниться мусорные файлы, не соответствующие информации в базе.
Цитата drserj ( ) про языки... сразу скажу, идентификацию языка делать не буду, ибо анализ еще и UTF и Юникода - дело неблагодарное.
Ладно, я и своей программкой предварительно основной мусор, в т.ч. и языки, сам уберу... Хотя ничего сверхсложного тут нет. Могу код скинуть, но он на VB...
А как будет стоять вопрос с возможностью подключения к программе сторонних модулей/плагинов/скриптов? Это может помочь улучшить функционал...
===============================
Приказ, который может быть понят неправильно, обязательно будет понят неправильно
|
| |
| |
| drserj | Дата: Суббота, 15.04.2017, 20:55 | Сообщение # 103 |
|
Генералиссимус
Группа: Администраторы
Сообщений: 4693
Статус: Offline
| Цитата PFN ( ) Только в этом случае нужно править уже саму книгу, как и в случае отсутствия жанра, автора, языка, и пр. Иначе на диске будут храниться мусорные файлы, не соответствующие информации в базе.
Не... Не будем править А то что инфа в книге не соответствует базе - да и бог с ней... Мы-то базу смотрим а не книгу. тогда можно вообще выкусывать инфу из книги и хранить только само произведение...
Цитата PFN ( ) Ладно, я и своей программкой предварительно основной мусор, в т.ч. и языки, сам уберу...
Не, ну это дело хозяйское, я не могу навязывать своё мнение
Цитата PFN ( ) А как будет стоять вопрос с возможностью подключения к программе сторонних модулей/плагинов/скриптов? Это может помочь улучшить функционал...
Ессесно хочется... А значит будем пытаться слепить какой-нить API, дабы со стороны можно было достучаться... Но об этом явно не сейчас... Первостатейно - база, потом импорт, потом основной функционал (поиск, экспорт и т.д.) а потом уже и фенечки с рюшечками
drSerj
|
| |
| |
| PFN | Дата: Воскресенье, 16.04.2017, 01:30 | Сообщение # 104 |
|
Генерал-майор
Группа: Друзья
Сообщений: 206
Статус: Offline
| Цитата drserj ( ) А то что инфа в книге не соответствует базе - да и бог с ней...
Да, понятно... Но вот натура у меня такая, чтобы все соответствовало... Никак не могу это пропустить...
Цитата drserj ( ) Первостатейно - база, потом импорт, потом основной функционал (поиск, экспорт и т.д.)
И кода первая "проба пера" планируется? Любопытство, конечно не красит..., но уж очень хочется знать...
===============================
Приказ, который может быть понят неправильно, обязательно будет понят неправильно
|
| |
| |
| drserj | Дата: Воскресенье, 16.04.2017, 16:04 | Сообщение # 105 |
|
Генералиссимус
Группа: Администраторы
Сообщений: 4693
Статус: Offline
| Цитата PFN ( ) Но вот натура у меня такая, чтобы все соответствовало.
Значит придется в два этапа натуру усмирять...
Цитата PFN ( ) И кода первая "проба пера" планируется?
А как получится... Натхнення потрібно Сейчас кой-че делать буду... Завтра... Как получится готовый кусочек - скину...
drSerj
|
| |
| |
|
Главная 
