Пожелания - Страница 3 - Форум
LibRusLib
Среда, 07.12.2016, 17:22
Приветствую Вас Гость | RSS
 
Главная Пожелания - Страница 3 - ФорумРегистрацияВход
[ Новые сообщения · Участники · Правила форума · Поиск · RSS ]
Страница 3 из 18«123451718»
Форум » MultiLib - Библиотекарь » Планы и пожелания » Пожелания
Пожелания
1_абрамДата: Суббота, 23.01.2010, 10:41 | Сообщение # 31
Генерал-полковник
Группа: Друзья
Сообщений: 989
Репутация: 0
Статус: Offline
Quote (drserj)
А описание автора - оно вообще только на флибусте выкладывается. Если я его сделаю - на либрус материться будет... Да и ,опять-таки, ну оно надо реально??? Ну, сколько человек будет это читать???

В принципе согласен, я вот добавил описание автора на флибусту и сразу же захотелось, чтобы мой труд не пропал и сохранился в локальной библиотеке - так что у меня получается шкурный интерес.

А если серьезно, то конечно наличие аннотаций, рецензий, обложек и.т.п. украшает программу, но не является принципиальным. Реализовать все это не просто, и посколько ты делаешь программу один, все это лучше отлажить на потом.

 
drserjДата: Суббота, 23.01.2010, 11:30 | Сообщение # 32
Генералиссимус
Группа: Администраторы
Сообщений: 3865
Репутация: 24
Статус: Offline
Quote (1_абрам)
Реализовать все это не просто

Вот это реализовать как-раз и не сложно, проблема в скорости. В моей локальной программе, которую я писал изначально, не опираясь на базы либруса это и было реализовано. Но, картинки и описание хранятся в базе, что резко повышает скорость. Однако, расчитана она явно не на такие объемы. Если я всё это засуну в базу - объемы ее будут очень и очень не маленькие, скорость обработки тоже может упасть. Посчитаем: на обложку+аннотацию в среднем 20-25 кил, умножим ну на 200 тыщ, итого - почти 5 гиг... стоит оно того?


drSerj
 
drserjДата: Суббота, 23.01.2010, 11:41 | Сообщение # 33
Генералиссимус
Группа: Администраторы
Сообщений: 3865
Репутация: 24
Статус: Offline
Quote (Vultures)
Ну для локальной коллекции задержка должна быть небольшой.

Это так кажется, я проверял, даже 1 секунда обработки уже вызывает явный дискомфорт. А тут - может быть куда больше. А если коллекция, как у меня, лежит на другой машине и доступ к ней по сети? А если размер файла под 3 метра? А если упакован 7z ? Каждое условие замедляет обработку на порядок.

Quote (Vultures)
Лишнее действие (жмык клавиши Enter) вызывает некоторую фрустрацию.

а я на пробел повесил - куда удобнее, на ентер я повесил открытие.


drSerj
 
drserjДата: Суббота, 23.01.2010, 11:42 | Сообщение # 34
Генералиссимус
Группа: Администраторы
Сообщений: 3865
Репутация: 24
Статус: Offline
В общем так, в этой версии обложка и аннотация в автомате не будет. Если получится нормальная скорость - добавлю.

drSerj
 
1_абрамДата: Суббота, 23.01.2010, 11:46 | Сообщение # 35
Генерал-полковник
Группа: Друзья
Сообщений: 989
Репутация: 0
Статус: Offline
А если не загружать автоматически картинки и описание, а делать это для каждого автора отдельно, специальной командой захотел посмотреть - нажал "Загрузить описания" и в базу добавила соответствующая информация для выбранного автора.

У каждого свои любимые авторы ~ 100. Умнажаем: 100*25K= всего 2.5Мб.

 
drserjДата: Суббота, 23.01.2010, 13:44 | Сообщение # 36
Генералиссимус
Группа: Администраторы
Сообщений: 3865
Репутация: 24
Статус: Offline
Quote (1_абрам)
У каждого свои любимые авторы ~ 100. Умнажаем: 100*25K= всего 2.5Мб.

Да не с авторами проблемы, вопрос стоял о обложках и аннотациях. А по поводу авторов - дык либрусек не дает такую информацию. Ее дает только флибуста.


drSerj
 
1_абрамДата: Четверг, 28.01.2010, 10:46 | Сообщение # 37
Генерал-полковник
Группа: Друзья
Сообщений: 989
Репутация: 0
Статус: Offline
Quote (drserj)
Да не с авторами проблемы, вопрос стоял о обложках и аннотациях. А по поводу авторов - дык либрусек не дает такую информацию. Ее дает только флибуста.

Так я и писал про обложки и анотации. Суть моего предложениия загружать в базу не все обложки и аннотации:

"Посчитаем: на обложку+аннотацию в среднем 20-25 кил, умножим ну на 200 тыщ, итого - почти 5 гиг...", а только часть их

"100*25K= всего 2.5Мб." (см. сообщение выше) ,

что обеспечит скорость работы программы.

 
drserjДата: Четверг, 28.01.2010, 11:40 | Сообщение # 38
Генералиссимус
Группа: Администраторы
Сообщений: 3865
Репутация: 24
Статус: Offline
вопрос, какую именно часть, и по каким критериям....

drSerj
 
1_абрамДата: Четверг, 28.01.2010, 12:28 | Сообщение # 39
Генерал-полковник
Группа: Друзья
Сообщений: 989
Репутация: 0
Статус: Offline
Quote (drserj)
вопрос, какую именно часть, и по каким критериям

Так я именно об этом и писал выше:

"А если не загружать автоматически картинки и описание, а делать это для каждого автора отдельно, специальной командой захотел посмотреть - нажал "Загрузить описания" и в базу добавила соответствующая информация для выбранного автора".

Т.е. по умолчанию картинок и описаний в базе нет. Если пользователь хочет, чтобы они появились он должен выбрать автора, нажать кнопку "Загрузить описания". По этой команде в базу добавиляются обложки и аннотации выбранного автора. Если пользователь сделает это 200 тыщ раз - то получить на свою щею проблемы со скоростью.

Кстати, мне обложки и аннотации на фиг не нужны.

 
drserjДата: Четверг, 28.01.2010, 12:35 | Сообщение # 40
Генералиссимус
Группа: Администраторы
Сообщений: 3865
Репутация: 24
Статус: Offline
Ой. не нравится мне это... Для локальной программы на небольшое к-во книг - допустимо, а на такое... как-то не катит...

drSerj
 
flegmas7797Дата: Пятница, 29.01.2010, 10:32 | Сообщение # 41
Рядовой
Группа: Пользователи
Сообщений: 1
Репутация: 0
Статус: Offline
Можно и я нажелаю? Очень понравилось, как сделана программа. Своё назначение она выполняет на все сто, очень жаль, что я о ней узнал совсем недавно. Конечно, это не Библиотекарь, и даже не Каталогизатор, это прекрасный Сканер онлайновой библиотеки с дополнительными сервисными функциями – поиск, закачка и т.д. А вот под Библиотекарем я понимаю программу для хранения-управления локальной коллекцией е-книг. И здесь идеала мной пока не найдено, Наиболее близкое приближение – Fb2Librian.

А сейчас о том, чего хочется. Надеюсь, это будет в тему данного топика.
Я, собственно, коллекционер-любитель, или любитель-коллекционер, т.е. собирать все имеющиеся в мире тексты мне не интересно. Зато есть авторы, которых я читаю, или собираюсь читать, или возможно когда-нибудь соберусь читать. Вот у этих авторов хочется иметь в локальном варианте все имеющиеся русскоязычные тексты и всякую дополнительную информацию. Таких авторов наберётся несколько сотен, может тысяча, но круг их постоянно растёт. Плюс околонаучная литература интересующей тематики: история, мифология, разная натуралистика и т.д. Вот, исходя из этого (не запредельный набор книг, всё может отслеживаться и правиться вручную), у меня желания и формируются.

Программу, на мой взгляд, можно поделить на три части:
- управление локальной коллекцией;
- добавление книг в локальную коллекцию;
- сканер онлайновых библиотек.

Для локальной коллекции хочется.
1. Формат книжек fb2. Для остальных форматов файл описания (*.fbd) запакованный с книжкой в один архив.
2. Хранение – файловая система. Структура папок и названия файлов – настраиваемые, с необязательными частями (например: отчество, серия, номер в серии - если они есть).
3. Все поля из заголовка fb2 должны быть в базе и редактироваться там и там одновременно.
4. Авторы. Нужна поддержка синонимов для разных написаний, транскрипций и т.д. Поддержка псевдонимов – псевдонимы показываются в списке авторов и подставляются в заголовки книжек, как авторы. Для списка книг у одного автора нужен выбор (флажок) – показать книги, опубликованные только под этим именем, или под всеми псевдонимами. Соавторов можно обрабатывать как коллективный псевдоним. У псевдонимов тоже могут быть синонимы.
5. Авторы. Хранить в базе фотографию, биографию и библиографию (в текстовом виде).
6. Добавить закладки для переводчиков и, желательно, ключевых слов.
7. Весьма желательно, кроме тематических жанров, хранить форму произведения: драматургия, поэзия, беллетристика, остальное. Возможно, двухуровневую - для выделения романов, сонетов, трагедий, очерков, писем, эссе и т.д. Для форм произведений тоже можно отдельную закладку. В списке книг нужен фильтр по первому и второму уровню формы и фильтр на крупную, мелкую форму – можно настраиваемый.
8. Пользовательские группы – вполне устраивает сегодняшняя реализация.
9. Список книг. Скрываемые колонки на все поля из заголовка fb2, ну, или почти все, обязательно колонка для переводчика и подсериала, плюс форма произведения, плюс признаки вхождения в группы. Под списком – настраиваемая форма – сам выбираю, какую информацию о книге выводить туда дополнительно.
10. Кроме основного поиска – расширенный, по всем полям базы (не очень важно, но иногда полезно).
11. Групповые операции заполнения полей. Чтобы для выделенных книг можно было одной операцией менять значение некоторого поля(ей): серия, жанр, автор, дата написания и т.д.

Добавлено (29.01.2010, 11:32)
---------------------------------------------
Часть 2

Для добавления книг и онлайн сканера с требованиями проще. Уже есть реализации близкие к идеальным.

Добавление новых книг очень хорошо реализовано в Fb2Librian:
- выбор каталога для загрузки,
- три этапа - сканирование каталога, обработка добавляемых книг, загрузка в базу согласно статуса после обработки,
- множество статусов обработки (разные виды дублей и ошибок),
- возможность сразу отредактировать информацию в добавляемой книге и обработать заново,
- выбор операции для дубликатов (добавить к существующим, заменить дубль, редактировать описание и повторить обработку, удалить из списка загрузки) для отдельных книг и для списка,
- сохранение списка обработанных, но не загруженных в базу книг, для ручной доработки завтра,
- открытие добавляемой и имеющейся в базе книги для сравнения текста,
- бэкап заменяемых книг,
- сохранение файла книги по шаблону пути и имени.
Хочется добавить только одно: облегченный режим первоначального заполнения, в котором программа будет тупо запихивать в базу всё, что смогла признать книгой, и раскладывать файлы. Что в базу не запихано – не удаляется.

Для сканирования онлайн библиотеки LibRusLib лучший. Осталось добавить поддержку многих онлайн библиотек, каждую со своими сохраняющимися настройками доступа, и загрузку книг сразу в локальную базу (ну, или в подпрограмму добавления книг). Ну и конечно, поиск похожих книг в локальной коллекции.

Вот такие вот глобальные мечты. Теперь можно их подравнять. Серпом.

 
drserjДата: Пятница, 29.01.2010, 12:55 | Сообщение # 42
Генералиссимус
Группа: Администраторы
Сообщений: 3865
Репутация: 24
Статус: Offline
серпом... это хорошая мысль... лучше бомбой... атомной... что б наверняка smile

По поводу пожеланий - если внимательно почитать топик - то можно узнать, что планируется мультибиблиотечная версия с возможностью добавления своих книг и т. д. Правда, в связи с постоянными пожеланиями к предыдущей версии (точнее ветке), времени на разработку новой - практически не остается. Постоянно приходится рассматривать и добавлять различные хотелки, доработки и т.д. (в большинстве своём - мало кому нужные).

По поводу хотелок как в Fb2Librian - у меня давно уже работает моя программа, аналогичная Fb2Librian, но с теми изменениями, которые мне не понравились в Fb2Librian. Я и хочу объединить эти два проекта в один. Есть много вопросов, проблем. Пока не решу - естественно, мультибиблиотечной версии не будет.

Единственное, что хотелось бы напомнить - чем больше данных мы будем хранить и обрабатывать, тем больше места будет занимать база, тем ниже будет скорость обработки, тем сложнее будет работать с программой. Самое сложное - это определить где избыточность, а где - достаточность и выбрать оптимальный вариант. Всегда найдутся недовольные, которые захотят чего-нибудь еще. Посему, предпочитаю всё сначала хорошо продумать и взвесить, прежде чем писать. Иначе прийдется переписывать сотню раз.


drSerj
 
VulturesДата: Пятница, 29.01.2010, 18:38 | Сообщение # 43
Рядовой
Группа: Пользователи
Сообщений: 9
Репутация: 0
Статус: Offline
drserj
Я немного отвлекся от ветки — аврал. Проблема ясна, но имеет место только для обложки, без которой вполне можно прожить. Другое дело аннотация.
Аннотация без обложки не должна привести к чрезмерной задержке и распуханию БД.
М?
 
drserjДата: Пятница, 29.01.2010, 21:11 | Сообщение # 44
Генералиссимус
Группа: Администраторы
Сообщений: 3865
Репутация: 24
Статус: Offline
Можем посчитать, в общем-то... размер аннотации умножить хотя-бы на 200 000. т.е При условии аннотации в 1кб - это 200 метров. Сама база с индексами - около 80 метров. Итого - одни описания - уже почти в 3 раза превышают общий объем базы. Ладно, неприятно, но не смертельно.

Второй, и более важный вопрос.... Господа, а где вы собираетесь брать эти самые описания? Их на сайтах нет, они вытягиваются непосредственно из файлов книг. А теперь, следующий вопрос: вы хоть немножко представляете время, которое понадобится для вытягивания этих самых описаний из файлов??? На одно описание при хорошей машине от 1 до 15 секунд. Считаем, в среднем - 5. Итак, 5 секунд*200000 / 60 - 16667 минут - 277 часов - 12 суток непрерывной работы. И это - как минимум... Ладно, разово - терпимо (хотя, найти такого экстримала - это уже проблема). Но, при том к-ве поступлений, которое сейчас (в среднем 150 книг ежедневно) это 13 минут (на хорошей машине). И это при условии, что выполняться процедура будет ежедневно! А если 2 дня? А месяц?

Да, можно выгребать описания кусками (жуть как "удобно"), но, возникает вопрос - а какие именно книги будем потрошить? Интересные? Дык для этого надо читать описание smile Круг замкнулся, однако.

Ежели я не прав - поправьте, буду весьма рад.

P.S. Как уже писалось ранее, я написал программу для своей локальной библиотеки, в которой используется подобная система. Так вот, добавлять книги - тоскливо. Десятки - нормально, сотни - ну, можно терпеть... ну а тысячи - у меня героизма не хватило smile Боле того, с увеличением размера базы скорость падает за счет создания индексов... Я это даже не учитывал в предыдущем разгребе !!!!


drSerj
 
flegmasДата: Пятница, 29.01.2010, 22:29 | Сообщение # 45
Рядовой
Группа: Пользователи
Сообщений: 2
Репутация: 0
Статус: Offline
На мой взгляд, хотелки к текущей версии не очень серьёзны. Ничего существенного, кроме желания мультибиблиотечности. Через месяц-два всё стихнет.
Я, собственно, и упор делал на локальную версию и на тот функционал, который пока нигде не реализован. А когда он повится и где, всё в руках энтузиастов-разработчиков.
Удачи вам!
 
Форум » MultiLib - Библиотекарь » Планы и пожелания » Пожелания
Страница 3 из 18«123451718»
Поиск:

Copyright LibRusLib © 2016