LibRusLib
Четверг, 25.04.2024, 12:18
Приветствую Вас Гость | RSS
 
Главная ФорумРегистрацияВход
[ Новые сообщения · Участники · Правила форума · Поиск · RSS ]
  • Страница 1 из 9
  • 1
  • 2
  • 3
  • 8
  • 9
  • »
Форум » LibGen - Библиотекарь » Разработка » Разработка, проблемы, вопросы, планы и пожелания. (Разработка, проблемы, вопросы, планы и пожелания.)
Разработка, проблемы, вопросы, планы и пожелания.
drserjДата: Вторник, 28.12.2010, 22:36 | Сообщение # 1
Генералиссимус
Группа: Администраторы
Сообщений: 4693
Репутация: 30
Статус: Offline
Ну вот наконец-то по-тихонечку что-то вырисовывается.
Несмотря на нехватку времени программа пишется, может и не так быстро, но всё-таки.
В очередной раз анализируя базу, хочется взвыть от ее структуры и наполнения. Возможно, разработчики имели самые благие намерения, но в итоге, как не вспомнить знаменитую фразу - "Хотелось как лучше, а получилось - как всегда".

Первое, что я хотел бы сказать - с каждым разом, с каждым последующим анализом структуры и контента - количество функций программы уменьшается больше и больше.

Последнее, с чем я столкнулся - отсутствие даты публикации книги. Чем это грозит? Да всем. В частности - отсутствием возможности выборки за период, невозможности отслеживания новинок (а по какому критерию?) и прочее.

Что еще... Отсутствие списка авторов, отсутствие разграниченных тематик (жанров), отсутствие стандартизации любого из полей... Всё это превращает программу в тупой поиск на вхождение по полям.

Впрочем, если у кого есть идеи - высказывайтесь. может, действительно, что-то удастся реализовать более полно.

Структура и описание базы тут: http://gen.lib.rus.ec/forum/viewtopic.php?f=1&t=4


drSerj
 
ShanUa9182Дата: Пятница, 31.12.2010, 00:06 | Сообщение # 2
Подполковник
Группа: Проверенные
Сообщений: 143
Репутация: 0
Статус: Offline
Quote (drserj)
Нет четкой классификации, нет четкого деления по темам. Короче, ужасно всё.... Найти что-то, не зная точно что ищешь - практически невозможно

если оболочка либгена в разделе поиска будет схожа с той что есть сейчас то в принципе каждый пользователь для себя может навести некий порядок в интересующих его темах с помощью все тех же ключевых слов/тэгов.
и если в программе будет возможность импорта/экспорта этих самых ключевых слов привязанных к конкретным книгам то можно будет создать со временем некую общую альтернативную базу тэгов которые конечно будут проставлены согласно общему совместно разработанному шаблону.
Допустим я для себя разбираю какую либо тему соответственно я уже себе представляю авторов и список книг которые мне нужны (нагуглил например) далее лезу в либген нахожу эти книги и проставляю тэги, затем экспортирую файлик, он объединяется в общую базу и соотв импортируется с очередным обновлением. т.е. и мне не накладно так как все рано занимаюсь вопросом и общему делу полезно. так и соберутся файлы тэгов по интересам, а возможно кто-то целенаправленно захочет потратить время и проставить недостающую часть тэгов/ключевых слов/жанров можно назвать по разному. понятно что книг тысячи но самые полезные однозначно будут найдены и классифицированы ну а если нет значит они не так и важны.

Quote (drserj)
В базе нет даже даты добавления книги и невозможно отследить новинки

если это база данных то должно же быть поле с ключом который присваивается всем файлам, по которому они сами ее различают
а если нет то при обновлении программа могла бы создать свой ключ и присвоить его пусть, даже этим ключом будут тэги а файлы с не проставленными тэгами помечаться типа null/no...
так при поступлении новых файлов они и будут отличаться не помеченными полями.

Quote (drserj)
Только ручками

да кстати на основе все тех же пользовательских тэгов можно было бы соорудить некий экспорт во вторую ветку программы в раздел пользовательских коллекций. это позволило бы частично автоматизировать перенос книг из либгена в пользовательскую коллекцию (кому это нужно)

Сообщение отредактировал ShanUa9182 - Пятница, 31.12.2010, 00:14
 
1_абрамДата: Пятница, 31.12.2010, 11:25 | Сообщение # 3
Генералиссимус
Группа: Друзья
Сообщений: 1207
Репутация: 0
Статус: Offline
Quote (drserj)
Последнее, с чем я столкнулся - отсутствие даты публикации книги. Чем это грозит? Да всем. В частности - отсутствием возможности выборки за период, невозможности отслеживания новинок (а по какому критерию?) и прочее.

Да, это хреново. Но вроде бы файлы должны быть привязаны к именам директорий репозито́рия: "242000", "243000", .... . Если так то можно отслеживать появление новой тысячи книг, что в общем нормально.

Quote (drserj)
Что еще... Отсутствие списка авторов, отсутствие разграниченных тематик (жанров), отсутствие стандартизации любого из полей... Всё это превращает программу в тупой поиск на вхождение по полям.

Надо бы добавить возможность пользовательских SQL запросов в поиск и новинки (если они будут).

Quote (ShanUa9182)
если оболочка либгена в разделе поиска будет схожа с той что есть сейчас то в принципе каждый пользователь для себя может навести некий порядок в интересующих его темах с помощью все тех же ключевых слов/тэгов.
и если в программе будет возможность импорта/экспорта этих самых ключевых слов привязанных к конкретным книгам то можно будет создать со временем некую общую альтернативную базу тэгов которые конечно будут проставлены согласно общему совместно разработанному шаблону.

Да ключевые слова штука мощная и полезная. Их, наверно, можно импортировать в либген.

 
redreytarДата: Среда, 02.03.2011, 21:55 | Сообщение # 4
Рядовой
Группа: Пользователи
Сообщений: 1
Репутация: 0
Статус: Offline
Хорошо бы вы конвертацию в epub и moby прикрутили..........это было бы очень полезно и реально удобно для владельцев iphone i kindle.
 
drserjДата: Среда, 02.03.2011, 22:32 | Сообщение # 5
Генералиссимус
Группа: Администраторы
Сообщений: 4693
Репутация: 30
Статус: Offline
Quote (redreytar)
Хорошо бы вы конвертацию в epub и moby прикрутили..........это было бы очень полезно и реально удобно для владельцев iphone i kindle.

Если есть внешний конвертор - без проблем. Можно и к текущей версии прикрутить.


drSerj
 
ShamsДата: Четверг, 03.03.2011, 08:14 | Сообщение # 6
Генерал-майор
Группа: Проверенные
Сообщений: 274
Репутация: 0
Статус: Offline
А чего там прикручивать? Через "Пакетные операции" и то и другое работает без всяких заморочек (ну типа батников с переменными biggrin ).
fb2epub (http://www.fb2epub.net/rus/index.html) совсем элементарно:
Code
Конвертация FB2 в EPUB
.\Script\fb2epub\Fb2ePub.exe
%F

fb2mobi (http://code.google.com/p/fb2mobi/) требует чуть-чуть параметров:
Code
Конвертация FB2 в MOBI
.\Script\fb2mobi\fb2mobi.exe
%F -nc -cl -us -nt
 
drserjДата: Четверг, 03.03.2011, 09:52 | Сообщение # 7
Генералиссимус
Группа: Администраторы
Сообщений: 4693
Репутация: 30
Статус: Offline
Quote (Shams)
А чего там прикручивать?

Дык я это и имел в виду smile

Только при чем тут ЛибГен ? smile Это ближе к либрусу. У либгена нет пакетных операций, там только pdf и djvu в основном...


drSerj
 
VV123Дата: Пятница, 11.03.2011, 10:37 | Сообщение # 8
Генерал-майор
Группа: Проверенные
Сообщений: 304
Репутация: 2
Статус: Offline
Quote (ShanUa9182)
и если в программе будет возможность импорта/экспорта этих самых ключевых слов привязанных к конкретным книгам то можно будет создать со временем некую общую альтернативную базу тэгов которые конечно будут проставлены согласно общему совместно разработанному шаблону.
Допустим я для себя разбираю какую либо тему соответственно я уже себе представляю авторов и список книг которые мне нужны (нагуглил например) далее лезу в либген нахожу эти книги и проставляю тэги, затем экспортирую файлик, он объединяется в общую базу и соотв импортируется с очередным обновлением. т.е. и мне не накладно так как все рано занимаюсь вопросом и общему делу полезно. так и соберутся файлы тэгов по интересам, а возможно кто-то целенаправленно захочет потратить время и проставить недостающую часть тэгов/ключевых слов/жанров можно назвать по разному. понятно что книг тысячи но самые полезные однозначно будут найдены и классифицированы ну а если нет значит они не так и важны.

+1. Т.е. сделать возможность создания альтернативной(пользовательской) базы с ее экспортом, а дальше при согласии остальных пользователей можно будет делать слияние(update) с основной базой.

Quote (drserj)
Последнее, с чем я столкнулся - отсутствие даты публикации книги. Чем это грозит? Да всем. В частности - отсутствием возможности выборки за период, невозможности отслеживания новинок (а по какому критерию?) и прочее.

Вот для этого может помочь индексация с выделением цветом(зеленым) того что находится на домашнем компьютере.
Или птичка "показывать чего нет в локальных папках" при поиске.
Т.е. я делаю "импорт базы" (1 раз в неделю или месяц) потом запускаю поиск с критериям (по которым у меня в папках уже есть книги) ставилю птичку "показывать чего нет в локальных папках" и вижу что нового появилось (за последнюю неделю или месяц).


Сообщение отредактировал VV123 - Пятница, 11.03.2011, 10:49
 
drserjДата: Пятница, 11.03.2011, 11:30 | Сообщение # 9
Генералиссимус
Группа: Администраторы
Сообщений: 4693
Репутация: 30
Статус: Offline
Quote (VV123)
+1. Т.е. сделать возможность создания альтернативной(пользовательской) базы с ее экспортом, а дальше при согласии остальных пользователей можно будет делать слияние(update) с основной базой.

Ребяты! Я ж писал уже - не надо нагружать либген подобными функциями. Это приведет к хаосу! Невозможно локально это решить. Необходимо для этого поднимать где-то сервер, ложить на него базу, отслеживать изменения, корректировать... Вобщем, дальше я даже не буду описывать весь процесс...И всё только из-за того, что основная база спроектирована и заполнена некорректно... Если народ не хочет причесать основную базу - то лепить костыли - тем боле не будет.

Quote (VV123)
Т.е. я делаю "импорт базы" (1 раз в неделю или месяц) потом запускаю поиск с критериям

Поиск по критериям осуществляется автоматически, сразу после импорта базы.

Quote (VV123)
ставилю птичку "показывать чего нет в локальных папках" и вижу что нового появилось (за последнюю неделю или месяц).

Обрати внимание на то, что это актуально только в таблице с выборкой!!!! А не во всех таблицах, где инфы - под триста тыщ записей...
Но, опять-таки, там видно что есть (выделено зеленым) а, соответственно, что не выделено - того нет smile Так что зачем еще раз дублировать функционал?


drSerj
 
VV123Дата: Пятница, 11.03.2011, 12:34 | Сообщение # 10
Генерал-майор
Группа: Проверенные
Сообщений: 304
Репутация: 2
Статус: Offline
Quote (drserj)
Необходимо для этого поднимать где-то сервер, ложить на него базу, отслеживать изменения, корректировать...

Зачем? surprised
Quote (drserj)
Если народ не хочет причесать основную базу - то лепить костыли - тем боле не будет.

Я беру за основу базу либгена, потом причесываю ее часть (не бОльшую, но и не маленькую), создаю альтернативную экспортирую и выкладываю, например здесь на форуме, пользователи пробуют и говорят надо или не надо им такое, если надо напрягаем создателей основной базы чтобы они сделали слияние(update).
Quote (drserj)
Так что зачем еще раз дублировать функционал?

У пользователя должен быть выбор каким способом ему сделать, а ты предлагаешь вот есть гвоздь и есть плоскогубцы если их повернуть так то гвоздь можно забить а этак гвоздь можно вынуть а для шурупа поворачивайте их вот так. В итоге пользователь все время будет приставать с вопросами какже повернуть эти плоскогубцы чтобы получить результат.
 
drserjДата: Пятница, 11.03.2011, 13:04 | Сообщение # 11
Генералиссимус
Группа: Администраторы
Сообщений: 4693
Репутация: 30
Статус: Offline
Quote (VV123)
Quote (drserj)Необходимо для этого поднимать где-то сервер, ложить на него базу, отслеживать изменения, корректировать... Зачем?

Итак: имеем свою, типа, пополненную базу. народ имеет свои. как обмениваться? Берем у одного,грузим себе, у другого - тоже грузим и т д? Или каждый сливает свое с основной альтернативной базой (к базе либгена хрен кто пустит)?

Quote (VV123)
Я беру за основу базу либгена, потом причесываю ее часть (не бОльшую, но и не маленькую), создаю альтернативную экспортирую и выкладываю, например здесь на форуме, пользователи пробуют и говорят надо или не надо им такое, если надо напрягаем создателей основной базы чтобы они сделали слияние(update).

Угу... а потом что-то тихенько меняется в основной базе...

1. Кто будет заниматься разгребом? Библиотекари? Де брать.
2. Как определить чей апдейт лучше (правильней) ? Где гарантия корректности?
3. Где хранить всю инфу? Ты слегка прикинь размер базы с альтернативной корректировкой... Уже сейчас это пол-гига... Будет, как минимум, в полтора раза больше.

Quote (VV123)
У пользователя должен быть выбор каким способом ему сделать, а ты предлагаешь вот есть гвоздь и есть плоскогубцы если их повернуть так то гвоздь можно забить а этак гвоздь можно вынуть а для шурупа поворачивайте их вот так. В итоге пользователь все время будет приставать с вопросами какже повернуть эти плоскогубцы чтобы получить результат.

Ты читал сообщение Корейца, почему он перестал заниматься поддержкой MyHomeLib? Очень рекомендую smile Отпадут многие вопросы...

Вот что бы не повторять грабли, на которые наступил Кореец, я не хочу из программы делать сенокосилку с вертикальным взлётом и посадкой.
У меня самого - те же грабли с проектом Либруслиба. Толпа реализованых (и в большинстве, нахрен никому не нужных хотелок) привела к тому, что изначально нормальная программа превратилась в монстра.
С либгеном проще - им пользуются не блондинки, а вполне грамотные люди. Поэтому они спокойно могут разобраться с теми расширенными функциями smile Сейчас создается ядро программы с максимальным функционалом и минимальными фенечками-рюшечками. Все фенечки можно добавить и потом, если программа пойдет в народ. Пока я вижу всего пару десятков скачек и несколько человек, которых интересует функционал. Делать достаточно "жирную" фенечку для одного человека - не логично. Если наберется толпа желающих - можно будет думать. Это грубо, некрасиво, но зато не приведет к печальным последствиям как с майхомлибом. smile


drSerj
 
VV123Дата: Пятница, 11.03.2011, 13:37 | Сообщение # 12
Генерал-майор
Группа: Проверенные
Сообщений: 304
Репутация: 2
Статус: Offline
Quote (drserj)
Или каждый сливает свое с основной альтернативной базой

Можно и так. Это хоть какое-то движение, иначе "мыши плакали, кололись, но продолжали жрать кактус"
Quote (drserj)
Кто будет заниматься разгребом? Библиотекари? Де брать.

Вот увидев Твою программу я подумал что можно начинать т.е. я могу. Вот только иструмент бы заточить - берешь в руки и чувствуешь ВЕЩЬ.
Quote (drserj)
Как определить чей апдейт лучше (правильней) ? Где гарантия корректности?

Тут вопрос размера у кого больше тот и поглотит, а ошибки они везде есть, и указать на них можно одному или нескольким, а сейчас когда десятки и сотни заполняют базу через вэб морду мы имеем то что имеем.
Quote (drserj)
Ты читал сообщение Корейца, почему он перестал заниматься поддержкой MyHomeLib?

прочитал и это то же прочитал
Quote (drserj)
Первое, что я хотел бы сказать - с каждым разом, с каждым последующим анализом структуры и контента - количество функций программы уменьшается больше и больше.
 
drserjДата: Пятница, 11.03.2011, 17:28 | Сообщение # 13
Генералиссимус
Группа: Администраторы
Сообщений: 4693
Репутация: 30
Статус: Offline
Quote (VV123)
Можно и так. Это хоть какое-то движение, иначе "мыши плакали, кололись, но продолжали жрать кактус"

вот это и удивляет - колемся и жрем! smile

Quote (VV123)
Вот увидев Твою программу я подумал что можно начинать т.е. я могу. Вот только иструмент бы заточить - берешь в руки и чувствуешь ВЕЩЬ.

Понимаешь, назначение у этой программы - несколько иное. Для того, что ты хочешь - надо тупо любой скриптовый язык и мускул... 90% работы - именно распарсить а не вручную править... Даже если я дам тебе подключаемую собственную базу - ты не сможешь ничего сделать, ибо формат, который надо это всё гнать - совсем другой! Не прокатит программа для этих целей!

Quote (VV123)
Тут вопрос размера у кого больше тот и поглотит

неверный подход... "лучше меньше, но лучше"

Quote (VV123)
прочитал и это то же прочиталQuote (drserj)Первое, что я хотел бы сказать - с каждым разом, с каждым последующим анализом структуры и контента - количество функций программы уменьшается больше и больше.

именно... по сравнению с либруслибом - функций значительно меньше именно из-за корявой изначально структуры базы.

Народ. У меня предложение: давайте не путать программу либген-библиотекаря с инструментом по причесыванию либгеновской базы. Это два разных вопроса, которые не пересекаются. В библиотекаре - что имеем - то имеем, это каталогизатор со всеми отсюда вытекающими. Да, надо приводить базу к нормальному виду. Но это - вопрос другой. Надо под это дело инструмент - напишем. Но давайте не создавать комбайн!
По большому счету - пока не будет причесана основная база самого либгена - всё что мы будем делать - мышиная возня. Почему? Объясняю. Если мы будем каждый раз причесывать базу - затраты сил не равноценны, надо, что бы эти изменения отражались в основной базе. Предположим, кто-то возьмется каждый раз причесывать базу, выпуская свой стандарт. К чему приведет? К повторению майхомлиба! Именно эта идея с собственным форматом и привела к тому, что без поддержки автора (или того, кто перехватит эту поддержку) - программа абсолютно бессмысленна и пользователи целиком зависят от людей, создающих и поддерживающих этот формат. Сейчас моя программа и пользователи не зависят ни от кого, точнее зависят только от самого либгена. Впрочем, если либген помрет - надобность в обновлениях так же не понадобится. Идеальный вариант.
Вывод. Прежде чем организовывать столь глобальное мероприятие по причесыванию формата - необходимо поговорить с владельцами либгена, заручиться их поддержкой и согласием и только потом говорить об инструментарии. Это сугубо мое мнение. Если кто-то думает иначе - приводите аргументы, споры и обсуждения всегда являются двигателем развития smile


drSerj
 
VV123Дата: Пятница, 11.03.2011, 18:31 | Сообщение # 14
Генерал-майор
Группа: Проверенные
Сообщений: 304
Репутация: 2
Статус: Offline
Quote (drserj)
Не прокатит программа для этих целей!

Согласен. А как быть с другой целью - домашней библиотекой, да наверное она на 90% состоит из того что есть в либгене, но мне нужно точно определить и удалить дубли.

Quote (drserj)
"лучше меньше, но лучше"

Жизнь показывает обратное smile

Quote (drserj)
необходимо поговорить с владельцами либгена, заручиться их поддержкой и согласием и только потом говорить об инструментарии.

Согласен. Но форум у них через пень колода работает и уже два года там только обсуждения.
 
drserjДата: Пятница, 11.03.2011, 19:27 | Сообщение # 15
Генералиссимус
Группа: Администраторы
Сообщений: 4693
Репутация: 30
Статус: Offline
Quote (VV123)
Согласен. А как быть с другой целью - домашней библиотекой, да наверное она на 90% состоит из того что есть в либгене, но мне нужно точно определить и удалить дубли.

Теоретически (если не будете дружно задалбливать) я, всё-таки, продолжу работу над второй веткой библиотекаря, которая, если кто-то поинтересуется, предназначена в том числе и для создания собственных библиотек smile

Quote (VV123)
Жизнь показывает обратное

эх... тяжелая у некоторых жизнь smile

Quote (VV123)
Согласен. Но форум у них через пень колода работает и уже два года там только обсуждения.

форум у них почти месяц - вообще не работает... Пусть кто-нить выйдет на Буквариора и побеседует. Не думаю, что это есть проблема, он тусуется во многих точках.
А по поводу только обсуждений - до сих пор у них вообще не было программ, работающих с этой свалкой. Теперь есть программа, есть люди, готовые заняться решением проблем. Соответственно и разговоры можно перевести в практическое русло. Я могу только делать, но не люблю вести переговоры. Если будет заинтересованность в моем участии - я всегда на связи.


drSerj
 
Форум » LibGen - Библиотекарь » Разработка » Разработка, проблемы, вопросы, планы и пожелания. (Разработка, проблемы, вопросы, планы и пожелания.)
  • Страница 1 из 9
  • 1
  • 2
  • 3
  • 8
  • 9
  • »
Поиск:

Copyright LibRusLib © 2024