LibRusLib
Пятница, 26.04.2024, 20:34
Приветствую Вас Гость | RSS
 
Главная ФорумРегистрацияВход
[ Новые сообщения · Участники · Правила форума · Поиск · RSS ]
  • Страница 2 из 3
  • «
  • 1
  • 2
  • 3
  • »
Форум » LibGen - Библиотекарь » Разработка » Library Genesis
Library Genesis
drserjДата: Вторник, 16.11.2010, 21:51 | Сообщение # 16
Генералиссимус
Группа: Администраторы
Сообщений: 4693
Репутация: 30
Статус: Offline
Quote (1_абрам)
коллектив делаем по первому автору

Ты не понял. Коллектив - это то, что в поле автора а не перечень авторов.

Quote (1_абрам)
создавать автоматически словарь авторов

Иванов И
Иванов И.
Иванов И. И
Иванов И. И.
Иванов И. И
И.Иванов
И.И Иванов
И.И. Иванов
И.И.Иванов
Иван Иванов
Иванов Иван Иванович

и т. д.

Как это в автомате разобрать? Особенно не зная, что первое - имя или фамилия. А как быть с составными именами, фамилиями? А как позиционировать англоязычные и германские приставки? Автоматом?


drSerj
 
1_абрамДата: Вторник, 16.11.2010, 22:34 | Сообщение # 17
Генералиссимус
Группа: Друзья
Сообщений: 1207
Репутация: 0
Статус: Offline
Да, ты прав. Действительно куча авторов без инициалов, инициалы в произвольном порядке. Судя по всему создатели генезиса сознательно пошли на это для облегчения ввода и импорта новых книг. И зря они так сделали. Так что создавать словарь авторов при обновлении не получится.

Так что остается вкладка Поиск, Новинки и м.б. Жанры (поле Topic).

 
drserjДата: Вторник, 16.11.2010, 23:32 | Сообщение # 18
Генералиссимус
Группа: Администраторы
Сообщений: 4693
Репутация: 30
Статус: Offline
Quote (1_абрам)
Судя по всему создатели генезиса сознательно пошли на это для облегчения ввода и импорта новых книг.

Судя по всему, авторы генезиса абсолютно не имели представления о том, как проектируется структура базы. При правильно спроектированной структуре, такого бардака не получилось бы в идее... А про Топик - отдельная песня. Мало того, что структура отсутствует, нет единого классификатора - еще и деревья слиты с единичными темами, используя единый разделитель. Это привело к невозможности использования данного поля к группировке, классификации и поиску. Единственное, что можно делать с этим (впрочем, и остальными полями) - это тупой поиск по вхождению... Но вот беда... А по чему, собственно искать? Какой критерий поиска, скажем, по комбинаторике? Или по любой другой теме, если единого классификатора нет??? math ??? о да! масса, масса книг, но ни одной, которую ты ищешь... Т.е. Если ты не знаешь точно что искать, малейшее отклонение в написании и ... да просто ни хрена не найдешь. В итоге - толпа мусора, терабайты не классифицированной информации, где поиск происходит сугубо из расчета на удачу.

Есть только один единственный путь к решению данной проблемы: пока не совсем поздно - произвести полную реорганизацию структуры базы. Что-то автоматом, что-то полуавтоматом, остальное - в ручном режиме. Можно всей толпой помочь хотя-бы исправить авторов, уточнить топики.

Несмотря на глубокое уважение к разработчикам этого проекта за титанический труд по сбору литературы, я пока-что вижу огромную помойку, которую надо приводить в порядок. Но, я не хочу, честно говоря, проявлять инициативу. Боюсь, врядли меня поймут правильно. Слишком дохрена таких критиков как я smile А заниматься еще и этим проектом - боюсь, времени и сил не хватит.
Впрочем, если кто-нибудь попытается донести вышеописанные идеи по преобразованию базы - я, очень-даже, за.


drSerj
 
1_абрамДата: Среда, 17.11.2010, 13:06 | Сообщение # 19
Генералиссимус
Группа: Друзья
Сообщений: 1207
Репутация: 0
Статус: Offline
Quote (drserj)
Судя по всему, авторы генезиса абсолютно не имели представления о том, как проектируется структура базы.

Трудно сказать, м.б. наоборот это сознательное упрощение. В бумажных библиотеках есть поиск по автору и в систематическом каталоге. Реализовать это в электронной библиотеке можно, но не то просто. На либрусеке(флибусте) поиск по автору реализован: можно выделить все книжки Иванов Иван Иванович. Систематитический каталог очень упрощен.

В либгене нет ни поиск по автору, ни по систематическому каталогу. Зато им легко добавлять книжки целыми коллекциями в автоматическом режиме, заполняя поля автор, название, топик в свободном режиме.

С помощью
http://free-books.dontexist.com/search?req=%D0%B8%D0%B2%D0%B0%D0%BD%D0%BE%D0%B2&nametype=orig

находятся все книжки, содержащие среди авторов "иванов". Их 1000 штук, но это не большая проблема.

Вместо систематического каталога предлагается использовать "Full Text Search по либгену от Архивариуса 3000" - http://gen.lib.rus.ec/forum/viewtopic.php?f=3&t=546 .

Так что нужные книжки найти и скаачать можно, хотя и не очень удобным образом.

 
drserjДата: Среда, 17.11.2010, 13:20 | Сообщение # 20
Генералиссимус
Группа: Администраторы
Сообщений: 4693
Репутация: 30
Статус: Offline
Quote (1_абрам)
В либгене нет ни поиск по автору, ни по систематическому каталогу. Зато им легко добавлять книжки целыми коллекциями в автоматическом режиме

т.е. из мелких мусорных куч формировать одну огромную свалку????

Quote (1_абрам)
С помощью http://free-books.dontexist.com/search?....pe=orig находятся все книжки, содержащие среди авторов "иванов". Их 1000 штук, но это не большая проблема.

1. Подобный поиск весьма нагружает сервер.
2. 1000 штук не проблема? Ну тут я, мягко говоря, не согласен.

Quote (1_абрам)
Так что нужные книжки найти и скаачать можно, хотя и не очень удобным образом.

Можно найти только то, что точно знаешь как называется... А данный тип библиотеки в первую очередь должен ориентироваться на тематический поиск, который отсутствует как класс...

В общем, работа программы будет заключаться только в поиске и выводе информации на основе поиска внутри поля. О тематических выборках с таким раскладом речи быть не может sad Вопрос в том, стоит ли оно того? ежедневное обновление в архиве - около сотни метров, скорость скачки - очень низкая...


drSerj
 
1_абрамДата: Среда, 17.11.2010, 13:24 | Сообщение # 21
Генералиссимус
Группа: Друзья
Сообщений: 1207
Репутация: 0
Статус: Offline
Quote (1_абрам)
Есть только один единственный путь к решению данной проблемы: пока не совсем поздно - произвести полную реорганизацию структуры базы. Что-то автоматом, что-то полуавтоматом, остальное - в ручном режиме. Можно всей толпой помочь хотя-бы исправить авторов, уточнить топики.

А что значит совсем поздно, вот дойдут до 1000К книжек, тогда все вместе можно и исправить.

Сейчас можно (и вроде бы это не очень трудно) в полуавтоматическом режиме сделать словарь авторов для существующих 320К книжек. Но новые книжки в него попадать не будут. Как ты думаешь имеет ли смысл это делать?

Вопрос имеет ли смысл при имеющейся струтуре либгена прикручивыать его либруслибу. Думаю что да.

Останутся вкладки: Поиск, Новинки,Группы, Жанры.

Для меня отслеживать появление книжек, содержащих в названии определенное слово, либо книжек определенного издательства и затем формирование из определенных групп и работа со спискром выбраных будет очень полезнной. Собственно в основном именно так я использую либруслиб для работы с флибустой. Вкладки Авторы и Жанры использую редко.

 
drserjДата: Среда, 17.11.2010, 14:08 | Сообщение # 22
Генералиссимус
Группа: Администраторы
Сообщений: 4693
Репутация: 30
Статус: Offline
Quote (1_абрам)
А что значит совсем поздно, вот дойдут до 1000К книжек, тогда все вместе можно и исправить.

чем позжее начнут - тем сложнее будет разгрести.

Quote (1_абрам)
Сейчас можно (и вроде бы это не очень трудно) в полуавтоматическом режиме сделать словарь авторов для существующих 320К книжек

малореально. это не только мое мнение. это мнение всех программеров, которые видели данную структуру.. кроме матов - ничего...

Quote (1_абрам)
Вопрос имеет ли смысл при имеющейся струтуре либгена прикручивыать его либруслибу. Думаю что да.

нереально при таком раскладе. будет отдельная программа.

Quote (1_абрам)
Останутся вкладки: Поиск, Новинки,Группы, Жанры.

жанры не останутся. нереально. щаз сидели анализировали - еще хуже чем с авторами. Останутся вкладки: Поиск, Новинки,Группы

Quote (1_абрам)
Вкладки Авторы и Жанры использую редко.

ну это смотря как пользовать. изначально - да, не особо нужно, а вот потом, найдя книгу определить, какие еще книги по данной тематике или данного автора - тут по-другому - очень тяжело.

В общем, попытаюсь нарисовать для начала рабочий минимум, посмотрю на скорости, а там - будет видно.


drSerj
 
1_абрамДата: Среда, 17.11.2010, 14:35 | Сообщение # 23
Генералиссимус
Группа: Друзья
Сообщений: 1207
Репутация: 0
Статус: Offline
Quote (drserj)
нереально при таком раскладе. будет отдельная программа.

Это я и имел в виду.

Quote (drserj)
Вопрос в том, стоит ли оно того? ежедневное обновление в архиве - около сотни метров, скорость скачки - очень низкая...

100 метров - не проблема, при низкой скорости можно скачивать раз в неделю, ночью и.т.д..

Quote (drserj)
жанры не останутся. нереально.

А если таблицу жанров составляет сам пользователь. Например, если жанр называется "дифференциальная геометрия" - то формируется список из книжек, у которых в поле топик есть слова "дифференциальная" и "геометрия".

Quote (drserj)
В общем, попытаюсь нарисовать для начала рабочий минимум, посмотрю на скорости, а там - будет видно.

Ну, дай бог получится.

 
drserjДата: Среда, 17.11.2010, 14:50 | Сообщение # 24
Генералиссимус
Группа: Администраторы
Сообщений: 4693
Репутация: 30
Статус: Offline
Quote (1_абрам)
А если таблицу жанров составляет сам пользователь. Например, если жанр называется "дифференциальная геометрия" - то формируется список из книжек, у которых в поле топик есть слова "дифференциальная" и "геометрия".

В том то и проблема, что в поле топик что угодно и в каком угодно виде. А по поводу собственной таблицы жанров - дык "Группы" рулят smile

Quote (1_абрам)
Ну, дай бог получится.

Да уж, хочется верить...


drSerj
 
arnym23Дата: Среда, 18.05.2011, 03:48 | Сообщение # 25
Лейтенант
Группа: Пользователи
Сообщений: 53
Репутация: 0
Статус: Offline
Поскольку эта тема похоже больше не обсуждается, хотел бы уточнить состояние проекта Либген 2? Или его уже совместили с проектом MultiLib? Потестировать можно?
 
ShamsДата: Среда, 18.05.2011, 08:19 | Сообщение # 26
Генерал-майор
Группа: Проверенные
Сообщений: 274
Репутация: 0
Статус: Offline
arnym23
http://libruslib.ucoz.com/forum/31
http://libruslib.ucoz.com/load/libgen/libgen_bibliotekar_1_7/2-1-0-42
 
drserjДата: Среда, 18.05.2011, 10:01 | Сообщение # 27
Генералиссимус
Группа: Администраторы
Сообщений: 4693
Репутация: 30
Статус: Offline
Quote
Поскольку эта тема похоже больше не обсуждается, хотел бы уточнить состояние проекта Либген 2? Или его уже совместили с проектом MultiLib? Потестировать можно?

Либген 2 ? Не слышал smile Либрус 2 - да, собственно он и перерос в мультилиб.

Потестировать - как только будет готов - будете тестировать smile


drSerj
 
ShamsДата: Среда, 18.05.2011, 13:58 | Сообщение # 28
Генерал-майор
Группа: Проверенные
Сообщений: 274
Репутация: 0
Статус: Offline
А я то тут при чем? cry
 
drserjДата: Среда, 18.05.2011, 17:07 | Сообщение # 29
Генералиссимус
Группа: Администраторы
Сообщений: 4693
Репутация: 30
Статус: Offline
Quote (Shams)
А я то тут при чем?

Не виновато я - оно само так отквотило smile Все претензии к укозу smile


drSerj
 
arnym23Дата: Среда, 18.05.2011, 19:36 | Сообщение # 30
Лейтенант
Группа: Пользователи
Сообщений: 53
Репутация: 0
Статус: Offline
Пояснение выше не добавило ясности однако - необычно для программиста, ведь в этом деле нужна четкость.

Что решили: LibGen будет развиваться путём добавления небольших улучшений в текущую версию? Или будет LibGen 2? Или LibGen вольется в MultiLib?

Или в LibGen добавят возможность экспортировать после импорта и парсинга локальную коллекцию для её последующего импорта в MultiLib?

Хочу один общий каталогизатор для технической и гуманитарной литературы. Желательно использовать Libgen (в нынешнем виде) для предварительной привязки локальных тех. книг к их карточкам в базе Genesis, с последующим экспортом локальной коллекции карточек в текстовый файл, и затем импортом её из этого файла в нормальный полнофункциональный каталогизатор - пусть то MultiLib или другой популярный - выбранный юзером. Это возможно? smile

Сообщение отредактировал arnym23 - Среда, 18.05.2011, 20:57
 
Форум » LibGen - Библиотекарь » Разработка » Library Genesis
  • Страница 2 из 3
  • «
  • 1
  • 2
  • 3
  • »
Поиск:

Copyright LibRusLib © 2024