LibRusLib
Вторник, 23.04.2024, 16:11
Приветствую Вас Гость | RSS
 
Главная ФорумРегистрацияВход
[ Новые сообщения · Участники · Правила форума · Поиск · RSS ]
  • Страница 1 из 3
  • 1
  • 2
  • 3
  • »
Форум » LibGen - Библиотекарь » Разработка » Library Genesis
Library Genesis
FreakДата: Вторник, 06.07.2010, 02:19 | Сообщение # 1
Рядовой
Группа: Пользователи
Сообщений: 8
Репутация: 0
Статус: Offline
Нет ли желания и возможностей прикрутить gen.lib.rus.ec ?
 
drserjДата: Вторник, 06.07.2010, 21:34 | Сообщение # 2
Генералиссимус
Группа: Администраторы
Сообщений: 4693
Репутация: 30
Статус: Offline
Да есть, есть.... Планируется во второй ветке... Жарко очень, ничего писать нет сил. Прихожу с работы мёртвым.... Подождем, пока чуть прохладнее станет smile

drSerj
 
1000Дата: Понедельник, 16.08.2010, 14:39 | Сообщение # 3
Сержант
Группа: Пользователи
Сообщений: 22
Репутация: 0
Статус: Offline
Quote (drserj)
Да есть, есть.... Планируется во второй ветке...

Отличная новость. Флибуста + Генезис + Либруслиб - то о чем мечталось

 
drserjДата: Понедельник, 16.08.2010, 22:37 | Сообщение # 4
Генералиссимус
Группа: Администраторы
Сообщений: 4693
Репутация: 30
Статус: Offline
угу... осталось переждать эту жару....

drSerj
 
zaqqurДата: Понедельник, 15.11.2010, 23:55 | Сообщение # 5
Рядовой
Группа: Пользователи
Сообщений: 13
Репутация: 0
Статус: Offline
Жара прошла. Будет прикручен Генезис или нет?
 
drserjДата: Вторник, 16.11.2010, 10:56 | Сообщение # 6
Генералиссимус
Группа: Администраторы
Сообщений: 4693
Репутация: 30
Статус: Offline
Будет. Во второй ветке smile
Вопрос в том, насколько удобно совмещать худлит с остальным... Да и с жанрами вопрос... Идеальный вариант - вообще отдельная программа под генезис, больно уж специфичен он...


drSerj
 
drserjДата: Вторник, 16.11.2010, 11:28 | Сообщение # 7
Генералиссимус
Группа: Администраторы
Сообщений: 4693
Репутация: 30
Статус: Offline
Народ, вопрос: Имеет ли смысл делать импорт либгеновской базы в Библиотекаря (при этом, теряя много информации, раздувая базу и т д) или сделать отдельную программу для либгена? Дело в том, что совместимость с художественной литературой - нулевая, всё равно что скрещивать самолет и поезд...

drSerj
 
1_абрамДата: Вторник, 16.11.2010, 12:05 | Сообщение # 8
Генералиссимус
Группа: Друзья
Сообщений: 1207
Репутация: 0
Статус: Offline
Конечно, лучше отдельную программу. Только вот придется поддерживать две программы, если я правильно понимаю.
 
drserjДата: Вторник, 16.11.2010, 14:46 | Сообщение # 9
Генералиссимус
Группа: Администраторы
Сообщений: 4693
Репутация: 30
Статус: Offline
Quote (1_абрам)
Конечно, лучше отдельную программу. Только вот придется поддерживать две программы, если я правильно понимаю.

поддерживать две - куда проще в данной ситуации.
Тут другая проблема - база в том виде, в котором она сейчас есть - малопригодна для нормальной работы. В частности - проблема с авторами, тематиками, всё не причесано, вразнобой, не стандартизировано... Причесывать каждый раз базу почти в пол-гига - это жесть... Я написал по этому поводу им на форум, но есть подозрение, что толку будет мало. В общем, попытаюсь слепить что-то, а что получится - будет видно. В любом случае скрещивать библиотекаря с либгеном, таким, какой он сейчас - малореально sad Тупая выборка с группировкой по авторам - 10 минут!!! А если запросик по-сложнее??? В общем, посмотрим, загадывать не буду.


drSerj
 
1_абрамДата: Вторник, 16.11.2010, 15:45 | Сообщение # 10
Генералиссимус
Группа: Друзья
Сообщений: 1207
Репутация: 0
Статус: Offline
Как говорил Горбачев, главное нАчать.
 
drserjДата: Вторник, 16.11.2010, 16:59 | Сообщение # 11
Генералиссимус
Группа: Администраторы
Сообщений: 4693
Репутация: 30
Статус: Offline
А чего начинать? Авторов выделить нельзя, по тематикам - хрен сгруппируешь, с сериями - сами пишут - завал.. что выводить? Остается только окно "Поиск"... Да и то, весь поиск только по LIKE %%. Даже ISBN - и тот - как попало, с какими-попало разделителями...

drSerj
 
1_абрамДата: Вторник, 16.11.2010, 18:23 | Сообщение # 12
Генералиссимус
Группа: Друзья
Сообщений: 1207
Репутация: 0
Статус: Offline
Жаль, а как же в самом либгене поиск работает. В http://free-books.dontexist.com/ поиск по автору и названию очень быстро работает.
 
drserjДата: Вторник, 16.11.2010, 19:26 | Сообщение # 13
Генералиссимус
Группа: Администраторы
Сообщений: 4693
Репутация: 30
Статус: Offline
Quote (1_абрам)
Жаль, а как же в самом либгене поиск работает. В http://free-books.dontexist.com/ поиск по автору и названию очень быстро работает.

Да так и работает... скорее всего просто поиск по всем полям.
А вот извлечь список авторов, серий, жанров как в Библиотекаре - не получится, потому-как всё в одной таблице, автора не идентифицированы а занесены как обычная строка, тематики так же не классифицированы, а посему выделять отдельные группы не имеет смысла, ибо большинство групп будут содержать по паре книг, а групп будет огромное количество.
В общем, поскольку нет словарей авторов, серий, жанров - групповые операции абсолютно бессмысленны в большинстве случаев. Поэтому, вся программа будет состоять из поиска по полям и не боле того. Ну, плюс к тому - свои таблицы с доп. информацией.

И еще один неприятный момент - это размер таблиц. Почти пол-гига. Для обновления уже прийдется скачивать сотню метров (в архиве) ... Для кого-то это не будет представлять особой проблемы, но для многих - достаточно проблематично. Да и скорость скачки крайне низкая (у меня в один поток - 2 часа, в 10 - мин 20-30). Так что ежедневно обновлять будет достаточно тяжело.


drSerj
 
drserjДата: Вторник, 16.11.2010, 21:22 | Сообщение # 14
Генералиссимус
Группа: Администраторы
Сообщений: 4693
Репутация: 30
Статус: Offline
итак, пока анализирую базу - буду кидать результаты:

Группировка по авторам: select count(*) as cnt ,author from updated group by author order by cnt

время выполнения на сервере - 45 сек.

всего - 185521 строка, из них:

без автора - почти 51 тысяча книг
коллектив - более 400 авторов
мусора - море.

огромное количество вариаций одного и того же автора по написанию.

вывод: автоматической коррекции не подлежит. Руками самостоятельно - нереально. Необходимость коррекции первичной базы.


drSerj
 
1_абрамДата: Вторник, 16.11.2010, 21:36 | Сообщение # 15
Генералиссимус
Группа: Друзья
Сообщений: 1207
Репутация: 0
Статус: Offline
А я хотел предложить тебе создавать автоматически словарь авторов после обновления. Хотя почему нет.

Без автора убираем, коллектив делаем по первому автору.

В результате программа будет состоять из вкладок Авторы и Поиск и Новинки. Не так плохо.

 
Форум » LibGen - Библиотекарь » Разработка » Library Genesis
  • Страница 1 из 3
  • 1
  • 2
  • 3
  • »
Поиск:

Copyright LibRusLib © 2024