LibRusLib
Воскресенье, 01.12.2024, 02:43
Приветствую Вас Гость | RSS
 
Главная ФорумРегистрацияВход
[ Новые сообщения · Участники · Правила форума · Поиск · RSS ]
Обсуждение работы программы
drserjДата: Понедельник, 05.06.2017, 20:55 | Сообщение # 1516
Генералиссимус
Группа: Администраторы
Сообщений: 4693
Репутация: 30
Статус: Offline
Цитата Vicsar_new ()
Можно это как-то исправить?

Цитата Vicsar_new ()
В последнее время при загрузке баз (и книг) lib.rus.ec режет скорость.

А при чем тут программа? Ну как я могу пофиксить проблемы самой библиотеки? 

Разве-что попробуйте
1. увеличить количество попыток
2. увеличить таймаут
3. если не зарежут - количество сессий (до 8) и пронаблюдать.

1 и 2 пункты не дадут в самый неподходящий момент прервать закачку по к-ву ошибок соединений2
3 пункт (если не ограничат общую скорость по IP и количество коннектов) позволит увеличить скорость

у меня стоит 2 потока (больше не дают), таймаут 1000, пауза между попытками 1000, количество попыток 50 (можно и больше, если связь плохая)
скорость 1.5-2 метра в секунду.

вот по времени можно глянуть, сколько какой файл тянуло:

20:44:03: Закачивается libavtor.sql.gz... Ok
20:44:04: Закачивается libavtors.sql.gz... Ok
20:44:06: Закачивается libbook.sql.gz... Ok
20:44:33: Закачивается libgenre.sql.gz... Ok
20:44:34: Закачивается libgenremeta.sql.gz... Ok
20:44:34: Закачивается libgenres.sql.gz... Ok
20:44:35: Закачивается libseq.sql.gz... Ok
20:44:37: Закачивается libseqs.sql.gz... Ok
20:44:38: Распаковка libavtor.sql.gz... Ok

Но, не забываем, раньше (по крайней мере несколько лет назад) сам Ларин ставил скрипты, которые банили особо ретивых. Так что вот.
Ну и если очень большая книга - получите реальную ссылку (программа позволяет) и качайте даунлоад менеджером. 
Если же кто-то качает всё - качайте с торентов.

Плюс к тому, вопрос в том, виноват ли lib.rus.ec, или канал провайдера. С провайдера, на котором ты сейчас сидишь, я с чувством глубокого удовлетворения соскочил пол-года назад и теперь счастлив как никогда smile А канал на забугорье (особенно Россию) там реально мал.


drSerj
 
Vicsar_newДата: Вторник, 06.06.2017, 09:57 | Сообщение # 1517
Рядовой
Группа: Пользователи
Сообщений: 16
Репутация: 0
Статус: Offline
Цитата
1. увеличить количество попыток
Спасибо, это помогло. Закачка кусками идет по 3-4 мб, и 5 попыток мало.
Увеличил до 20 - заработало.
 
drserjДата: Вторник, 06.06.2017, 14:07 | Сообщение # 1518
Генералиссимус
Группа: Администраторы
Сообщений: 4693
Репутация: 30
Статус: Offline
Цитата Vicsar_new ()
Увеличил до 20 - заработало.
рекомендую увеличить до 100


drSerj
 
lordkorДата: Среда, 07.06.2017, 22:27 | Сообщение # 1519
Лейтенант
Группа: Друзья
Сообщений: 56
Репутация: 0
Статус: Offline
Серии в режиме "отправить на устройство" обрабатываются криво sad

Стоит маска "%c\%a\%s\%n_%t(%b)"
Делаю "экспорт" Муравьева:
Серия "Технарь" - Крот(489240)  идет в серии за нумером 2, но при экспорте оказывается в папке "Боевая фантастика" без нумера.
Серия "Живучий" - Живучий(456030) лежит в "Наши там" вместе с Неучтённый(307090) и Неизвестный с «Драккара»(353486) из серии "Неучтенный"
Серия "Перешагнуть пропасть" - на месте только Враг за спиной(477653), а остальные - Перешагнуть пропасть(373126), День решает все(382570) и Шаг в бездну(425239) лежат в папке "Современный фантастический боевик".
В общем, алгоритмы при нормальном выводе и экспорте на устройство разные - в первом нормальный. во втором тупо берется первая серия. Хорошо бы поправить экспорт smile
 
drserjДата: Четверг, 08.06.2017, 08:24 | Сообщение # 1520
Генералиссимус
Группа: Администраторы
Сообщений: 4693
Репутация: 30
Статус: Offline
Цитата lordkor ()
В общем, алгоритмы при нормальном выводе и экспорте на устройство разные

естественно разные. И говорится об этом уже скоро как 10 лет, и изменить ничего не могу. Ну нет признаков первичности у серий у авторов. Берется первая при выборке серия, первый автор. А сортировки в выборках могут быть разные... Так что сорри, но пока так.


drSerj
 
1_абрамДата: Четверг, 08.06.2017, 10:10 | Сообщение # 1521
Генералиссимус
Группа: Друзья
Сообщений: 1207
Репутация: 0
Статус: Offline
Цитата drserj ()
А сортировки в выборках могут быть разные...


Предложение в унилиб. Возможность правки библиографических данных (правится БД, естественно). При сохранении книги, возможно, галка - записать измененные библиографические данные.
 
drserjДата: Четверг, 08.06.2017, 10:12 | Сообщение # 1522
Генералиссимус
Группа: Администраторы
Сообщений: 4693
Репутация: 30
Статус: Offline
Цитата 1_абрам ()
Возможность правки библиографических данных
Ты про авторов? Дык кто-то (не бум уточнять smile ) Сказал, что и нафиг не надо оно...
А если просто про правку - дык зачем всякие птички?


drSerj
 
PFNДата: Четверг, 08.06.2017, 13:01 | Сообщение # 1523
Генерал-майор
Группа: Друзья
Сообщений: 206
Репутация: 0
Статус: Offline
Цитата drserj ()
Берется первая при выборке серия, первый автор.

Учитывая, что сейчас "умники" напридумывали всякого и в жанрах (самиздат и т.п.), и в сериях (издательские серии суют в авторские), и в авторах (порядок авторов, как бог на душу положит... хотя бы на обложку смотрели и с нее порядок брали...) - изменить это можно только правкой самой книги с внесением изменений и в базу.
Стоит учесть, что если книга уже в базе, то придется пресчитывать и МД5, который изменится обязательно, и заменять его в базе. 
Поэтому все эти правки желательно делать ДО внесения книг в базу - на этапе отбора.


===============================
Приказ, который может быть понят неправильно, обязательно будет понят неправильно
 
1_абрамДата: Четверг, 08.06.2017, 13:21 | Сообщение # 1524
Генералиссимус
Группа: Друзья
Сообщений: 1207
Репутация: 0
Статус: Offline
Цитата drserj ()
Ты про авторов? Дык кто-то (не бум уточнять smile ) Сказал, что и нафиг не надо оно...


Про авторов, жанры, серии, про все где есть несколько объектов. В принципе, для меня это не очень принципиально. Но если если это не очень трудно сделать, то хорошо, если будет. К тому, люди со временем глупеют и изменяют свое мнение. Правда, не помню, когда я про это говорил. Склероз, виднл

Добавлено (08.06.2017, 11:19)
---------------------------------------------

Цитата drserj ()
А если просто про правку - дык зачем всякие птички?


Имеется в виду, что порядок авторов в базе изменился, а в fb2 - нет. Тогда при сохранении на устройство можно опционально изменить метоинформацию в фб2.

Добавлено (08.06.2017, 11:21)
---------------------------------------------

Цитата PFN ()
Стоит учесть, что если книга уже в базе, то придется пресчитывать и МД5, который изменится обязательно, и заменять его в базе.

Это почему? мд5 привязана к книге, мы ее не меняем и ничего пересчитывать не надо.
 
drserjДата: Четверг, 08.06.2017, 13:49 | Сообщение # 1525
Генералиссимус
Группа: Администраторы
Сообщений: 4693
Репутация: 30
Статус: Offline
И вот опять, и вот снова... Всё тот же вопрос - менять или не менять... Блин, господа, мы опять юнилиб в мультилибе будем обсуждать?
Повторюсь, для мультилиба решений не будет, пока не будет поддержано структурой самой базы.
В Юнилибе будет возможность (надеюсь) указывать основного автора (остальные соавторы) и серии (авторские, издательские, пользовательские). Не надо опять заводить этот вопрос. Нет, если кто-то реально может решить проблему, убедив изменить структуру флибусты, либруса и реально внести все изменения (угу.. пол-ляма книг) - велком. А пока - даже не обсуждаем.


drSerj
 
lordkorДата: Четверг, 08.06.2017, 19:12 | Сообщение # 1526
Лейтенант
Группа: Друзья
Сообщений: 56
Репутация: 0
Статус: Offline
Цитата drserj ()
Ну нет признаков первичности у серий у авторов.
А и не надо – сами сообразим. При формировании базы смотрим номера книги в сериях и ставим первичной серию с наименьшим ненулевым номером: если номер большой, или его вообще нет – скорее всего серия издательская. Процентов 90 книг распределим правильно smile Ну а с остальными уже как повезет

Цитата drserj ()
А сортировки в выборках могут быть разные...
Так, передавать экспорту настройки сортировки текущей вкладки – делов-то smile
 
drserjДата: Четверг, 08.06.2017, 19:32 | Сообщение # 1527
Генералиссимус
Группа: Администраторы
Сообщений: 4693
Репутация: 30
Статус: Offline
Цитата lordkor ()
Процентов 90 книг распределим
ой вряд ли... в лучшем случае 50х50

Цитата lordkor ()
Так, передавать экспорту настройки сортировки текущей вкладки – делов-то

угу... навскидку - нет вкладки авторов, имеет место множественная сортировка, имеет место группировка... дальше продолжать? А если учесть, что запрос создается динамически, т.е. в зависимости от наличия полей, порядка их расположения, сортировок, группировок меняется всё кардинально, то делов-то оказывается немеряно sad
Простой пример: при выводе в таблицу имеется 10 полей, при формировании имени - 2 поля. В первом случае задействовано 5 таблиц, во втором - 2. Можно ли при таком раскладе гарантировано получить такую же последовательность записей в обоих случаях? Ответ - нет.


drSerj
 
lordkorДата: Четверг, 08.06.2017, 20:14 | Сообщение # 1528
Лейтенант
Группа: Друзья
Сообщений: 56
Репутация: 0
Статус: Offline
Цитата drserj ()
в лучшем случае 50х50
"Обоснуй!" smile
Практически все книги, входящие в авторские серии, имеют свой порядковый номер в этой серии. Число исключений не так уж велико - первые заливки первых книг, когда у них еще не планировалось продолжение, и кривые заливки без четко прописанных тэгов. И те и другие обычно через какое-то время заменяются на нормальные варианты с правильными тэгами - то бишь, это временная проблема, решаемая автоматически, которую вполне можно игнорировать.
Прочие издательские и межавторские серии обычно либо не имеют серийного номера, либо он у них достаточно большой - то есть, при наличии номера в авторской серии мы совершенно спокойно их определяем в сравнении. Если же в авторской серии номер не указан - тут уже никуда не денешься, берем издательскую или первую попавшуюся. как сейчас.
Ситуация, когда номер в издательской серии будет меньше номера в авторской серии, мне представляется совершенно не реальной и спокойно попадает в раздел временных исключений.

Цитата drserj ()
Можно ли при таком раскладе гарантировано получить такую же последовательность записей в обоих случаях?
А никто и не требует гарантий. Если мы можем сохранить порядок сортировки - сохраняем. Не можем - жрите, что дают.
В любом случае не ясно, почему при показе и экспорте порядок серий в выборке получается разный.
 
drserjДата: Четверг, 08.06.2017, 20:38 | Сообщение # 1529
Генералиссимус
Группа: Администраторы
Сообщений: 4693
Репутация: 30
Статус: Offline
Цитата lordkor ()
"Обоснуй!"

И даже не собираюсь, когда анализировал базы - просто видел. 

Цитата lordkor ()
Прочие издательские и межавторские серии обычно либо не имеют серийного номера

абсолютно неверно. Еще и как имеют. Настоятельно рекомендую посмотреть запросами выборки на предмет серий. Да, имеются издательские без номеров, но и авторские так же имеются. А еще имеются "N в одном", сборники и т.д. И их с каждым днем всё больше.

Цитата lordkor ()
Если мы можем сохранить порядок сортировки - сохраняем.

При любом раскладе - не можем. Абсолютно разные запросы. То что выводится в грид и то, что используем для получения информации при создании имени - абсолютно различно.

Цитата lordkor ()
Не можем - жрите, что дают.

Так есть и так (в мультилибе) будет. Будут изменения - будем меняться и мы.


drSerj
 
lordkorДата: Четверг, 08.06.2017, 20:45 | Сообщение # 1530
Лейтенант
Группа: Друзья
Сообщений: 56
Репутация: 0
Статус: Offline
Цитата drserj ()
абсолютно неверно. Еще и как имеют
Так я ж и говорю - или просто указана серия без номера, или указан трехзначный номер. Ситуация, когда издательский номер больше авторского - редкость, которой вполне можно пренебречь - хуже все равно не будет smile
Если номеров нет - имеем то, что и сейчас, ничего не теряем.
То есть, в итоге либо лучше, либо не хуже.

Цитата drserj ()
При любом раскладе - не можем. Абсолютно разные запросы. То что выводится в грид и то, что используем для получения информации при создании имени - абсолютно различно.
Да я уже понял. что абсолютно разные - только никак не пойму, почему они НАСТОЛЬКО разные результаты выдают, и почему не использовать общие принципы там, где это можно. В любом случае, я лишь свое мнение высказываю smile
 
Поиск:

Copyright LibRusLib © 2024