LibRusLib
Понедельник, 25.11.2024, 22:36
Приветствую Вас Гость | RSS
 
Главная ФорумРегистрацияВход
[ Новые сообщения · Участники · Правила форума · Поиск · RSS ]
Архив - только для чтения
Модератор форума: drserj  
librus - Библиотекарь 1.20.0.101219 beta
drserjДата: Воскресенье, 12.12.2010, 23:45 | Сообщение # 1
Генералиссимус
Группа: Администраторы
Сообщений: 4693
Репутация: 30
Статус: Offline
1. Несколько увеличил скорость загрузки базы
2. Добавил индикацию распаковки и добавления в базу
3. Подправил пару незначительных оплошностей
4. Добавил новые баги smile

Качаем тут (только ехе-шник): http://libruslib.ucoz.com/update/libruslib20101212.rar


drSerj
 
drserjДата: Среда, 12.01.2011, 23:18 | Сообщение # 61
Генералиссимус
Группа: Администраторы
Сообщений: 4693
Репутация: 30
Статус: Offline
Quote (1_абрам)
1742 книжки, 10 процентов загрузились за час.

странно, достаточно медленно... правда, я не знаю конфигурации твоей машины...


drSerj
 
1_абрамДата: Пятница, 14.01.2011, 11:22 | Сообщение # 62
Генералиссимус
Группа: Друзья
Сообщений: 1207
Репутация: 0
Статус: Offline
Конфигурация обычная.

Заметил такую штуку.

Если в моем примере с классическими детективами упорядочить книжки по bookID и скачать первые сто книжек из начала списка ( 219285-188894) это займет минуту. Если тоже самое сделать со 100 книжками из конца списка - это потребует порядка часа.

Единственное объяснения этого. Книжки с большими bookID хранятся в ежедневных обновлениях, а книжки маленькими в архивах тысячниках.

 
ShamsДата: Пятница, 14.01.2011, 12:37 | Сообщение # 63
Генерал-майор
Группа: Проверенные
Сообщений: 274
Репутация: 0
Статус: Offline
1_абрам, извини за дурацкий вопрос - а у тебя точно программа в локальном режиме?
У меня была ну один-в-один картинка, когда как-то случайно отжал кнопку "Локальная коллекция". И книжки из начала списка при повторных попытках мухой сохранялись, ибо уже в папке "lib" сидели smile
 
drserjДата: Пятница, 14.01.2011, 13:16 | Сообщение # 64
Генералиссимус
Группа: Администраторы
Сообщений: 4693
Репутация: 30
Статус: Offline
естественно, чем больше архив, тем медленнее он будет обрабатываться.
алгоритм следующий:

1.Получаем список файлов архива.
2.создаем список файлов в юникоде (навсяк, некоторые русские имена именно в нем)
3.Ищем в этом списке имя файла, причем, неоднократно (есть файлы, имена которых искажены,например, впереди есть один два или три подчеркивания и т д)
и так для каждого файла. операций на каждый файл соответственно много, а по-другому,при данном раскладе, и не получится.

Как вариант, можно сделать один архив - один файл. В этом случае, естественно, скорость будет максимальная, но прийдется расплачиваться местом на винте. Дабы не тормозила файловая система - файлы можно распихать в каталоги, скажем 1-1000, 1001-2000 и т д. Вобщем, изголяться можно по-разному smile

Еще скорость зависит от фрагментации, скорости самого девайса, местоположения архивов (у меня они вообще на другом сетевом ресурсе). Так же зависит от наличичя свободной оперативной памяти (если задача свалится в свап - это полный п...) и много еще от каких факторов...


drSerj
 
1_абрамДата: Пятница, 14.01.2011, 14:16 | Сообщение # 65
Генералиссимус
Группа: Друзья
Сообщений: 1207
Репутация: 0
Статус: Offline
Quote (Shams)
1_абрам, извини за дурацкий вопрос - а у тебя точно программа в локальном режиме?
У меня была ну один-в-один картинка, когда как-то случайно отжал кнопку "Локальная коллекция". И книжки из начала списка при повторных попытках мухой сохранялись, ибо уже в папке "lib" сидели

Коллекция локальная, но твое объяснение разницы во временах загрузки (у списках с разными ID) правильное. В первом случае книжки уже были ранее скачаны.

Попробовал еще аналогично скачать первые 100 книжек из жанра "Классическая проза" - полчаса.

Компьютер:
Тип компьютера Многопроцессорный компьютер с ACPI
Операционная система Microsoft Windows XP Professional
Пакет обновления ОС Service Pack 3
Internet Explorer 8.0.6001.18702 (IE 8.0)
DirectX 4.09.00.0904 (DirectX 9.0c)
Имя компьютера BEST-16DD416097
Имя пользователя 1
Вход в домен BEST-16DD416097
Дата / Время 2011-01-14 / 14:15

Системная плата:
Тип ЦП DualCore AMD Athlon II X2 245, 753 MHz (4 x 188)
Системная плата Asus M4A785TD-M Evo (2 PCI, 1 PCI-E x1, 1 PCI-E x16, 4 DDR3 DIMM, Audio, Video, Gigabit LAN, IEEE-1394)
Чипсет системной платы AMD 785G, AMD K10
Системная память 3328 Мб
DIMM2: Samsung M378B5673FH0-CH9 2 Гб DDR3-1333 DDR3 SDRAM (8-8-8-22 @ 609 МГц) (7-7-7-20 @ 533 МГц) (6-6-6-17 @ 457 МГц)
DIMM4: Samsung M378B5673FH0-CH9 2 Гб DDR3-1333 DDR3 SDRAM (8-8-8-22 @ 609 МГц) (7-7-7-20 @ 533 МГц) (6-6-6-17 @ 457 МГц)
Тип BIOS AMI (10/14/09)

 
drserjДата: Пятница, 14.01.2011, 16:41 | Сообщение # 66
Генералиссимус
Группа: Администраторы
Сообщений: 4693
Репутация: 30
Статус: Offline
мдя... летать должно...

drSerj
 
1_абрамДата: Среда, 26.01.2011, 15:10 | Сообщение # 67
Генералиссимус
Группа: Друзья
Сообщений: 1207
Репутация: 0
Статус: Offline
Книга http://flibusta.net/a/70476

Нахожусь в онлайн режиме пытаюсь загрузить (окно "В загрузке"). Не удается:

[11-01-26 15.07.10] Error: Request timeout (258) http://www.flibusta.net/b/217488/download C:\prg\libruslib1\temp\217488 Federiko_Byankutstsi_Pioneryi_programmirovaniya._Dialogi_s_sozdatelyami_naibolee_populyarnyih_yazyikov_programmirovaniya.pdf
[11-01-26 15.06.00] Получить ссылку не удалось. Пробуем скачать напрямую.
[11-01-26 15.05.45] Получаем ссылку (попытка 5) bookid=217488
[11-01-26 15.05.27] Получаем ссылку (попытка 4) bookid=217488
[11-01-26 15.05.12] Получаем ссылку (попытка 3) bookid=217488
[11-01-26 15.04.48] Получаем ссылку (попытка 2) bookid=217488
[11-01-26 15.04.33] Получаем ссылку (попытка 1) bookid=217488

При этом книжка загружается через диалог "Отправить на устройство"

И еще при скачивании книжки через диалог "Отправить на устройство" книжка не добавляется в папку "Размещение скачиваемых файлов библиотеки ". Это так и задумано?

Сообщение отредактировал 1_абрам - Среда, 26.01.2011, 15:14
 
drserjДата: Среда, 26.01.2011, 16:29 | Сообщение # 68
Генералиссимус
Группа: Администраторы
Сообщений: 4693
Репутация: 30
Статус: Offline
Quote (1_абрам)
Error: Request timeout (258)

ну и чего не понятного? Не может достучаться до сервака, траблы сервера. У меня всё нормально скачало...

[11-01-26 17.38.51] F:\work\librus_fl\temp\217488 Federiko_Byankutstsi_Pioneryi_programmirovaniya._Dialogi_s_sozdatelyami_naibolee_populyarnyih_yazyikov_programmirovaniya.pdf успешно закачан
[11-01-26 17.38.44] Ссылка получена. http://www.flibusta.net/b.usr....iya.pdf Начинаем закачку.
[11-01-26 17.38.43] Получаем ссылку (попытка 1) bookid=217488

Quote (1_абрам)
При этом книжка загружается через диалог "Отправить на устройство"

может она есть в локальной библиотеке? Сейчас попробую у себя.

Quote (1_абрам)
И еще при скачивании книжки через диалог "Отправить на устройство" книжка не добавляется в папку "Размещение скачиваемых файлов библиотеки ". Это так и задумано?

А что, копировать сразу в 2 места?


drSerj
 
1_абрамДата: Четверг, 27.01.2011, 10:30 | Сообщение # 69
Генералиссимус
Группа: Друзья
Сообщений: 1207
Репутация: 0
Статус: Offline
Quote (drserj)
А что, копировать сразу в 2 места?

Вроде бы логично делать так. В онлайн режиме при копировании на устройство сначала проверяем загружена ли книжка, если нет то загружаем, а затем копируем на устроройсто.

Сообщение отредактировал 1_абрам - Четверг, 27.01.2011, 10:31
 
drserjДата: Четверг, 27.01.2011, 18:31 | Сообщение # 70
Генералиссимус
Группа: Администраторы
Сообщений: 4693
Репутация: 30
Статус: Offline
Quote (1_абрам)
Вроде бы логично делать так. В онлайн режиме при копировании на устройство сначала проверяем загружена ли книжка, если нет то загружаем, а затем копируем на устроройсто.

ну, тут вопрос спорный... а ты пробовал убрать "не сохранять книги из локальной коллекции..."? Я не помню точно, влияет оно в этом случае на удаление....


drSerj
 
1_абрамДата: Четверг, 27.01.2011, 21:35 | Сообщение # 71
Генералиссимус
Группа: Друзья
Сообщений: 1207
Репутация: 0
Статус: Offline
Quote (drserj)
ну и чего не понятного? Не может достучаться до сервака, траблы сервера. У меня всё нормально скачало...

Действительно, теперь у меня тоже скачалось. Странно, "копирование на устройство" и "загрузка" работают по-разному.

Добавлено (27.01.2011, 20:35)
---------------------------------------------

Quote (drserj)
ну, тут вопрос спорный... а ты пробовал убрать "не сохранять книги из локальной коллекции..."? Я не помню точно, влияет оно в этом случае на удаление....

У меня в "не сохранять книги из локальной коллекции" галочка не стоит.

Относительно необходимости двойного копирования остаюсь при своем мнении.

Сообщение отредактировал 1_абрам - Четверг, 27.01.2011, 21:38
 
drserjДата: Пятница, 28.01.2011, 10:05 | Сообщение # 72
Генералиссимус
Группа: Администраторы
Сообщений: 4693
Репутация: 30
Статус: Offline
Quote (1_абрам)
Действительно, теперь у меня тоже скачалось. Странно, "копирование на устройство" и "загрузка" работают по-разному.

процедура одна и та же smile Возможно, совпало так... чисто по времени.

Quote (1_абрам)
Относительно необходимости двойного копирования остаюсь при своем мнении.

Просто эта функция изначально планировалась для копирования уже имеющегося материала... функция поиска универсальная и я не стал убирать кроме поиска в архивах еще и скачку...


drSerj
 
АлексаДата: Понедельник, 31.01.2011, 23:48 | Сообщение # 73
Рядовой
Группа: Пользователи
Сообщений: 8
Репутация: 0
Статус: Offline
Большое спасибо за Ваш труд! Программа замечательная! Можно вопрос?
Скачала библиотеку «Либрусек» с треккера libertorrent.com и выяснилось, что некоторые книги в архивах отсутствуют, хотя в БД они есть. Подскажите, пожалуйста, можно ли скачанные с других ресурсов недостающие книги вложить в архивы под номером соответствующим БД? Извините за беспокойство. smile
 
drserjДата: Вторник, 01.02.2011, 21:58 | Сообщение # 74
Генералиссимус
Группа: Администраторы
Сообщений: 4693
Репутация: 30
Статус: Offline
Quote (Алекса)
можно ли скачанные с других ресурсов недостающие книги вложить в архивы под номером соответствующим БД?

Да, естественно. Причем, можно хранить как отдельными файлами в каталоге локальной библиотеки, так и поместить в архив.

имя файла можно дать либо по букид так и по имени файла в базе.


drSerj
 
АлексаДата: Среда, 02.02.2011, 15:56 | Сообщение # 75
Рядовой
Группа: Пользователи
Сообщений: 8
Репутация: 0
Статус: Offline
Спасибо за ответ, буду пробовать. У меня еще вопрос. Если LibRusLib не находит архив в котором находится книга, пишет, что конкретная книга отсутствует в архивах, или архив поврежден. Я даю программе время на поиск книги, а также для проверки выхожу на страницу автора и проверяю повторно, результат тот же. Открываю архив и нужную книгу нахожу. Эта проблема решаема? Попытка разархивировать и переименовать, т.е. вместо автора и названия поставить соответствующий букид, не помогла.
 
Поиск:

Copyright LibRusLib © 2024