LibRusLib
Суббота, 20.04.2024, 00:26
Приветствую Вас Гость | RSS
 
Главная ФорумРегистрацияВход
[ Новые сообщения · Участники · Правила форума · Поиск · RSS ]
Архив - только для чтения
Форум » Архив "LibGen - Библиотекарь" » Version 1.x » Начинаем работу
Начинаем работу
drserjДата: Пятница, 27.05.2011, 14:55 | Сообщение # 631
Генералиссимус
Группа: Администраторы
Сообщений: 4693
Репутация: 30
Статус: Offline
Quote (VV123)
Если на словах, то в экспорт(или куда там еще) не попадают мд5 в нижнем регистре, сколько их во всей базе х.з.


ммм... не может такого быть.... щаз проверю...
drSerj
 
drserjДата: Пятница, 27.05.2011, 15:10 | Сообщение # 632
Генералиссимус
Группа: Администраторы
Сообщений: 4693
Репутация: 30
Статус: Offline
Вот что выкладывается в дампе базы на либгене:

(76530,'','','',0,'',NULL,'','0','','','','',1956572,'kolxoz','0','','','no','2009-07-20 03:45:11','2010-02-05 04:59:10','','Ch_Chemistry/Bershtejn I.Ja. Spektrofotometricheskij analiz v organicheskoj himii (1986)(ru)(L)(98s).djvu','',0,'','','','','6C7DBF7C83B328627D4DC1C62423250A','','','','','','','','','','',0,'')

у меня - абсолютно так же.

А вот то, что ты выделил красным: 76597 4a6f93e21dcf2e5036450f4666198abc

(391848,'Socialism Unbound','Stephen Bronner','',2000,'2nd','','Westview Press','280','ISBN10:081336776X;ISBN13:9780813367767;ISBN13:9781429488051','','English','pdf',25221015,'library.nu','','','','','2011-04-20 14:05:05','2011-04-20 22:19:44','391000/4a6f93e21dcf2e5036450f4666198abc','F:\\Library.nu\\4a6f93e21dcf2e5036450f4666198abc~081336776X,9780813367767,9781429488051.pdf','',0,'','',' ','EA6A7517','4a6f93e21dcf2e5036450f4666198abc','08E46D768AF30E1604B50DF9EE654561','52KFZJ4WJCLWUHL2SAEMOP3GK3PSYTMI','5F454OH6LUTL67TL3J4MO UZP6SFXOWUE','POHHKKG7N7D6EFW5TD4QY5FQTVJ26ZVAWHDXNHQ','','','391000/4a6f93e21dcf2e5036450f4666198abc-d.jpg ',NULL,'','',NULL,NULL)

как видишь, в их базе это 391848 4a6f93e21dcf2e5036450f4666198abc

правда, похоже? smile так что все претензии - не ко мне а к тем, кто выкладывает базы...
drSerj
 
drserjДата: Пятница, 27.05.2011, 15:17 | Сообщение # 633
Генералиссимус
Группа: Администраторы
Сообщений: 4693
Репутация: 30
Статус: Offline
А вот что пишут разработчики:

ID - номер строки в БД. По нему вычисляется значение подкаталога репозитория, куда помещён файл: т.е. каждая 1000-ча строк складывается в новый каталог. Это правило нарушается, поэтому никакой привязки приложений к нему делать нельзя, это чисто технологическое поле, навязанное базой данных (она сама его создаёт, потому что жить без него не может). Для любых целей приложений достаточно других полей. Целей идентификации книг не несёт.

По первому выделению - я бы сильно поспорил... И без него прекрасно БД живет, и надо оно не для этого... Но бог с ними...
drSerj
 
VV123Дата: Пятница, 27.05.2011, 15:31 | Сообщение # 634
Генерал-майор
Группа: Проверенные
Сообщений: 304
Репутация: 2
Статус: Offline
Quote (drserj)
так что все претензии - не ко мне а к тем, кто выкладывает базы...

это не претензии, с этим надо разбираться.

Quote (drserj)
как видишь, в их базе это 391848 4a6f93e21dcf2e5036450f4666198abc

тогда каким образом в либген-библ это 76597 4a6f93e21dcf2e5036450f4666198abc wacko
а по ид 391848 3861d81a6f2e938cc2c10d2cc950a9dc
 
drserjДата: Пятница, 27.05.2011, 15:40 | Сообщение # 635
Генералиссимус
Группа: Администраторы
Сообщений: 4693
Репутация: 30
Статус: Offline
Quote (VV123)
тогда каким образом в либген-библ это 76597 4a6f93e21dcf2e5036450f4666198abc


это одна книга

Quote (VV123)
391848 3861d81a6f2e938cc2c10d2cc950a9dc


это другая...

я тебе просто два примера кинул - взял из файла и из моей базы - обе книги совпали... т.е. что мне дали в дампе базы - то и в моей базе после импорта. И это никак не совпадает с тем, что ты мне дал с самого либгена.
drSerj
 
VV123Дата: Пятница, 27.05.2011, 15:41 | Сообщение # 636
Генерал-майор
Группа: Проверенные
Сообщений: 304
Репутация: 2
Статус: Offline
понял smile в программе проставляется свой ИД, а не взятый из базы, в результате записи из базы с мд5 в нижнем регистре случайным образом попадают не по своим ИД. тогда претензии к тебе smile с учетом того что ты делаешь экспорт из либген-библ, ведь то что я выложил по ссылке, два первых столбца это из программы кнтр-А кнтр-С и в экселе кнтр-V

Сообщение отредактировал VV123 - Пятница, 27.05.2011, 15:48
 
drserjДата: Пятница, 27.05.2011, 16:12 | Сообщение # 637
Генералиссимус
Группа: Администраторы
Сообщений: 4693
Репутация: 30
Статус: Offline
Quote (VV123)
понял в программе проставляется свой ИД,


уже нет. То что я тебе кинул последнее - это уже с учетом либгеновского ид.
drSerj
 
drserjДата: Пятница, 27.05.2011, 16:14 | Сообщение # 638
Генералиссимус
Группа: Администраторы
Сообщений: 4693
Репутация: 30
Статус: Offline
Версия 1.8 (build 11.05.27)
[+] Добавлен вывод MD5 лучшего варианта книги на панель расширенной информации.
[+] Добавлена возможность экспорта карточек в текстовый файл.
[!] Исправлена ошибка с установкой расположения папки с файлами базы.
[!] Исправлена ошибка с удалением записей отсутствующих книг при актуализации.
  • Внесены ряд исправлений в интерфейсе программы.

    (убрал отработку по лабелам страниц и мд5)

    Ниче не забыл?
    drSerj
    •  
    VV123Дата: Пятница, 27.05.2011, 16:25 | Сообщение # 639
    Генерал-майор
    Группа: Проверенные
    Сообщений: 304
    Репутация: 2
    Статус: Offline
    		[-] Убрать сканирование при актуализации !!!
     
    drserjДата: Пятница, 27.05.2011, 17:02 | Сообщение # 640
    Генералиссимус
    Группа: Администраторы
    Сообщений: 4693
    Репутация: 30
    Статус: Offline
    Quote (VV123)
    [-] Убрать сканирование при актуализации !!!


    Пля, как я тебе уберу, если сканирование и определяет, че есть а чего нет????????? Думай че хочешь..
    drSerj
     
    VV123Дата: Пятница, 27.05.2011, 17:17 | Сообщение # 641
    Генерал-майор
    Группа: Проверенные
    Сообщений: 304
    Репутация: 2
    Статус: Offline
    		хорошо, скажем по другому, убрать таблицу которая заполняется оочень медленно во время сканирования (причина - количество полей), сканирование должно быть только по мд5 в имени файла, если я опять не прав, тебе видней в чем там проблема.
    сейчас актуализацию я делаю удалением libdownloaddata.* и "импорт скачанного" быстрее на порядки, и в импорте вроде ни какого сканирования нет потому так и написал.
     
    drserjДата: Пятница, 27.05.2011, 20:46 | Сообщение # 642
    Генералиссимус
    Группа: Администраторы
    Сообщений: 4693
    Репутация: 30
    Статус: Offline
    Quote (VV123)
    хорошо, скажем по другому, убрать таблицу которая заполняется оочень медленно


    да при чем тут таблица????? Идет сканирование каталогов на предмет наличия файлов.... а там уже сравнивает... и какое это количество полей??? Поле одно - мд5.

    Quote (VV123)
    и в импорте вроде ни какого сканирования нет потому так и написал.


    есть. по этому и медленно.
    drSerj
     
    VV123Дата: Пятница, 27.05.2011, 21:06 | Сообщение # 643
    Генерал-майор
    Группа: Проверенные
    Сообщений: 304
    Репутация: 2
    Статус: Offline
    Quote (drserj)
    есть. по этому и медленно.

    да блин, я уже писал об этом ранее, актуализация 93000 файлов в формате репы либгена 10 часов на одном компе и 12 часов на другом (первый раз не поверил), а вот "импорт скачанного" занял 10-15 мин. тех же 93000 файлов, делайте выводы, могу подкинуть еще одно наблюдение: при актуализации процесс начинается быстро а потом все медленнее замедляясь к концу до 2-3 файлов в минуту. angry

    Добавлено (27.05.2011, 20:06)
    ---------------------------------------------

    Quote (drserj)
    да при чем тут таблица?????

    таблица которая появляется перед формой "настройки актуализации" и 10 -12 часов это до появлени формы "настройки актуализации", потом все быстро. А таблица такая же как в поиске с настройкой отображаемых полей, и видимо процесс заполнения этих полей для отображения в этой таблице и тормозит все.
    Форумчане у кого есть хотя бы 10000 файлов и секундомер, попробуйте а то drserj мне не верит smile
     
    drserjДата: Пятница, 27.05.2011, 21:23 | Сообщение # 644
    Генералиссимус
    Группа: Администраторы
    Сообщений: 4693
    Репутация: 30
    Статус: Offline
    Quote (VV123)
    а вот "импорт скачанного" занял 10-15 мин.


    Видишь ли, то, что создание новой таблицы - быстрее, я не спорю. но вот ситуация, когда контент не всегда присутствует на момент сканирования - как тут быть? В конце-концов, если тебе быстрее с пустой таблицей - удаляй ее каждый раз.

    Quote (VV123)
    Форумчане у кого есть хотя бы 10000 файлов и секундомер, попробуйте а то drserj мне не верит


    верю, но вариантов пока не вижу. отключать сканирование - нелогично. Да и процесс этот запускается очень редко. (Промывание кишечника - полезная вещь, но не сильно приятно и полезно выполнять эту операцию ежедневно tongue )
    drSerj
     
    VV123Дата: Пятница, 27.05.2011, 21:37 | Сообщение # 645
    Генерал-майор
    Группа: Проверенные
    Сообщений: 304
    Репутация: 2
    Статус: Offline
    Quote (drserj)
    В конце-концов, если тебе быстрее с пустой таблицей - удаляй ее каждый раз.

    а чего так не сделать в программе, от пользователя механизм или алгоритм скрыт, главное что быстро, а так лазить удалять файлы не кошерно.

    а блин, вспомнил чего мне не понравилось при таком подходе, в таблице скачанные отметки слетают, вроде...

    Сообщение отредактировал VV123 - Пятница, 27.05.2011, 21:41
     
    Форум » Архив "LibGen - Библиотекарь" » Version 1.x » Начинаем работу
    Поиск:

    Copyright LibRusLib © 2024