LibRusLib
Среда, 24.04.2024, 21:03
Приветствую Вас Гость | RSS
 
Главная ФорумРегистрацияВход
[ Новые сообщения · Участники · Правила форума · Поиск · RSS ]
Архив - только для чтения
Форум » Архив "LibGen - Библиотекарь" » Version 1.x » Начинаем работу
Начинаем работу
VV123Дата: Воскресенье, 20.03.2011, 18:23 | Сообщение # 241
Генерал-майор
Группа: Проверенные
Сообщений: 304
Репутация: 2
Статус: Offline
Quote (drserj)
Ну отключи, если не нужен...

А добавить в лог поле "Имя файла" (32000/<md5>) для тех фалов которые есть в базе и назвать "Сохранять в лог импорт скачанного".
 
drserjДата: Воскресенье, 20.03.2011, 18:56 | Сообщение # 242
Генералиссимус
Группа: Администраторы
Сообщений: 4693
Репутация: 30
Статус: Offline
Quote (VV123)
А добавить в лог поле "Имя файла" (32000/<md5>) для тех фалов которые есть в базе и назвать "Сохранять в лог импорт скачанного".

а надо? smile


drSerj
 
VV123Дата: Воскресенье, 20.03.2011, 19:46 | Сообщение # 243
Генерал-майор
Группа: Проверенные
Сообщений: 304
Репутация: 2
Статус: Offline
Надо, надо. smile
 
drserjДата: Воскресенье, 20.03.2011, 19:50 | Сообщение # 244
Генералиссимус
Группа: Администраторы
Сообщений: 4693
Репутация: 30
Статус: Offline
Quote (VV123)
Надо, надо.

А ты слегка представляешь, во что это выльется, если количество файлов превысит тысячу? а Триста тысяч? wink


drSerj
 
VV123Дата: Воскресенье, 20.03.2011, 20:34 | Сообщение # 245
Генерал-майор
Группа: Проверенные
Сообщений: 304
Репутация: 2
Статус: Offline
Quote (drserj)
А ты слегка представляешь, во что это выльется

Если речь о времени, то сопоставимо с импортом базы.
Если о размере самого лога, то его обработка будет в excel.
 
drserjДата: Воскресенье, 20.03.2011, 20:53 | Сообщение # 246
Генералиссимус
Группа: Администраторы
Сообщений: 4693
Репутация: 30
Статус: Offline
Quote (VV123)
Если речь о времени, то сопоставимо с импортом базы.

угу...
Quote (VV123)
Если о размере самого лога, то его обработка будет в excel.

и вот тут-то ты и обломишься smile

А еще учти размер файла...


drSerj
 
VV123Дата: Воскресенье, 20.03.2011, 21:12 | Сообщение # 247
Генерал-майор
Группа: Проверенные
Сообщений: 304
Репутация: 2
Статус: Offline
Значит импорт будет частями, у меня самая большая папка (из последних скачанных подборок) 3692 файла, ракидаю ее на 4 папки.
 
drserjДата: Воскресенье, 20.03.2011, 23:14 | Сообщение # 248
Генералиссимус
Группа: Администраторы
Сообщений: 4693
Репутация: 30
Статус: Offline
Quote (VV123)
Значит импорт будет частями, у меня самая большая папка (из последних скачанных подборок) 3692 файла, ракидаю ее на 4 папки

угу... а экспортируемый файл - пару сотен метров... пожалей бедных пользователей, им же всю порнуху придется косить, что бы библиотекой пользоваться smile


drSerj
 
VV123Дата: Воскресенье, 20.03.2011, 23:22 | Сообщение # 249
Генерал-майор
Группа: Проверенные
Сообщений: 304
Репутация: 2
Статус: Offline
Вот и первый глюк. smile
Решил проверить 6 книжек, которые при импорте отметились как отсутствующие в базе, по названию.
Открываю папку и вижу что таких файлов 8 surprised , ладно, смотрю по именам и вижу что два файла отличаются одним символом в имени.
Дальше хуже. Копирую название книжки из имени файла (которых два одинаковых), вставляю в программу для поиска и программа мне выдает 3 одинаковых записи по всем полям wacko . Делаю сортировку в папке по размеру и выясняю что в папке 3 файла с одинаковым размером 2 из которых не переименованы в MD5.
 
drserjДата: Воскресенье, 20.03.2011, 23:35 | Сообщение # 250
Генералиссимус
Группа: Администраторы
Сообщений: 4693
Репутация: 30
Статус: Offline
Честно говоря - ничего не понял... сплошной сумбур в изложении...

Quote (VV123)
Решил проверить 6 книжек, которые при импорте отметились как отсутствующие в базе, по названию.

в базе ищется не по названию а по хэш-сумме, даже если книга будет отличаться одним битом - она уже не будет найдена.

Quote (VV123)
, ладно, смотрю по именам и вижу что два файла отличаются одним символом в имени.

ну и что?

Quote (VV123)
Дальше хуже. Копирую название книжки из имени файла (которых два одинаковых), вставляю в программу для поиска и программа мне выдает 3 одинаковых записи по всем полям

и по мд5? Дай мне название и мд5 книги.

кстати, 3 одинаковых мд5 в базе существовать в идее не могут, ибо, мд5 - первичный индекс... а, соответственно, кто-то и что-то недоговаривает smile

Единственное, что могу сказать - если с одним мд5 будет несколько книг (с разными названиями или в разніх местах) отметка будет одна.

Quote (VV123)
Делаю сортировку в папке по размеру и выясняю что в папке 3 файла с одинаковым размером 2 из которых не переименованы в MD5.

а это значит, либо их мд5 отличается от того, который в базе.. соответственно и не переименованы... либо, книга с таким мд5 уже существует и отмечена в базе...

Так что, пока я глюков не вижу, а вижу полный бардак у тебя на диске smile
Я не позиционировал программу, как поисковик дубликатов у тебя на диске. Нашло первую книгу - и хватит, отметка проставлена и при вызове книга загрузится. А для поиска дубликатов существует масса других программ. Ими и чисть диск.


drSerj
 
VV123Дата: Понедельник, 21.03.2011, 00:22 | Сообщение # 251
Генерал-майор
Группа: Проверенные
Сообщений: 304
Репутация: 2
Статус: Offline
Quote (drserj)
и по мд5? Дай мне название и мд5 книги.

Я могу тебе и папку для теста на обменник положить, а можешь ситуацию и сам синтезировать сделай 2 или больше копий одного файла (который есть в базе), потом импортируй и найди поиском этот файл по названию.
Могу скриншот тебе выложить.

Quote (drserj)
Я не позиционировал программу, как поисковик дубликатов у тебя на диске.

А как программу создающую дубли в записях базы biggrin

Твое самодурство и не желание сделать перемещение при импорте и привели к этой ситуации.

Сообщение отредактировал VV123 - Понедельник, 21.03.2011, 00:23
 
1_абрамДата: Понедельник, 21.03.2011, 00:34 | Сообщение # 252
Генералиссимус
Группа: Друзья
Сообщений: 1207
Репутация: 0
Статус: Offline
Quote (drserj)
А это - кому-как.. тебе - может и бессмысленный... кому-то полезный

Очень даже полезный. Я нашел у себя два десятка книг, отсутствующих в генезисе. Завтра залью их на генезис.

Сообщение отредактировал 1_абрам - Понедельник, 21.03.2011, 00:43
 
VV123Дата: Понедельник, 21.03.2011, 01:06 | Сообщение # 253
Генерал-майор
Группа: Проверенные
Сообщений: 304
Репутация: 2
Статус: Offline
Quote (1_абрам)
Я нашел лва десятка книг, отсутствующих в генезисе. Завтра залью их на генезис.

По названию проверь, а то продублируешь на генезисе smile

Добавлено (20.03.2011, 23:43)
---------------------------------------------
Скриншот для неверящих
http://narod.ru/disk/7987021001/%D0%B4%D1%83%D0%B1%D0%BB%D0%B8.jpg.html

Добавлено (21.03.2011, 00:06)
---------------------------------------------

Quote (drserj)
при вызове книга загрузится.

Хрен она загрузится если папка не прописана в путях, ведь то же об этом писал не один раз.
 
1_абрамДата: Понедельник, 21.03.2011, 09:22 | Сообщение # 254
Генералиссимус
Группа: Друзья
Сообщений: 1207
Репутация: 0
Статус: Offline
Quote (VV123)
По названию проверь, а то продублируешь на генезисе

Да, это нормально. Есть много разных вариантов сканов для одной и той же книжки (книжка одна, мд5 разные).

 
drserjДата: Понедельник, 21.03.2011, 09:44 | Сообщение # 255
Генералиссимус
Группа: Администраторы
Сообщений: 4693
Репутация: 30
Статус: Offline
Quote (VV123)
А как программу создающую дубли в записях базы

1.В базе нет дублей и быть не может по причине наличия первичного индекса, равного хэшу мд5
2.Я не формирую базу, я ее просто гружу в программу.

По поводу картинки - по твоему запросу у меня нашлось две книги - pdf и djvu. Сделай, пожалуйста, экспорт личных данных (все таблицы) в файл и дай мне.

Quote (VV123)
Твое самодурство и не желание сделать перемещение при импорте и привели к этой ситуации.

или чьи-то фантаззи не дают мне нормально работать и отдыхать tongue

Quote (VV123)
Хрен она загрузится если папка не прописана в путях, ведь то же об этом писал не один раз.

хм.. а кто тебе не дает пути прописать?

Я смотрю, что твои размышления направлены явно не в конструктивную сторону. Незнание материала и нежелание понять концепцию и принципы работы программы приводят к ненужному холивару, уводя разговоры в сторону от основной темы.
Посему, если будут необоснованные наезды в сторону как работы так и развития программы - буду тупо игнорировать твои сообщения!

За нахождение реальных ошибок и неточностей работы программы - всё-таки спасибо smile


drSerj
 
Форум » Архив "LibGen - Библиотекарь" » Version 1.x » Начинаем работу
Поиск:

Copyright LibRusLib © 2024