LibRusLib
Четверг, 28.03.2024, 19:44
Приветствую Вас Гость | RSS
 
Главная ФорумРегистрацияВход
[ Новые сообщения · Участники · Правила форума · Поиск · RSS ]
Форум » MultiLib - Библиотекарь » Планы и пожелания » Пожелания
Пожелания
drserjДата: Среда, 02.07.2014, 09:44 | Сообщение # 166
Генералиссимус
Группа: Администраторы
Сообщений: 4693
Репутация: 30
Статус: Offline
Цитата vm ()
Что значит "кривой стандарт"? Насколько я понимаю, FBD это тот же FB2 только без body.

Я тоже так думал, а вот реалии немного подкачали... И таких книг - много... если не сказать - большинство.

Цитата vm ()
Но, если даже Multilib пишет "ошибка разбора файла"


А это я с дури использовал микрософтовский парсер smile На моем парсере - без проблем...


drSerj
 
vmДата: Среда, 02.07.2014, 14:07 | Сообщение # 167
Рядовой
Группа: Пользователи
Сообщений: 9
Репутация: 0
Статус: Offline
Цитата drserj ()
А это я с дури использовал микрософтовский парсер На моем парсере - без проблем...

Значит, микрософтовский парсер более строгий.

Цитата drserj ()
Я тоже так думал, а вот реалии немного подкачали... И таких книг - много... если не сказать - большинство.


Я проверил все fb2 из fb2-485000-489999.zip на валидность (даже не на валидность, а well-formed check) с помощью xmllint (http://xmlsoft.org/downloads.html). Ни одного неправильного файла. 
А он ошибки с неправильным использованием namespace ловит - проверил на fbd, сделанном в MakeCat. Тем более ошибки с незакрытыми тегами. Может, мне, конечно, повезло.  wink
 
drserjДата: Среда, 02.07.2014, 20:56 | Сообщение # 168
Генералиссимус
Группа: Администраторы
Сообщений: 4693
Репутация: 30
Статус: Offline
Цитата vm ()
Значит, микрософтовский парсер более строгий.

Ну да... Скорее, менее гибкий...

Цитата vm ()
Может, мне, конечно, повезло.
 

Повезло smile


drSerj
 
vmДата: Пятница, 04.07.2014, 01:53 | Сообщение # 169
Рядовой
Группа: Пользователи
Сообщений: 9
Репутация: 0
Статус: Offline
Цитата drserj ()
Повезло

Проверил еще несколько тысяч FB2 - тоже ошибок нет. 

А вот с FBD - беда. Процентов 20 - xml с ошибками. Причем однотипными - скорее всего делалось в какой-то одной программе, которая и нагенерила кривых файлов.
 
drserjДата: Пятница, 04.07.2014, 19:36 | Сообщение # 170
Генералиссимус
Группа: Администраторы
Сообщений: 4693
Репутация: 30
Статус: Offline
Цитата vm ()
Проверил еще несколько тысяч FB2 - тоже ошибок нет.
 
ну не знаю, мне встречались нередко...

Цитата vm ()
А вот с FBD - беда. Процентов 20 - xml с ошибками. Причем однотипными - скорее всего делалось в какой-то одной программе, которая и нагенерила кривых файлов.


отож... не помню точно, но, вроде, я обрабатывал фб2 своим парсером... Те ошибки, которые встречались - учитывал.


drSerj
 
iparchimДата: Четверг, 31.07.2014, 10:13 | Сообщение # 171
Рядовой
Группа: Пользователи
Сообщений: 4
Репутация: 0
Статус: Offline
Здравствуйте. Версия 1.04 с аппетитом ела у меня каталог с почти полумиллионом файлов. Теперь, решив поменять структура папок в нём, скармливаю его новой версии - и, во первых, получаю, что она стабильно видит 45000 файлов из 503000, а во вторых - и их добавить невозможно, потому что, на 44775-ой вылезает ошибка "42S02Table '45mlnewsname' doesn't exist". Все апдейты, разумеется, поставил. С чем такое может быть связано?
 
drserjДата: Четверг, 31.07.2014, 13:53 | Сообщение # 172
Генералиссимус
Группа: Администраторы
Сообщений: 4693
Репутация: 30
Статус: Offline
Цитата iparchim ()
видит 45000 файлов из 503000,

1. Какая библиотека (даже в либрусе нет такого количества книг)?
2. Какой формат имен файлов?
3. Правильно ли выбраны форматы файлов в настройках библиотеки?

Цитата iparchim ()
44775-ой вылезает ошибка "42S02Table '45mlnewsname' doesn't exist".

А на каком именно файле - определить можно?


drSerj
 
iparchimДата: Четверг, 31.07.2014, 14:59 | Сообщение # 173
Рядовой
Группа: Пользователи
Сообщений: 4
Репутация: 0
Статус: Offline
Да свалка обычная, почему и пользуюсь - накачано и с либрусека и с торрентов - и fb2 и djvu c pdf - но раньше удавалось большинство новых поступлений укладывать в базу - а тут вдруг..
Полагаете, спотыкается на именах более 255 знаков? Спасибо, проверю, может и затесалось такое имя.
Нет, при добавлении полоска менее, чем за секунду доходит до 44775 и выкидывает ошибку.


Сообщение отредактировал iparchim - Четверг, 31.07.2014, 14:59
 
drserjДата: Четверг, 31.07.2014, 15:09 | Сообщение # 174
Генералиссимус
Группа: Администраторы
Сообщений: 4693
Репутация: 30
Статус: Offline
Цитата iparchim ()
Да свалка обычная

т.е. тип библиотеки - приватная? Обвал идет на момент поиска файлов, или уже при обработке?
Цитата iparchim ()
Полагаете, спотыкается на именах более 255 знаков?
Либо в имени проблема, либо при получении инфы из файла... Если бы конкретно знать на каком файле свалилось...
А вообще - можно по подкаталогам разбросать и обрабатывать отдельно.
Самый идеальный формат имени для хранения - мд5, у меня все библиотеки в него перегнаны. Скорость поиска - очень высокая, проблем с именами нет, дублей - тоже нет. Всё разбросано равномерно по подкаталогам, четкая структура, прямой доступ к файлам без сканирования каталогов. Весьма рекомендую.


drSerj
 
drserjДата: Четверг, 31.07.2014, 21:11 | Сообщение # 175
Генералиссимус
Группа: Администраторы
Сообщений: 4693
Репутация: 30
Статус: Offline
Цитата iparchim ()
Здравствуйте. Версия 1.04 с аппетитом ела у меня каталог с почти полумиллионом файлов. Теперь, решив поменять структура папок в нём, скармливаю его новой версии - и, во первых, получаю, что она стабильно видит 45000 файлов из 503000, а во вторых - и их добавить невозможно, потому что, на 44775-ой вылезает ошибка "42S02Table '45mlnewsname' doesn't exist". Все апдейты, разумеется, поставил. С чем такое может быть связано?

Кстати, если проблема осталась, сделай список файлов.
Для этого зайди в корневой каталог с файлами книг и в командной строке выполни комманду dir /b/s >out.txt и этот файл (out.txt) заархивируй и скинь мне. Я создам такую же структуру с пустыми файлами и посмотрю, где вылетает программа.


drSerj
 
iparchimДата: Четверг, 31.07.2014, 23:09 | Сообщение # 176
Рядовой
Группа: Пользователи
Сообщений: 4
Репутация: 0
Статус: Offline
Спасибо, я пока предыдущим советом пользуюсь - перекладываю по каталогам:). Если останется - так и сделаю.
 
drserjДата: Пятница, 01.08.2014, 00:10 | Сообщение # 177
Генералиссимус
Группа: Администраторы
Сообщений: 4693
Репутация: 30
Статус: Offline
Цитата iparchim ()
Если останется - так и сделаю.

Ок. Отпишись, если найдешь файл, на котором спотыкается. Я только за одно беспокоюсь - может где проблема по выделению памяти, с таким количеством книг одновременно в этом плагине я не работал...


drSerj
 
iparchimДата: Воскресенье, 03.08.2014, 09:46 | Сообщение # 178
Рядовой
Группа: Пользователи
Сообщений: 4
Репутация: 0
Статус: Offline
Нет, спасибо ещё раз - всё разложилось, всё прочиталось, нигде ничего не вылетело:). Прошу прощения за беспокойство.
 
drserjДата: Воскресенье, 03.08.2014, 17:02 | Сообщение # 179
Генералиссимус
Группа: Администраторы
Сообщений: 4693
Репутация: 30
Статус: Offline
Цитата iparchim ()
ет, спасибо ещё раз - всё разложилось, всё прочиталось, нигде ничего не вылетело:)

Это хорошо, но проблема-то не исчезла sad Значит дело, скорее всего, в количестве...


drSerj
 
MyNameX3Дата: Четверг, 25.12.2014, 02:43 | Сообщение # 180
Рядовой
Группа: Пользователи
Сообщений: 6
Репутация: 0
Статус: Offline
Имхо очень нехватает возможности создания групп для авторов, аналогичных книжным "избранные", "к прочтению", и т. п. Случайно не планируется?
 
Форум » MultiLib - Библиотекарь » Планы и пожелания » Пожелания
Поиск:

Copyright LibRusLib © 2024