|
Начинаем работу
| |
| tufedtm | Дата: Понедельник, 29.07.2013, 11:56 | Сообщение # 16 |
|
Рядовой
Группа: Пользователи
Сообщений: 5
Статус: Offline
| drserj, скачивание базы, распаковка и т.д. заняло почти час
папка lib есть и она пустая
прокси не использую
все приведенные мной ссылки выше через браузер скачались
да, такая ссылка http://i47.fastpic.ru/big....f08.png
Сообщение отредактировал tufedtm - Понедельник, 29.07.2013, 11:57 |
| |
| |
| drserj | Дата: Понедельник, 29.07.2013, 12:08 | Сообщение # 17 |
|
Генералиссимус
Группа: Администраторы
Сообщений: 4693
Статус: Offline
| Хм... ничего не понимаю...
При скачке книга моментально попадает в таблицу ошибок, или какое-то время пытается скачаться?
В момент скачки в каталоге темп файл появляется или там ничего не появляется?
Попробуй переименуй каталог Libgen_2.0_13.0 просто в Libgen.
Попробуй запусти программу в режиме совместимости, может тут что-то получится.
Может фаервол или антивирус блокируют?
Места на диске, надеюсь, хватает?
У меня нет восьмерки, я, к сожадению, не могу проверить именно на ней... 
Попробуй еще тут задать вопрос, может у кого восьмерка есть
http://genofond.org/viewtop....rt=1975
drSerj
|
| |
| |
| tufedtm | Дата: Понедельник, 29.07.2013, 18:44 | Сообщение # 18 |
|
Рядовой
Группа: Пользователи
Сообщений: 5
Статус: Offline
| drserj, не моментально, проходит секунд 10-15
в папке temp ничего не появляется
переименование не помогло
совместимость с вин7 и xpsp3 не помогла
фаервол отключен, антивируса нет
место на диске есть
запустил на xp и получилось скачать книгу, хоть и медленно
спасибо за программу, теперь я наконец смогу удалить сборку лмбрусека на 450гиг
Сообщение отредактировал tufedtm - Понедельник, 29.07.2013, 20:18 |
| |
| |
| drserj | Дата: Понедельник, 29.07.2013, 21:18 | Сообщение # 19 |
|
Генералиссимус
Группа: Администраторы
Сообщений: 4693
Статус: Offline
| Цитата (tufedtm) drserj, не моментально, проходит секунд 10-15 в папке temp ничего не появляется переименование не помогло совместимость с вин7 и xpsp3 не помогла фаервол отключен, антивируса нет место на диске есть
Ничего не понимаю Если закачка базы работает - должна бы работать и скачка книг... Еще ни разу не было жалобы, что закачка не работает вообще...
Есть, конечно, вариант что проблема системы, но не хотелось бы... Тестировал на системах от ХР до 7-ки разных вариантов - проблем не наблюдалось... Может они что-то в 8-ке переиначили.... Но что-то подсказывает, что проблема гораздо прозаичнее...
Цитата (tufedtm) запустил на xp и получилось скачать книгу, хоть и медленно
А поставь количество потоков - штуки 3 (если там один прописан), должно помочь. Там, как я понял, ограничение на скорость стоит на сервере...
Цитата (tufedtm) теперь я наконец смогу удалить сборку лмбрусека на 450гиг
А зачем??? У меня и либрус и флибуста в архивах, зная тенденцию падения онлайн библиотек - лучше всё иметь у себя 
drSerj
|
| |
| |
| jenya7575 | Дата: Воскресенье, 08.09.2013, 09:35 | Сообщение # 20 |
|
Рядовой
Группа: Пользователи
Сообщений: 2
Статус: Offline
| drserj, Здравствуйте! Скачивание дампа ограничено одним часом. При скачивании появляется строка "введите эл. адрес и пароль."
Подскажите, пожалуйста, как увеличить время и куда ввести данные? Книги скачиваются нормально.
Сообщение отредактировал jenya7575 - Воскресенье, 08.09.2013, 23:52 |
| |
| |
| drserj | Дата: Понедельник, 09.09.2013, 13:17 | Сообщение # 21 |
|
Генералиссимус
Группа: Администраторы
Сообщений: 4693
Статус: Offline
| Цитата (jenya7575) Скачивание дампа ограничено одним часом. При скачивании появляется строка "введите эл. адрес и пароль."
Впервые вообще о таком слышу.... Как вариант, в настройках сети поставить количество потоков - 5 (если стоит 1). Это должно увеличить скорость. Но есть вероятность, что админы либгена ограничат и количество подключений. Когда я писал программу - было ограничение до 5 потоков, сейчас - не знаю, проверять надо.
Вообще, этот вопрос больше к либгеновцам, они рулят всеми этими загрузками.
drSerj
|
| |
| |
| jenya7575 | Дата: Понедельник, 09.09.2013, 13:57 | Сообщение # 22 |
|
Рядовой
Группа: Пользователи
Сообщений: 2
Статус: Offline
| drserj, спасибо за ответ. дамп скачал с сайта либгена со скоростью 2мг/с. без библиотекаря. В библиотекаре стоит 5 потоков. Обновление прошло нормально.
Видимо я достал их своими попытками. У меня гигабитный канал-думал всё будет просто. Увы.
Сообщение отредактировал jenya7575 - Понедельник, 09.09.2013, 14:14 |
| |
| |
| drserj | Дата: Понедельник, 09.09.2013, 14:12 | Сообщение # 23 |
|
Генералиссимус
Группа: Администраторы
Сообщений: 4693
Статус: Offline
| Цитата (jenya7575) Обновление прошло нормально.
Поздравляю
drSerj
|
| |
| |
| TauOvermind | Дата: Понедельник, 25.11.2013, 18:19 | Сообщение # 24 |
|
Рядовой
Группа: Пользователи
Сообщений: 2
Статус: Offline
| Добрый день.
Пережде всего хотел бы поблагодарить drserj за программы LibGen, LibRus и MultiLib. У меня возникла небольшая проблема с программой LibGen - Librarian и на http://genofond.org/ мне рекомендовали обратиться сюда.
С чем может быть связана такая ошибка:
http://i.imgur.com/gKeXWFd.png
Как видно, я искал всё, что содержит имя 'perl'. Надо сказать, что другие запросы, например 'python', обрабатываются без ошибок.
Заранее спасибо.
|
| |
| |
| drserj | Дата: Четверг, 28.11.2013, 14:36 | Сообщение # 25 |
|
Генералиссимус
Группа: Администраторы
Сообщений: 4693
Статус: Offline
| Цитата TauOvermind (  ) Пережде всего хотел бы поблагодарить drserj за программы LibGen, LibRus и MultiLib. У меня возникла небольшая проблема с программой LibGen - Librarian и на http://genofond.org/ мне рекомендовали обратиться сюда.
Дико извиняюсь за задержку, как-то выпустил из внимания этот топик, слишком много работы с мультилибом
Цитата TauOvermind ( ) С чем может быть связана такая ошибка:
Трудно сказать, ибо у меня (правда, на достаточно старой (от марта месяца) базе никаких абсолютно ошибок не вышло. Я ввел перл, установил параметры как на скрине, нашло 377 книг.
Как уже писали на форуме - может проблема со свободным местом. Когда я давал параметры минимальных требования в описании - они были актуальны на тот момент. Хотя, быть уверенным в том, что это именно из-за нехватки места - можно только после проверки. Либгеновцы могли вкинуть дополнительные поля и места для импорта могло просто не хватить.
Кавычки в запросах экранируются, так что то что писали на форуме либгена - не совсем правильно.
Возможно, проблема в самой базе, не знаю. Знаю только одно - с таким запросом у меня проблем вообще не возникло.
drSerj
|
| |
| |
| TauOvermind | Дата: Четверг, 26.12.2013, 19:21 | Сообщение # 26 |
|
Рядовой
Группа: Пользователи
Сообщений: 2
Статус: Offline
| drSerj, благодарю за ответ. Да, всё действительно было из-за недостатка места. Теперь я провел свежую установку, выделив программе 200 Гб места, и всё работает как надо. Спасибо ещё раз, и поздравляю с наступающими праздниками!
|
| |
| |
| drserj | Дата: Четверг, 26.12.2013, 23:25 | Сообщение # 27 |
|
Генералиссимус
Группа: Администраторы
Сообщений: 4693
Статус: Offline
| Цитата TauOvermind ( ) Спасибо ещё раз, и поздравляю с наступающими праздниками!
Всегда пожалуйста, взаимно
drSerj
|
| |
| |
| VV123 | Дата: Воскресенье, 19.01.2014, 15:01 | Сообщение # 28 |
|
Генерал-майор
Группа: Проверенные
Сообщений: 304
Статус: Offline
| Годовой баг репорт:
1. Был сделан импорт скачанного, если сделать импорт скачанного еще раз для большого количества (200 тыс.) комп виснет. (Информация как минимум от двух пользователей на разных системах.)
Таким образом есть общая проблема - не возможно получить отметку скачано для всей базы ни при помощи импорта скачанного ни при помощи актуализации.
Сделал тестовый фрагмент репозитария на 200 тыс. файлов с нулевым размером http://yadi.sk/d/28miAPL6GKoyj (38 МБ)
Сюда же можно отнести долгое удаление файлов, например 1000 файлов удаляется около 1 часа.
2. В расширенном поиске выбираем диапазон, например 500000-509999, выводится "всего книг 10018". Дальше, экспорт в текстовой файл/все записи, открываем текстовой файл в экселе - записей 10023. Происходит дублирование записей.
Проблему с дублированием групп "избранное, к прочтению, прочитано" решил удалением из файла lib.createtable.sql вот этих строк:
--
-- Dumping data for table `libusercatname`
--
LOCK TABLES `libusercatname` WRITE;
/*!40000 ALTER TABLE `libusercatname` DISABLE KEYS */;
INSERT IGNORE INTO `libusercatname` VALUES (1,0,'Избранное'),(2,0,'К прочтению'),(3,0,'Прочитано');
/*!40000 ALTER TABLE `libusercatname` ENABLE KEYS */;
UNLOCK TABLES;
В результате на таком варианте из диапазона 500000-509999 выводится "всего книг 10000", но если сделать в контекстном меню "выбрать все", то "Выбрано книг 9991 (84,13 Gb) из 10000" и при после экпорта в текстовой файл в нем содержится 10000 записей.
3. В редакторе запросов, при таком запросе `CatName` LIKE "%%" вот такая ошибка:
Еще вот такой запрос:
`Extension` NOT LIKE "djvu" OR
`Extension` NOT LIKE "pdf" OR
`Extension` NOT LIKE "epub" OR
`Extension` NOT LIKE "mobi" OR
`Extension` NOT LIKE "chm" OR
`Extension` NOT LIKE "rar" OR
`Extension` NOT LIKE "zip" OR
`Extension` NOT LIKE "rtf" OR
`Extension` NOT LIKE "docx" OR
`Extension` NOT LIKE "fb2" OR
`Extension` NOT LIKE "doc"
выдал сообщение о нехватке памяти на компе с 8 ГБ, пришлось пользоваться редактором SQL, хотя по результату выполнения требовалось вывести 14430 записей.
4. В списке полей для экспорта в текстовой файл отсутствует "ID". Как обычно бывает, вдруг понадобилось и опа
Сообщение отредактировал VV123 - Воскресенье, 19.01.2014, 15:03 |
| |
| |
| drserj | Дата: Воскресенье, 19.01.2014, 19:36 | Сообщение # 29 |
|
Генералиссимус
Группа: Администраторы
Сообщений: 4693
Статус: Offline
| 1.
По поводу выборок с большим количеством записей - возможны проблемы. Не надо забывать, что программа работает не на реальном сервере MySQL а на его ембеддед версии, где имеются ограничения. Плюс к тому, в сервере базы иногда проявляются ничем не обоснованные глюки, которые, как мы не крутили всем отделом - так понять и не смогли. Вчера на такую же ситуацию нарвался в мультилибе, когда небольшой запрос селекта в селекте зависал на неопределенно долгий срок, хотя в наличии все индексированные поля. А в мультилибе - реальный сервер MySQL, причем относительно свежая версия и не оракловская, а мариядб. Так что тут приходится анализировать каждый конкретный случай в каждой уонкретной версии мускула.
Так же, на скорость работы базы сильно влияет ее не совсем красивая структура (но тут уже не моя вина).
По поводу удаления - каждый файл удаляется отдельным запросом, и каждый раз производится поиск файла. Чем больше файлов - тем значительно медленнее этот поиск производится. И это не вина программы, сколько реалии файловой системы. Согласен, изменяя алгоритм, ужесточая рамки форматов, можно добиться прироста скорости на несколько порядков. Но это значит - накладывать жесткие ограничения на способ хранения данных. Я столкнулся с этим в мультилибе, где у человека полторы сотни тысяч одиночных файлов. При таком раскладе файл искался порядка 20-30 секунд. Пришлось для любителей подобной рассыпухи принять очень жесткий формат, при котором поиск файла не производится, а ссылка на него формируется по заданному алгоритму. Обращение к файлу уменьшилось до десятых долей секунды. Но это касается тех, у кого десятки или сотни тысяч файлов. Поскольку таких "любителей" хранить всё что скачано достаточно мало - вносить подобные ограничения смысла, как я думаю, нет.
2.
Дублирование групп быть не должно. Насколько я помню (давно это было), при нормальной работе программы имеется защита (пришлось ввести из-за разного именования в разных языках). А то, что ты вырезал - не корректно. При таком раскладе не будет фиксированных групп, горячие клавиши работать будут не корректно.
3.
По поводу ошибки с CatName - похоже, что на момент проверки условия мускул еще такого поля не знает. Надо разбираться, но попробуй для начала убери as, он там не нужен.
Если честно - лень с картинки набивать текст в редактор
По поводу нехватки памяти - это ответ сервера. Ты видишь только верхушку айсберга, имеется очень много промежуточных выборок, которые сервер выполняет для себя. Создаются временные таблицы (обычно в каталоге темпа и не всегда программного), размер которых достаточно большой. Так что еще вопрос, о какой памяти идет речь - об ОЗУ или на диске. Ну и как писалось выше - у ембеддед версии имеется ряд ограничений (каких - не знаю, но они есть). Так что 8 Гиг - не предел
4.
Цитата VV123 ( ) В списке полей для экспорта в текстовой файл отсутствует "ID". Как обычно бывает, вдруг понадобилось и опа
ммм, если я не ошибаюсь, это внутренний ID только для первичного ключа. Все связи - через мд5. Ума не приложу - зачем оно кому-нить может понадобиться, если при следующем импорте оно вряд ли будет соответствовать той же самой книге. Это не ID книги, как мне помнится, а ID записи.
drSerj
|
| |
| |
| VV123 | Дата: Воскресенье, 19.01.2014, 22:54 | Сообщение # 30 |
|
Генерал-майор
Группа: Проверенные
Сообщений: 304
Статус: Offline
| 4. Мне как извращенцу понадобилось отсортировать удаленные файлы, а у них поле FileName пустое ну я за ID и тут облом :). А соответствие ID записи не меняется при следующих импортах.
3. as убрать не могу, кто-то в свое время отказался разрешить редактировать шапку.
select *, (select group_concat(catname separator ', ') from libusercatname join libusercat using(CatId) where libusercat.md5=main.md5) as CatName from main join detail using(md5) left join description using(md5)
left join librating using(md5) left join libdownloaddata using(md5)
left join libuserkeyword using(md5) left join libuserprim using(md5) left join topics using(topic_id)
where
COALESCE(lang,"ru")="ru" and
`CatName` LIKE "%%"
2. Было это давно но я помню что еще тогда я на это жаловался, ни какая защита не помогла. Я понимаю что вырезка не корректна, но это помогло и группы эти остались фиксированы т.е. когда я делаю "импортировать личные данные" они появляются но без дубликатов на английском.
И вопрос состоял в основном не про дублирование групп, а о цифрах в информационной строке, группы я прилепил поскольку они каким-то местом оказали влияние на эти цифры.
Ладно с перечисленным в п.2-4 жить можно и сильно не мешает
1. А вот по этому пункту надо что-то решать. По причине схожих проблем с мультилибом и решил сообщить, с учетом того что кой-какой фукционал был взят из либген-библиотекаря.
Что касается удаления файлов, есть обходной маневр, подлежащие удалению я экспортирую в тхт потом делаю батник и удаляю через командную строку, потом делаю импорт скачанного. В связи с тем что "любителей" хранить все что скачано становиться все больше и хранят они это в жестком формате репозитория, то надо использовать сначала удаление без поиска, а если система вернет ошибку тогда ипользовать поиск.
Что касается той же актуализации, в мультилибе таки было решено отказаться от промежуточной таблицы. Это вариант решения, потому как в либген-библиотекаре после этой таблицы при нажатии на кнопку "актуализировать" процесс занимает меньше минуты.
Если импорт скачанного делается первый раз то те же 200 тыс. импортируются в течении пары минут (специально сделал для попробовать тестовый фрагмент по ссылке в предыдущем сообщении), а вот если есть хотя бы несколько отметок скачано в базе (т.е. импорт скачанного делается еще раз для другого диска например и там 200 тыс. файлов) то все, комп можно оживить только через ресет. Просто попробуй. Какаято фигня в алгоритме, потому что есть у меня группа в которой 25 тыс. записей и если добавлять в эту группу 1 запись то это условно долго (20-30 сек.) а если добавлять 20-30 записей то пара сек.
|
| |
| |
|
Главная 
