LibRusLib
Четверг, 28.03.2024, 18:19
Приветствую Вас Гость | RSS
 
Главная ФорумРегистрацияВход
[ Новые сообщения · Участники · Правила форума · Поиск · RSS ]
Форум » MultiLib - Библиотекарь » Version 1.x » Обсуждение работы программы (Баги, проблемы, решения)
Обсуждение работы программы
1_абрамДата: Вторник, 15.09.2015, 15:53 | Сообщение # 616
Генералиссимус
Группа: Друзья
Сообщений: 1207
Репутация: 0
Статус: Offline
Цитата PFN7320

Сообщение отредактировал 1_абрам - Вторник, 15.09.2015, 15:54
 
drserjДата: Вторник, 15.09.2015, 16:22 | Сообщение # 617
Генералиссимус
Группа: Администраторы
Сообщений: 4693
Репутация: 30
Статус: Offline
Цитата PFN ()
Это понятно. Просто, когда я еще не брался за создание программы, а пользовался разными программами поиска дубликатов типа DupKiller и т.п., то успел довольно много книг привести к этому формату имен.

можно загрузить все книги в мою программу и обработать при помощи функции "Копировать на устройство" в формат Z (это и будет мд5), причем, сам файл книги можно оставить обычным, а имя архива будет хэшmd5.zip

Цитата PFN ()
Не удивляйтесь ибо я - самоучка


ой, а я, типа, нет... я вообще тичер по профессии... ни в школе, ни в институте (слава всевышнему) у меня даже примитивного программирования не было... Может по этому я и люблю это дело...

Цитата PFN ()
Я это делаю для себя, получая сокращение объема почти на 40%

но это прокатит только для en, ru и ua... И не боле того... Франция, германия, италия и т д - в пролете...


drSerj
 
drserjДата: Вторник, 15.09.2015, 16:25 | Сообщение # 618
Генералиссимус
Группа: Администраторы
Сообщений: 4693
Репутация: 30
Статус: Offline
Цитата 1_абрам ()
Цитата PFN7320

эт че ?


drSerj
 
1_абрамДата: Вторник, 15.09.2015, 17:02 | Сообщение # 619
Генералиссимус
Группа: Друзья
Сообщений: 1207
Репутация: 0
Статус: Offline
Цитата PFN ()
Вот с этим я не знаком. Можно где-нибудь просветиться на этот счет (описание, возможности и т.п.)?


Вот здесь описано, очень удобно:

http://libruslib.ucoz.com/forum/36-123-1

Я использую не тысячники  а месячные сборки (типа f.fb2-412296-416023.zip)

Добавлено (15.09.2015, 14:47)
---------------------------------------------
Цитата drserj ()
это, увы, суровая реальность, уже доводимая до действительности.Никто не хочет прислушиваться к моему совету - не держать все яйца в одной корзинке. И это погубит библиотеку. Только лишь дело времени.
При нынешних условиях копирастии, необходимо четкое разделение - библиотека (пользователи, информация о книге, обсуждения) и контент, который никакими видимыми на основном сайте библиотеки средствами не может быть связан законом с этой самой библиотекой. Т.е. на сайте библиотеки не должно быть упоминаний и ссылок на контент. Абсолютно. Связь - хоть по мд5, хоть по ИД, но невидимая. Пока, как минимум, этого не будет - смерть библиотеки - дело времени.


Я думаю флибусте нужно держаться до последнего  в настоящем виде.

Затем  легко можно запретить скачивание книжек с флибусты,  а вот если запретить загрузку книг,  то беда  - прекратится пополнение базы книг.

Твой вариант вроде бы неплох,  если написать соответствующий софт,  но уверен при его реализации запретят сайты,  сообщающие мд5 (либо id),  ну и торенты до кучи.

А что ты думаешь относительно ip2 и тора?

Добавлено (15.09.2015, 14:53)
---------------------------------------------
Цитата drserj ()
и это есть зло... Плодится туева хуча ненужных дублей. Вот если бы ты взял и создал абсолютно корректный экземпляр, со всеми плюсами предыдущих и отсутствием минусов - да, только в этом случае можно заменить им все предыдущие. А так - очередная недоделка...


Не в моем случае,  я читаю книжки вполне приличного качества (многие скачаны с литреса,  а там книжки неплохого качества).   Исправление нескольких явных опечаток улучшает книжку,  а дополнительный дубль для фб2 книжки несущественен.

Добавлено (15.09.2015, 14:55)
---------------------------------------------
Цитата drserj ()
Там где толпа - там только порождение хаоса.


Не согласен.  Википедия,  либрусек и флибуста - лучшее подтверждение моих слов.

Добавлено (15.09.2015, 15:02)
---------------------------------------------
Цитата PFN ()
Именно это я и пытаюсь воплотить в жизнь.


Не совсем так.  Я использую флибусту как место хранения своих фб2 книжек  (копируя ее, флибусту,   целиком),  а вы, если я правильно понял,  используете ее как источник  и храните улучшенные вами книжки локально  (не загружая их на флибусту), что имхо не правильно.


Сообщение отредактировал 1_абрам - Вторник, 15.09.2015, 17:03
 
PFNДата: Вторник, 15.09.2015, 17:27 | Сообщение # 620
Генерал-майор
Группа: Друзья
Сообщений: 206
Репутация: 0
Статус: Offline
Цитата drserj ()
можно загрузить все книги в мою программу и обработать при помощи функции "Копировать на устройство" в формат Z (это и будет мд5), причем, сам файл книги можно оставить обычным, а имя архива будет хэшmd5.zip

Я попробую, но тут у меня возникает ряд вопросов в связи с тем, что мд5 дает положительный эффект поиска дублей только при 100% идентичности файлов. А это не охватывает всех возможных дублей. Я поэтому и пошел по пути поиска по именам, что позволяет визуально оценить возможные дубли в понятном отображении.

Цитата drserj ()
я вообще тичер по профессии... ни в школе, ни в институте (слава всевышнему) у меня даже примитивного программирования не было... Может по этому я и люблю это дело...

В этом у нас полное совпадение, кроме профессии. Я - бывший военный... и уже дважды пенсионер (и по военной и по гражданской линии). smile

Цитата drserj ()
но это прокатит только для en, ru и ua... И не боле того... Франция, германия, италия и т д - в пролете...

Французов и пр. у меня совсем мало, так что могу и в UTF-8 оставить. Да и нужны они больше дочери, а не мне.

Добавлено (15.09.2015, 15:27)
---------------------------------------------

Цитата 1_абрам ()
Вот здесь описано, очень удобно:

Спасибо, обязательно посмотрю.

Цитата
Я использую флибусту как место хранения своих фб2 книжек  (копируя ее, флибусту,   целиком)

Возможно, я чего-то не понимаю, но в моем представлении "копирование целиком" означает скопировать себе ВСЮ библиотеку со ВСЕМ, даже и не нужным мне контентом. Сколько же Вам потребуется времени, чтобы "отделить зерна от плевел"? Или есть какой-то секрет?

Цитата 1_абрам ()
используете ее как источник  и храните улучшенные вами книжки локально  (не загружая их на флибусту)

Да, я использую ее, как источник. Загружать исправленную книгу от своего имени, когда у нее есть автор (документа fb2), считаю не корректным, даже если указать в истории сделанные мной улучшения.


===============================
Приказ, который может быть понят неправильно, обязательно будет понят неправильно
 
1_абрамДата: Вторник, 15.09.2015, 17:57 | Сообщение # 621
Генералиссимус
Группа: Друзья
Сообщений: 1207
Репутация: 0
Статус: Offline
Цитата PFN ()
Возможно, я чего-то не понимаю, но в моем представлении "копирование целиком" означает скопировать себе ВСЮ библиотеку со ВСЕМ, даже и не нужным мне контентом. Сколько же Вам потребуется времени, чтобы "отделить зерна от плевел"? Или есть какой-то секрет?


Да,  именно так,  а секрет в том, что отделять ничего не нужно,  150 Гб  - это совсем немного.  Все книги легко доступны с помощью мультилиба. С ее помощью удобно  отбирать книжки в группы,  оценивиать и т.п.  Проблема дублей решается просто - я их просто игнорирую. Обычно книжки с бОльшим id  лучшего качества.  Я бы,  конечно,  не копировал всю флибусту, но ее в  любой момент могут закрыть,  так что так спокойнее,  да и доступ к книжкам быстрее.

Добавлено (15.09.2015, 15:57)
---------------------------------------------
Цитата PFN ()
Да, я использую ее, как источник. Загружать исправленную книгу от своего имени, когда у нее есть автор (документа fb2), считаю не корректным, даже если указать в истории сделанные мной улучшения.


Так оставляйте  настоящего  автора документа,  а себя если хотите можете указать в истории изменений.  В этом случае ваш труд не пропадает и библиотека постоянно улучшается.   Кстати, на флибусте максимально упрощенна загрузка книг.


Сообщение отредактировал 1_абрам - Вторник, 15.09.2015, 18:00
 
PFNДата: Вторник, 15.09.2015, 18:09 | Сообщение # 622
Генерал-майор
Группа: Друзья
Сообщений: 206
Репутация: 0
Статус: Offline
Цитата 1_абрам ()
Так оставляйте  настоящего  автора документа,  а себя если хотите можете указать в истории изменений.

А я его и не удаляю никогда.
Вопрос в том, что загружать-то буду, войдя на Флибусту под своим ником. Получается, что я, используя чужой труд, делаю себе репутацию. И никто не будет заглядывать в историю и выяснять, а тем более сравнивать оригинал и улучшенный мной результат. Поэтому я стою на той позиции, что если и загружать, то только книгу сделанную самостоятельно.


===============================
Приказ, который может быть понят неправильно, обязательно будет понят неправильно
 
drserjДата: Вторник, 15.09.2015, 20:29 | Сообщение # 623
Генералиссимус
Группа: Администраторы
Сообщений: 4693
Репутация: 30
Статус: Offline
Цитата 1_абрам ()
Обычно книжки с бОльшим id  лучшего качества

очень даже не всегда...

Цитата 1_абрам ()
Я бы,  конечно,  не копировал всю флибусту, но ее в  любой момент могут закрыть,  так что так спокойнее,  да и доступ к книжкам быстрее.

отож... а я всю флибусту тяну, с не фб2...

Цитата PFN ()
Поэтому я стою на той позиции, что если и загружать, то только книгу сделанную самостоятельно.

ну, это щекотливые вопросы, которые конечного потребителя ну ни коим боком не волнуют... Я, например, никогда не смотрю автора документа. Зачем оно мне, я его не знаю smile

На самом деле все эти вопросы будут актуальны (и то, не факт) если коммерциализировать библиотеку... И то, можно сказать, что деньги не за саму книгу, а за хранение, за сервис поиска и т д...


drSerj
 
PFNДата: Вторник, 15.09.2015, 20:40 | Сообщение # 624
Генерал-майор
Группа: Друзья
Сообщений: 206
Репутация: 0
Статус: Offline
Цитата drserj ()
Я, например, никогда не смотрю автора документа. Зачем оно мне, я его не знаю

Если книга сделана хорошо, то я тоже не смотрю. А когда приходится лезть и править, то невольно на странице метаданных видишь кто создал этот документ. А в FBE он вообще прописывается красным на главной странице smile

Цитата drserj ()
я всю флибусту тяну, с не фб2...

Это же сколько гиг нужно, чтобы ее вместить...


===============================
Приказ, который может быть понят неправильно, обязательно будет понят неправильно
 
1_абрамДата: Среда, 16.09.2015, 09:34 | Сообщение # 625
Генералиссимус
Группа: Друзья
Сообщений: 1207
Репутация: 0
Статус: Offline
Цитата PFN ()
Вопрос в том, что загружать-то буду, войдя на Флибусту под своим ником. Получается, что я, используя чужой труд, делаю себе репутацию.


Да никому на флибусте не интересно кто именно залил книжку.  По-моему, там даже нельзя узнать кто именно залил книжку.  Можете  завести специальный левый ник для заливки.  Если файлов много и вы сомневаетесь в целесообразности   размещения их на флибусте  - пошлите их одному из библиотекарей флибусты  и они сами зальют эти файлы.  Основная задача пополнение библиотеки качественными книгами.


Сообщение отредактировал 1_абрам - Среда, 16.09.2015, 09:36
 
drserjДата: Среда, 16.09.2015, 11:31 | Сообщение # 626
Генералиссимус
Группа: Администраторы
Сообщений: 4693
Репутация: 30
Статус: Offline
Цитата 1_абрам ()
Твой вариант вроде бы неплох,  если написать соответствующий софт

любой библиотекарь, заточенный под флибусту/либрус. 

Цитата 1_абрам ()
А что ты думаешь относительно ip2 и тора?


медленно и сильно зависит от народа. Не люблю такие зависимости 

Цитата 1_абрам ()
Не согласен.  Википедия,  либрусек и флибуста - лучшее подтверждение моих слов.

стесняюсь спросить, где во всех вышеперечисленных системах возможности? Псевдовозможности под контролем. Иллюзия, но не реальность.

Цитата PFN ()
мд5 дает положительный эффект поиска дублей только при 100% идентичности файлов. А это не охватывает всех возможных дублей.


а вот нет алгоритма, на все 100 отрабатывающего... нет его....

Цитата PFN ()
А когда приходится лезть и править

А зачем???? 
Цитата PFN ()
Это же сколько гиг нужно, чтобы ее вместить...

Не так уж и много... У мну еще и пол-либруса, и фентезиворлд почти весь smile
Флибуста - что-то около 400 гиг, когда я смотрел в последний раз... Прийду домой - гляну...


drSerj
 
1_абрамДата: Среда, 16.09.2015, 13:54 | Сообщение # 627
Генералиссимус
Группа: Друзья
Сообщений: 1207
Репутация: 0
Статус: Offline
Цитата drserj ()
любой библиотекарь, заточенный под флибусту/либрус.


Я правильно понимаю,  что ты предлагаешь:

1)  контент хранится у пользователя,

2) на флибусте хранится  библ. информация и мд5 книги.

3) библиотекарь позволяет находить и скачивать книжки пользователям друг у друга.


Сообщение отредактировал 1_абрам - Среда, 16.09.2015, 13:59
 
PFNДата: Среда, 16.09.2015, 18:07 | Сообщение # 628
Генерал-майор
Группа: Друзья
Сообщений: 206
Репутация: 0
Статус: Offline
Цитата drserj ()
а вот нет алгоритма, на все 100 отрабатывающего... нет его....

Да, все можно сделать. Вот только обрабатывать он будет ооочень долго.

А теперь даю повод посмеяться надо мной.

Вчера, часов в 16 я надыбал старый внешний диск емкостью 300Гб и на нем обнаружил архив Либрусека 1912 года с декабрьскими обновлениями. В архиве полная смесь: количество файлов от 1000 до 10 000. Всего 335 архивных файлов. Ну я и запустил весь этот кагал на добавление в библиотеку (пустую). Просидел до половины 3-го ночи. За это время программа просканировала 324 архива с 528 545 файлов.
Я прервал сканирование, а сегодня утром, около 9 часов, запустил на обработку. Сейчас, когда пишу этот пост она обработала 409 119 книг. Имею надежду, что сегодня сидеть до глубокой ночи не придется. smile

Добавлено (16.09.2015, 16:01)
---------------------------------------------

Цитата drserj ()
А зачем????
 
Люблю хорошо оформленные книги. Особенно те, которые мне интересны.

Добавлено (16.09.2015, 16:07)
---------------------------------------------

Цитата 1_абрам ()
Основная задача пополнение библиотеки качественными книгами.

Я подумаю. Наполнять библиотеку хорошо сделанными книгами - это веский аргумент.


===============================
Приказ, который может быть понят неправильно, обязательно будет понят неправильно
 
drserjДата: Среда, 16.09.2015, 19:55 | Сообщение # 629
Генералиссимус
Группа: Администраторы
Сообщений: 4693
Репутация: 30
Статус: Offline
Цитата 1_абрам ()
1)  контент хранится у пользователя,

нет, контент хранится на облачных серверах, или на любых других, не связанных с библиотечным.

Цитата 1_абрам ()
2) на флибусте хранится  библ. информация и мд5 книги.
а так же отзывы, обсуждения и пр.

Цитата 1_абрам ()
3) библиотекарь позволяет находить и скачивать книжки пользователям друг у друга.
это я хотел сделать, но как дополнительную возможность, распространять более удобно свои локальные библиотеки. Возможно даже на платной основе....


drSerj
 
drserjДата: Среда, 16.09.2015, 20:04 | Сообщение # 630
Генералиссимус
Группа: Администраторы
Сообщений: 4693
Репутация: 30
Статус: Offline
Цитата PFN ()
Да, все можно сделать. Вот только обрабатывать он будет ооочень долго.
гарантировано нет. у одной и той же книги может быть разное название, книга может относиться к разным сериям, у автора могут быть разные псевдонимы. Недавно лично нарывался на такое безобразие.

Цитата PFN ()
чера, часов в 16 я надыбал старый внешний диск емкостью 300Гб и на нем обнаружил архив Либрусека 1912 года


как стар либрус, более 100 лет smile поздравляю, через 5 лет нас ожидает великая октябрьская smile
на самом деле я делал похожее с флибустой, полностью перегонял ее в формат md5. Никакой другой формат не позволяет получить доступ книге в миллисекунды, все остальные форматы ищут книги десятками и сотнями секунд. При большой библиотеке - это недопустимо. Так там - да, убил несколько дней. Зато сейчас - благодать. Дубликатов по md5 нет, однозначная трактовка имени файла для программы, четко сбалансированная структура каталогов... Очень советую использовать формат %z, это избавит от множества проблем при росте библиотеки...


drSerj
 
Форум » MultiLib - Библиотекарь » Version 1.x » Обсуждение работы программы (Баги, проблемы, решения)
Поиск:

Copyright LibRusLib © 2024