Обсуждение работы программы
| |
1_абрам | Дата: Вторник, 15.09.2015, 15:53 | Сообщение # 616 |
Генералиссимус
Группа: Друзья
Сообщений: 1207
Статус: Offline
| Цитата PFN7320
Сообщение отредактировал 1_абрам - Вторник, 15.09.2015, 15:54 |
|
| |
drserj | Дата: Вторник, 15.09.2015, 16:22 | Сообщение # 617 |
Генералиссимус
Группа: Администраторы
Сообщений: 4693
Статус: Offline
| Цитата PFN ( ) Это понятно. Просто, когда я еще не брался за создание программы, а пользовался разными программами поиска дубликатов типа DupKiller и т.п., то успел довольно много книг привести к этому формату имен. можно загрузить все книги в мою программу и обработать при помощи функции "Копировать на устройство" в формат Z (это и будет мд5), причем, сам файл книги можно оставить обычным, а имя архива будет хэшmd5.zip
Цитата PFN ( ) Не удивляйтесь ибо я - самоучка
ой, а я, типа, нет... я вообще тичер по профессии... ни в школе, ни в институте (слава всевышнему) у меня даже примитивного программирования не было... Может по этому я и люблю это дело...
Цитата PFN ( ) Я это делаю для себя, получая сокращение объема почти на 40% но это прокатит только для en, ru и ua... И не боле того... Франция, германия, италия и т д - в пролете...
drSerj
|
|
| |
drserj | Дата: Вторник, 15.09.2015, 16:25 | Сообщение # 618 |
Генералиссимус
Группа: Администраторы
Сообщений: 4693
Статус: Offline
| Цитата 1_абрам ( ) Цитата PFN7320 эт че ?
drSerj
|
|
| |
1_абрам | Дата: Вторник, 15.09.2015, 17:02 | Сообщение # 619 |
Генералиссимус
Группа: Друзья
Сообщений: 1207
Статус: Offline
| Цитата PFN ( ) Вот с этим я не знаком. Можно где-нибудь просветиться на этот счет (описание, возможности и т.п.)?
Вот здесь описано, очень удобно:
http://libruslib.ucoz.com/forum/36-123-1
Я использую не тысячники а месячные сборки (типа f.fb2-412296-416023.zip)
Добавлено (15.09.2015, 14:47) --------------------------------------------- Цитата drserj ( ) это, увы, суровая реальность, уже доводимая до действительности.Никто не хочет прислушиваться к моему совету - не держать все яйца в одной корзинке. И это погубит библиотеку. Только лишь дело времени. При нынешних условиях копирастии, необходимо четкое разделение - библиотека (пользователи, информация о книге, обсуждения) и контент, который никакими видимыми на основном сайте библиотеки средствами не может быть связан законом с этой самой библиотекой. Т.е. на сайте библиотеки не должно быть упоминаний и ссылок на контент. Абсолютно. Связь - хоть по мд5, хоть по ИД, но невидимая. Пока, как минимум, этого не будет - смерть библиотеки - дело времени.
Я думаю флибусте нужно держаться до последнего в настоящем виде.
Затем легко можно запретить скачивание книжек с флибусты, а вот если запретить загрузку книг, то беда - прекратится пополнение базы книг.
Твой вариант вроде бы неплох, если написать соответствующий софт, но уверен при его реализации запретят сайты, сообщающие мд5 (либо id), ну и торенты до кучи.
А что ты думаешь относительно ip2 и тора?
Добавлено (15.09.2015, 14:53) --------------------------------------------- Цитата drserj ( ) и это есть зло... Плодится туева хуча ненужных дублей. Вот если бы ты взял и создал абсолютно корректный экземпляр, со всеми плюсами предыдущих и отсутствием минусов - да, только в этом случае можно заменить им все предыдущие. А так - очередная недоделка...
Не в моем случае, я читаю книжки вполне приличного качества (многие скачаны с литреса, а там книжки неплохого качества). Исправление нескольких явных опечаток улучшает книжку, а дополнительный дубль для фб2 книжки несущественен.
Добавлено (15.09.2015, 14:55) --------------------------------------------- Цитата drserj ( ) Там где толпа - там только порождение хаоса.
Не согласен. Википедия, либрусек и флибуста - лучшее подтверждение моих слов.
Добавлено (15.09.2015, 15:02) --------------------------------------------- Цитата PFN ( ) Именно это я и пытаюсь воплотить в жизнь.
Не совсем так. Я использую флибусту как место хранения своих фб2 книжек (копируя ее, флибусту, целиком), а вы, если я правильно понял, используете ее как источник и храните улучшенные вами книжки локально (не загружая их на флибусту), что имхо не правильно.
Сообщение отредактировал 1_абрам - Вторник, 15.09.2015, 17:03 |
|
| |
PFN | Дата: Вторник, 15.09.2015, 17:27 | Сообщение # 620 |
Генерал-майор
Группа: Друзья
Сообщений: 206
Статус: Offline
| Цитата drserj ( ) можно загрузить все книги в мою программу и обработать при помощи функции "Копировать на устройство" в формат Z (это и будет мд5), причем, сам файл книги можно оставить обычным, а имя архива будет хэшmd5.zip Я попробую, но тут у меня возникает ряд вопросов в связи с тем, что мд5 дает положительный эффект поиска дублей только при 100% идентичности файлов. А это не охватывает всех возможных дублей. Я поэтому и пошел по пути поиска по именам, что позволяет визуально оценить возможные дубли в понятном отображении.
Цитата drserj ( ) я вообще тичер по профессии... ни в школе, ни в институте (слава всевышнему) у меня даже примитивного программирования не было... Может по этому я и люблю это дело... В этом у нас полное совпадение, кроме профессии. Я - бывший военный... и уже дважды пенсионер (и по военной и по гражданской линии).
Цитата drserj ( ) но это прокатит только для en, ru и ua... И не боле того... Франция, германия, италия и т д - в пролете... Французов и пр. у меня совсем мало, так что могу и в UTF-8 оставить. Да и нужны они больше дочери, а не мне.Добавлено (15.09.2015, 15:27) ---------------------------------------------
Цитата 1_абрам ( ) Вот здесь описано, очень удобно: Спасибо, обязательно посмотрю.
Цитата Я использую флибусту как место хранения своих фб2 книжек (копируя ее, флибусту, целиком) Возможно, я чего-то не понимаю, но в моем представлении "копирование целиком" означает скопировать себе ВСЮ библиотеку со ВСЕМ, даже и не нужным мне контентом. Сколько же Вам потребуется времени, чтобы "отделить зерна от плевел"? Или есть какой-то секрет?
Цитата 1_абрам ( ) используете ее как источник и храните улучшенные вами книжки локально (не загружая их на флибусту) Да, я использую ее, как источник. Загружать исправленную книгу от своего имени, когда у нее есть автор (документа fb2), считаю не корректным, даже если указать в истории сделанные мной улучшения.
=============================== Приказ, который может быть понят неправильно, обязательно будет понят неправильно
|
|
| |
1_абрам | Дата: Вторник, 15.09.2015, 17:57 | Сообщение # 621 |
Генералиссимус
Группа: Друзья
Сообщений: 1207
Статус: Offline
| Цитата PFN ( ) Возможно, я чего-то не понимаю, но в моем представлении "копирование целиком" означает скопировать себе ВСЮ библиотеку со ВСЕМ, даже и не нужным мне контентом. Сколько же Вам потребуется времени, чтобы "отделить зерна от плевел"? Или есть какой-то секрет?
Да, именно так, а секрет в том, что отделять ничего не нужно, 150 Гб - это совсем немного. Все книги легко доступны с помощью мультилиба. С ее помощью удобно отбирать книжки в группы, оценивиать и т.п. Проблема дублей решается просто - я их просто игнорирую. Обычно книжки с бОльшим id лучшего качества. Я бы, конечно, не копировал всю флибусту, но ее в любой момент могут закрыть, так что так спокойнее, да и доступ к книжкам быстрее.
Добавлено (15.09.2015, 15:57) --------------------------------------------- Цитата PFN ( ) Да, я использую ее, как источник. Загружать исправленную книгу от своего имени, когда у нее есть автор (документа fb2), считаю не корректным, даже если указать в истории сделанные мной улучшения.
Так оставляйте настоящего автора документа, а себя если хотите можете указать в истории изменений. В этом случае ваш труд не пропадает и библиотека постоянно улучшается. Кстати, на флибусте максимально упрощенна загрузка книг.
Сообщение отредактировал 1_абрам - Вторник, 15.09.2015, 18:00 |
|
| |
PFN | Дата: Вторник, 15.09.2015, 18:09 | Сообщение # 622 |
Генерал-майор
Группа: Друзья
Сообщений: 206
Статус: Offline
| Цитата 1_абрам ( ) Так оставляйте настоящего автора документа, а себя если хотите можете указать в истории изменений. А я его и не удаляю никогда. Вопрос в том, что загружать-то буду, войдя на Флибусту под своим ником. Получается, что я, используя чужой труд, делаю себе репутацию. И никто не будет заглядывать в историю и выяснять, а тем более сравнивать оригинал и улучшенный мной результат. Поэтому я стою на той позиции, что если и загружать, то только книгу сделанную самостоятельно.
=============================== Приказ, который может быть понят неправильно, обязательно будет понят неправильно
|
|
| |
drserj | Дата: Вторник, 15.09.2015, 20:29 | Сообщение # 623 |
Генералиссимус
Группа: Администраторы
Сообщений: 4693
Статус: Offline
| Цитата 1_абрам ( ) Обычно книжки с бОльшим id лучшего качества очень даже не всегда...
Цитата 1_абрам ( ) Я бы, конечно, не копировал всю флибусту, но ее в любой момент могут закрыть, так что так спокойнее, да и доступ к книжкам быстрее. отож... а я всю флибусту тяну, с не фб2...
Цитата PFN ( ) Поэтому я стою на той позиции, что если и загружать, то только книгу сделанную самостоятельно. ну, это щекотливые вопросы, которые конечного потребителя ну ни коим боком не волнуют... Я, например, никогда не смотрю автора документа. Зачем оно мне, я его не знаю
На самом деле все эти вопросы будут актуальны (и то, не факт) если коммерциализировать библиотеку... И то, можно сказать, что деньги не за саму книгу, а за хранение, за сервис поиска и т д...
drSerj
|
|
| |
PFN | Дата: Вторник, 15.09.2015, 20:40 | Сообщение # 624 |
Генерал-майор
Группа: Друзья
Сообщений: 206
Статус: Offline
| Цитата drserj ( ) Я, например, никогда не смотрю автора документа. Зачем оно мне, я его не знаю Если книга сделана хорошо, то я тоже не смотрю. А когда приходится лезть и править, то невольно на странице метаданных видишь кто создал этот документ. А в FBE он вообще прописывается красным на главной странице
Цитата drserj ( ) я всю флибусту тяну, с не фб2... Это же сколько гиг нужно, чтобы ее вместить...
=============================== Приказ, который может быть понят неправильно, обязательно будет понят неправильно
|
|
| |
1_абрам | Дата: Среда, 16.09.2015, 09:34 | Сообщение # 625 |
Генералиссимус
Группа: Друзья
Сообщений: 1207
Статус: Offline
| Цитата PFN ( ) Вопрос в том, что загружать-то буду, войдя на Флибусту под своим ником. Получается, что я, используя чужой труд, делаю себе репутацию.
Да никому на флибусте не интересно кто именно залил книжку. По-моему, там даже нельзя узнать кто именно залил книжку. Можете завести специальный левый ник для заливки. Если файлов много и вы сомневаетесь в целесообразности размещения их на флибусте - пошлите их одному из библиотекарей флибусты и они сами зальют эти файлы. Основная задача пополнение библиотеки качественными книгами.
Сообщение отредактировал 1_абрам - Среда, 16.09.2015, 09:36 |
|
| |
drserj | Дата: Среда, 16.09.2015, 11:31 | Сообщение # 626 |
Генералиссимус
Группа: Администраторы
Сообщений: 4693
Статус: Offline
| Цитата 1_абрам ( ) Твой вариант вроде бы неплох, если написать соответствующий софт любой библиотекарь, заточенный под флибусту/либрус.
Цитата 1_абрам ( ) А что ты думаешь относительно ip2 и тора?
медленно и сильно зависит от народа. Не люблю такие зависимости
Цитата 1_абрам ( ) Не согласен. Википедия, либрусек и флибуста - лучшее подтверждение моих слов. стесняюсь спросить, где во всех вышеперечисленных системах возможности? Псевдовозможности под контролем. Иллюзия, но не реальность.
Цитата PFN ( ) мд5 дает положительный эффект поиска дублей только при 100% идентичности файлов. А это не охватывает всех возможных дублей.
а вот нет алгоритма, на все 100 отрабатывающего... нет его....
Цитата PFN ( ) А когда приходится лезть и править А зачем???? Цитата PFN ( ) Это же сколько гиг нужно, чтобы ее вместить... Не так уж и много... У мну еще и пол-либруса, и фентезиворлд почти весь Флибуста - что-то около 400 гиг, когда я смотрел в последний раз... Прийду домой - гляну...
drSerj
|
|
| |
1_абрам | Дата: Среда, 16.09.2015, 13:54 | Сообщение # 627 |
Генералиссимус
Группа: Друзья
Сообщений: 1207
Статус: Offline
| Цитата drserj ( ) любой библиотекарь, заточенный под флибусту/либрус.
Я правильно понимаю, что ты предлагаешь:
1) контент хранится у пользователя,
2) на флибусте хранится библ. информация и мд5 книги.
3) библиотекарь позволяет находить и скачивать книжки пользователям друг у друга.
Сообщение отредактировал 1_абрам - Среда, 16.09.2015, 13:59 |
|
| |
PFN | Дата: Среда, 16.09.2015, 18:07 | Сообщение # 628 |
Генерал-майор
Группа: Друзья
Сообщений: 206
Статус: Offline
| Цитата drserj ( ) а вот нет алгоритма, на все 100 отрабатывающего... нет его.... Да, все можно сделать. Вот только обрабатывать он будет ооочень долго.
А теперь даю повод посмеяться надо мной.
Вчера, часов в 16 я надыбал старый внешний диск емкостью 300Гб и на нем обнаружил архив Либрусека 1912 года с декабрьскими обновлениями. В архиве полная смесь: количество файлов от 1000 до 10 000. Всего 335 архивных файлов. Ну я и запустил весь этот кагал на добавление в библиотеку (пустую). Просидел до половины 3-го ночи. За это время программа просканировала 324 архива с 528 545 файлов. Я прервал сканирование, а сегодня утром, около 9 часов, запустил на обработку. Сейчас, когда пишу этот пост она обработала 409 119 книг. Имею надежду, что сегодня сидеть до глубокой ночи не придется. Добавлено (16.09.2015, 16:01) ---------------------------------------------
Цитата drserj ( ) А зачем???? Люблю хорошо оформленные книги. Особенно те, которые мне интересны.Добавлено (16.09.2015, 16:07) ---------------------------------------------
Цитата 1_абрам ( ) Основная задача пополнение библиотеки качественными книгами. Я подумаю. Наполнять библиотеку хорошо сделанными книгами - это веский аргумент.
=============================== Приказ, который может быть понят неправильно, обязательно будет понят неправильно
|
|
| |
drserj | Дата: Среда, 16.09.2015, 19:55 | Сообщение # 629 |
Генералиссимус
Группа: Администраторы
Сообщений: 4693
Статус: Offline
| Цитата 1_абрам ( ) 1) контент хранится у пользователя, нет, контент хранится на облачных серверах, или на любых других, не связанных с библиотечным.
Цитата 1_абрам ( ) 2) на флибусте хранится библ. информация и мд5 книги. а так же отзывы, обсуждения и пр.
Цитата 1_абрам ( ) 3) библиотекарь позволяет находить и скачивать книжки пользователям друг у друга. это я хотел сделать, но как дополнительную возможность, распространять более удобно свои локальные библиотеки. Возможно даже на платной основе....
drSerj
|
|
| |
drserj | Дата: Среда, 16.09.2015, 20:04 | Сообщение # 630 |
Генералиссимус
Группа: Администраторы
Сообщений: 4693
Статус: Offline
| Цитата PFN ( ) Да, все можно сделать. Вот только обрабатывать он будет ооочень долго. гарантировано нет. у одной и той же книги может быть разное название, книга может относиться к разным сериям, у автора могут быть разные псевдонимы. Недавно лично нарывался на такое безобразие.
Цитата PFN ( ) чера, часов в 16 я надыбал старый внешний диск емкостью 300Гб и на нем обнаружил архив Либрусека 1912 года
как стар либрус, более 100 лет поздравляю, через 5 лет нас ожидает великая октябрьская на самом деле я делал похожее с флибустой, полностью перегонял ее в формат md5. Никакой другой формат не позволяет получить доступ книге в миллисекунды, все остальные форматы ищут книги десятками и сотнями секунд. При большой библиотеке - это недопустимо. Так там - да, убил несколько дней. Зато сейчас - благодать. Дубликатов по md5 нет, однозначная трактовка имени файла для программы, четко сбалансированная структура каталогов... Очень советую использовать формат %z, это избавит от множества проблем при росте библиотеки...
drSerj
|
|
| |
|