|
Концепция Локальной коллекции
| |
| drserj | Дата: Среда, 17.07.2013, 13:08 | Сообщение # 16 |
|
Генералиссимус
Группа: Администраторы
Сообщений: 4693
Статус: Offline
| сканирование папки коллекций.
(по умолчанию ./lib, пополнение коллекции происходит путем добавления новых книг к уже существующим)
Имеющиеся книги (по МД5 и имени файла)
не добавляются в список поиска, т.к. уже обработаны
Имеющиеся книги (по МД5, имя файла не совпадает)
1. не добавляются в список поиска
а) действий не производится
б) переносится в отдельный каталог
в) удаляется
2. добавляется с пометкой «Дубликат»
Обработка
1. имена меняются
а) MD5.EXT
б) ШАБЛОН + ID
2. имена не меняются
Имеется пометка «Дубликат»
1. действий не производится
2. переносится в отдельный каталог
3. удаляется
сканирование произвольной папки.
Имеющиеся книги (по МД5)
1. не добавляются в список поиска
а) действий не производится
б) переносится в отдельный каталог
в) удаляется
2. добавляется с пометкой «Дубликат»
Обработка
I. книги копируются в основную папку
1. имена меняются
а) MD5.EXT
б) ШАБЛОН + ID
2. имена не меняются
1. книги удаляются из папки сканирования
2. книги не удаляются из папки сканирования
II. книги остаются в папке
1. Путь папки сканирования добавляется
2. Путь папки сканирования не добавляется
Имеется пометка «Дубликат»
1. действий не производится
2. переносится в отдельный каталог
3. удаляется
drSerj
|
| |
| |
| drserj | Дата: Пятница, 19.07.2013, 15:24 | Сообщение # 17 |
|
Генералиссимус
Группа: Администраторы
Сообщений: 4693
Статус: Offline
| Возник вопрос, делать ли обработку архивов со множеством файлов внутри (типа тысячников)?
Дело в том, что из таких архивов очень долго удалять файлы. Да и с переносом проблема.
Может делать обработку только архивов, в которых одна книга (или один fb2 или не_fb2 и fbd). Остальные воспринимать как один файл (архив).
С такими архивами можно будет производить удаление, перенос. А как иначе быть, если в одном архиве есть новые книги и дубликаты?
Кстати, возникло ощущение, что в этой программе никто не заинтересован... 3 дня прошло, а на вопрос с локальной коллекцией никакой реакции. Если это только мне надо, дык скажите. Я же сейчас напишу так, как вижу я, а потом будет толпа недовольных. А переделывать уже готовое как-то не захочется. Тем более, что именно эта функция библиотекаря так всех волновала.
drSerj
|
| |
| |
| Alex_noo | Дата: Четверг, 25.07.2013, 17:48 | Сообщение # 18 |
|
Рядовой
Группа: Пользователи
Сообщений: 14
Статус: Offline
| Цитата (drserj) стати, возникло ощущение, что в этой программе никто не заинтересован... 3 дня прошло, а на вопрос с локальной коллекцией никакой реакции. Если это только мне надо, дык скажите. 
|
| |
| |
| drserj | Дата: Четверг, 25.07.2013, 22:19 | Сообщение # 19 |
|
Генералиссимус
Группа: Администраторы
Сообщений: 4693
Статус: Offline
| 1. Мне интересно мнение остальных.
2. А что, письмо требовало ответа? Я и так понял, что я тупой, ничего не понимающий в гениальных мыслях, не программист а х. знает кто и т. д., и т. п. Я проникся, осознал своё ничтожество, не посмел оскорблять своими недостойными мыслями гения. Троллинг, увы, не мой удел...
drSerj
|
| |
| |
| Alex_noo | Дата: Пятница, 26.07.2013, 12:41 | Сообщение # 20 |
|
Рядовой
Группа: Пользователи
Сообщений: 14
Статус: Offline
| Цитата (drserj) 1. Мне интересно мнение остальных.
Во-вторых, тут просто не написано, что моё мнение не интересует. То есть, я не знал, что мне не нужно писать. Больше не буду.
Цитата (drserj) 2. А что, письмо требовало ответа? Я и так понял, что я тупой, ничего не понимающий в гениальных мыслях, не программист а х. знает кто и т. д., и т. п. Я проникся, осознал своё ничтожество, не посмел оскорблять своими недостойными мыслями гения. Троллинг, увы, не мой удел... 
|
| |
| |
| drserj | Дата: Пятница, 26.07.2013, 12:55 | Сообщение # 21 |
|
Генералиссимус
Группа: Администраторы
Сообщений: 4693
Статус: Offline
| Цитата (Alex_noo) 1. Мне интересно мнение остальных. Во-первых, вы сказали, что никто не ответил. А это не правда, я ответил.
Цитата (Alex_noo) Просто и не говорите потом, а почему никто не юзает или почему что-то юзерам не нравится...
Короче, меня сейчас не интересуют разборки ху из ху, меня интересуют конкретные ответы на конкретные вопросы.
drSerj
|
| |
| |
| drserj | Дата: Пятница, 26.07.2013, 13:00 | Сообщение # 22 |
|
Генералиссимус
Группа: Администраторы
Сообщений: 4693
Статус: Offline
| В общем вот что имеем. Теперь надо всё это разгрести, что делать и в какой ситуации и описать алгоритм сканирования и обработки для каждого варианта 
Сканирование
Папки
1. Основная папка с файлами (./lib/библиотека)
2. Подключенные папки локальной коллекции
3. Папки, неизвестные программе
Файлы
1. Файл FB2
2. Файл не FB2 без описания
3. Файл не FB2 с описанием
4. Файл FB2 в архиве
5. Файл не FB2 без описания в архиве
6. Файл не FB2 с описанием в архиве
7. Несколько файлов в архиве (2 файла, но без FBD или больше 2х файлов)
Описание
1. Файл содержит описание
2. Файл не содержит описания
Дубликаты
1. МД5 файла в базе отсутствует
2. МД5 в базе присутствует, имя файла не совпадает
3. МД5 в базе присутствует, имя файла совпадает, имя архива совпадает
4. МД5 в базе присутствует, имя файла совпадает, имя архива не совпадает
Действия при нахождении дубликата
1. Файл удаляется
2. Файл перемещается в каталог дубликатов
3. Файл обрабатывается как обычный.
4. Файл игнорируется, действий не производится.
База
1. Добавлять в таблицу сканирования
2. Не добавлять в таблицу сканирования
Обработка
База
1. Добавляется в базу автоматически
2. Не добавляется в базу
Действия при обработке
1. Перенос книги в основную папку библиотеки
2. Переименование книги
3. Без обработки
Переименование
1. MD5.EXT
2. Шаблон + ID
drSerj
|
| |
| |
| 1_абрам | Дата: Воскресенье, 28.07.2013, 11:52 | Сообщение # 23 |
|
Генералиссимус
Группа: Друзья
Сообщений: 1207
Статус: Offline
| Цитата (drserj) Может делать обработку только архивов, в которых одна книга (или один fb2 или не_fb2 и fbd). Остальные воспринимать как один файл (архив).
Логично.
|
| |
| |
| drserj | Дата: Воскресенье, 28.07.2013, 19:30 | Сообщение # 24 |
|
Генералиссимус
Группа: Администраторы
Сообщений: 4693
Статус: Offline
| Т.е. Цитата 7. Несколько файлов в архиве (2 файла, но без FBD или больше 2х файлов)
не воспринимать как набор книг и не обрабатывать вообще? Или всё-таки парсить и добавлять в базу, но действий, таких как перенос, переименование не производить?
drSerj
|
| |
| |
| 1_абрам | Дата: Понедельник, 29.07.2013, 12:11 | Сообщение # 25 |
|
Генералиссимус
Группа: Друзья
Сообщений: 1207
Статус: Offline
| Цитата (drserj) не воспринимать как набор книг и не обрабатывать вообще? Или всё-таки парсить и добавлять в базу, но действий, таких как перенос, переименование не производить?
Мне кажется мы переусложням логику работы с локальной коллекцией, слишком много создается возможностей.
М.б. сделать так. Если книжка есть в базе, то она хранится в удобном (для достижения максимальной эффективности) для программы месте (например, как хранилище файлов, как в либгене). Добавлять, удалять файлы из хранилища можно только из программы. При этом проблема дублей решается автоматически (в хранилище их нет по определению).
При сканировании папок 2 они остаются в неприкосновенности, а в базу и хранилище добавляются новые (с уникальным мд5) книжки.
Проблема дубликатов решается самим пользователем. Не нужны дубликаты - удаляешь всю папку или часть файлов из . Нужны - оствляешь со всей структурой и оригинальными именами.
Так что архивы 7 лучше бы парсить и перемещать в новые книжки в базу и хранилище.
Локальные коллекции, имхо, не должны быть слишком большими это подборки личных документов, либо тематические подборка книг из флибусты, либгена.
|
| |
| |
| drserj | Дата: Понедельник, 29.07.2013, 12:58 | Сообщение # 26 |
|
Генералиссимус
Группа: Администраторы
Сообщений: 4693
Статус: Offline
| Цитата (1_абрам) Мне кажется мы переусложням логику работы с локальной коллекцией, слишком много создается возможностей.
Ну, в общем-то да... Но хочется максимально удобный для всех вариант...
Цитата (1_абрам) Добавлять, удалять файлы из хранилища можно только из программы.
Что привяжет пользователя к программе намертво... А завтра он захочет перейти на другую программу...
Цитата (1_абрам) Так что архивы 7 лучше бы парсить и перемещать в новые книжки в базу и хранилище.
Вот тут-то и проблемс... Если я отметил в архиве только часть книг? Распаковывать и копировать? Как-то не очень....
Именно в обработке и проблема.... Да и переименовывать такой архив во что? А если файл с таким именем уже существует, но это другой файл?
Цитата (1_абрам) Локальные коллекции, имхо, не должны быть слишком большими это подборки личных документов, либо тематические подборка книг из флибусты, либгена.
О нет... Локальная коллекция может быть очень большой... Например, ты сграбил онлайн библиотеку и на ее основе хочешь сделать локальную.. Или из нескольких библиотек сделать одну... У меня так фентези.орг сделана...
В общем, тут вопрос именно в том, делать ли постобработку (перенос, копирование, переименование) многофайловых архивов, и в какой форме это делать. Перепаковывать не хочется, долго это, да и места может потребовать очень много.
Как вариант - вообще не делать обработку. Оставить всё на усмотрение пользователя. Либо обрабатывать, но без учета многофайловых архивов.
Тут еще проблема нарисовалась... Имеется 2 этапа - сканирование и обработка. С дублями книг, имеющихся в базе библиотеки понятно. Но в процессе сканирования и в процессе обработки тоже будут дубли. Но их еще в базе нет... Тут-то как? Еще один отсев делать? Слишком всё усложняется...
В идеале - засосать всё в базу, а потом искать дубли, но такой подход в постоянно пополняемой библиотеке неудобен.
Надо как-то пересмотреть саму идеологию импорта книг... Может сам подход не совсем верен...
drSerj
|
| |
| |
| 1_абрам | Дата: Понедельник, 29.07.2013, 18:12 | Сообщение # 27 |
|
Генералиссимус
Группа: Друзья
Сообщений: 1207
Статус: Offline
| Цитата (drserj) Что привяжет пользователя к программе намертво... А завтра он захочет перейти на другую программу...
Так ведь есть операция "Отправить на устройство". Наличие этой операции снимает это возражение.
Добавлено (29.07.2013, 17:12)
---------------------------------------------
Цитата (1_абрам) О нет... Локальная коллекция может быть очень большой... Например, ты сграбил онлайн библиотеку и на ее основе хочешь сделать локальную.. Или из нескольких библиотек сделать одну... У меня так фентези.орг сделана...
Пока существуют флибуста и либген в этом особой нужды нет, т.к. все заслуживающие интереса книжки должны там быть. А отобрать там книжки можно в группы. Что у тебя в фентези.орг много книжек, которых нет на флибусте?
|
| |
| |
| drserj | Дата: Понедельник, 29.07.2013, 18:22 | Сообщение # 28 |
|
Генералиссимус
Группа: Администраторы
Сообщений: 4693
Статус: Offline
| Цитата (1_абрам) Так ведь есть операция "Отправить на устройство". Наличие этой операции снимает это возражение.
ну, есть те, кому очень не хочется менять имя, расположение... Да и простой пример: у меня коллекции лежат удаленно, доступ рид онли.
Цитата (1_абрам) Пока существуют флибуста и либген в этом особой нужды нет, т.к. все заслуживающие интереса книжки должны там быть. А отобрать там книжки можно в группы. Что у тебя в фентези.орг много книжек, которых нет на флибусте?
именно что ПОКА... Да и ситуация, когда нет инета, нет желания перебирать весь тот мусор, который на либрусе/флибусте... много разных вариантов
Я, например, без своей программы на либрусе и флибусте найти не всё могу... Если только конкретно что-то ищу - можно найти, а если что-то выбрать не совсем конкретное - практически невозможно, или долго и неудобно.
drSerj
|
| |
| |
| 1_абрам | Дата: Понедельник, 29.07.2013, 18:43 | Сообщение # 29 |
|
Генералиссимус
Группа: Друзья
Сообщений: 1207
Статус: Offline
| Цитата (drserj) Вот тут-то и проблемс... Если я отметил в архиве только часть книг? Распаковывать и копировать? Как-то не очень.... Именно в обработке и проблема.... Да и переименовывать такой архив во что? А если файл с таким именем уже существует, но это другой файл?
А как можно отметь часть книг в архиве. Ведь определяется папки для сканирования, если в них есть архив, то сканируется весь архив. Уникальность книжки определяется мд5 файла, его имя не играет никакой роли. Если долго получится, то пользователь может не использовать файлы 7, я, например, вполне могу без них обойтись, хотя понимаю, что в некоторых случаях 7 удобны.
Добавлено (29.07.2013, 17:32)
---------------------------------------------
Цитата (drserj) именно что ПОКА... Да и ситуация, когда нет инета, нет желания перебирать весь тот мусор, который на либрусе/флибусте... много разных вариантов Я, например, без своей программы на либрусе и флибусте найти не всё могу... Если только конкретно что-то ищу - можно найти, а если что-то выбрать не совсем конкретное - практически невозможно, или долго и неудобно.
Я тоже ищу и скачиваю книжки на флибусте только с помощью твоей программы. Если нет интернета или флибуста накрывается, то скачиваем все тысячники и используем флибусту офлайн.
Добавлено (29.07.2013, 17:43)
---------------------------------------------
Цитата (drserj) ну, есть те, кому очень не хочется менять имя, расположение...
Так ничего и не меняется, файлы только могут дублироваться. Так дисковое пространство сейчас дешевое.
|
| |
| |
| drserj | Дата: Понедельник, 29.07.2013, 21:11 | Сообщение # 30 |
|
Генералиссимус
Группа: Администраторы
Сообщений: 4693
Статус: Offline
| Цитата (1_абрам) А как можно отметь часть книг в архиве. Ведь определяется папки для сканирования, если в них есть архив, то сканируется весь архив. Уникальность книжки определяется мд5 файла, его имя не играет никакой роли. Если долго получится, то пользователь может не использовать файлы 7, я, например, вполне могу без них обойтись, хотя понимаю, что в некоторых случаях 7 удобны.
А так, как это делается в текущей версии... Архив парсится, каждый файл книги попадает в список сканированных. Если заметил, там два поля - имя файла и имя архива. А МД5 я подсчитываю не архива, а именно каждой книги. Иначе смысл? Меня интересует, в первую очередь, есть ли такая книга, а не архив. Вот и вопрос, если в архиве несколько книг - как быть.
Цитата (1_абрам) Так ничего и не меняется, файлы только могут дублироваться. Так дисковое пространство сейчас дешевое.
Ну.... как сказать... Если у меня 3 библиотеки, где 80% совпадений.... короче, как минимум пол-терабайта дублей, однако...
drSerj
|
| |
| |
|
Главная 
