|
Обсуждение работы программы
|
|
| alexsda | Дата: Суббота, 06.01.2018, 06:38 | Сообщение # 1711 |
|
Рядовой
Группа: Пользователи
Сообщений: 11
Статус: Offline
| Цитата drserj (  ) Да ничего сложного там нет, просто в каждой модели могут быть свои особенности
Цитата drserj ( ) Если честно - я не придумывал эти варианты а тупо слил из других OPDS каталогов. Чисто технически - да, можно. Практически - а зачем? На каждый случай свой вариант не будешь делать, накладно. У каждого свои варианты и желания, по этому делались только общие.
Цитата drserj ( ) Ну, боле всего подойдет тема пожеланий и предложений, но и тут пойдет 
Сообщение отредактировал alexsda - Суббота, 06.01.2018, 06:38 |
| |
|
|
| drserj | Дата: Суббота, 06.01.2018, 19:39 | Сообщение # 1712 |
|
Генералиссимус
Группа: Администраторы
Сообщений: 4695
Статус: Offline
| Цитата alexsda ( ) Спасибо за поддержку!
Всегда пожалуйста
drSerj
|
| |
|
|
| 1_абрам | Дата: Четверг, 11.01.2018, 11:27 | Сообщение # 1713 |
|
Генералиссимус
Группа: Друзья
Сообщений: 1207
Статус: Offline
| Цитата alexsda ( ) Ох, хотелок конечно много е есть.
Сомневаюсь, что вы сможете захотеть, что-нибудь действительно полезное. Программа близка к совершенству.
|
| |
|
|
| drserj | Дата: Четверг, 11.01.2018, 20:54 | Сообщение # 1714 |
|
Генералиссимус
Группа: Администраторы
Сообщений: 4695
Статус: Offline
| Цитата 1_абрам ( ) Программа близка к совершенству.
Да фиг там... До совершенства еще - как до неба в определенной позе... Но большую часть потребностей она действительно удовлетворяет...
drSerj
|
| |
|
|
| PFN | Дата: Пятница, 12.01.2018, 13:25 | Сообщение # 1715 |
 Генерал-майор
Группа: Друзья
Сообщений: 206
Статус: Offline
| Цитата drserj ( ) Но большую часть потребностей она действительно удовлетворяет...
1. Удаление книги из базы удаляет (при желании) и файл с диска. И соответственно удаление записи из таблицы с МД5.
2. Использование формата z% для локальных библиотек. (Как-то упростить эту процедуру)
3. При изменении метаданных книги в базе изменения вносятся и файл книги на диске. Соответственно изменяется МД5 книги в базе.
Думаю, что для начала этого хватит.
Хочу заметить, что последнее время качество файлов ФБ2 с Флибусты оставляет желать лучшего:
1. Не заполняются поля жанров, авторов и даже названия книги.
2. Целая куча книг разных жанров может иметь заполненное поле жанров одним значением. Например, "Старинная литература".
3. Очень много книг не разбиты по разделам: части, главы и т.п.
4. Прочие мелочи, вроде перевирания имени и фамилии автора и т.п.
Все это требует редактирования файла книги и соответственно повлечет изменение хэшкода.
В таком случае отсев дубликатов по МД5 может не срабатывать и придется искать дубликаты вручную.
Всех с наступающим Старым Новым годом!
===============================
Приказ, который может быть понят неправильно, обязательно будет понят неправильно
|
| |
|
|
| alexsda | Дата: Пятница, 12.01.2018, 20:08 | Сообщение # 1716 |
|
Рядовой
Группа: Пользователи
Сообщений: 11
Статус: Offline
| Цитата 1_абрам ( ) Сомневаюсь, что вы сможете захотеть, что-нибудь действительно полезное. Программа близка к совершенству.
На вскидку, очень хочется чтобы программа работала чуть-чуть побыстрее в плане навигации по книгам, а для этого надо менять или оптимизировать базу данных. А имея 300 Гб библиотеку на облаке(ах) разве не хочется иметь возможность превратить их в каталог в программе? Так же принадлежа к огромному количеству читателей с плохим зрением и в этом аспекте есть ряд хотелок. Этот список можно продолжать долго, но, думаю и первых двух достаточно, чтобы сказать, что программ чудесная, замечательная, но пока не совершенна, в смысле близка к этому определению.
Так что соберусь с духом и "захочу" посписочно
|
| |
|
|
| drserj | Дата: Пятница, 12.01.2018, 20:27 | Сообщение # 1717 |
|
Генералиссимус
Группа: Администраторы
Сообщений: 4695
Статус: Offline
| PFN, помню всё
Цитата alexsda ( ) хочется чтобы программа работала чуть-чуть побыстрее
На сегодня программа работает с вполне приемлемой скоростью, база оптимизирована по максимуму, структура базы открыта, видно всё, если есть идеи по улучшению - пожалуйста. Нельзя хотеть работы программы с такими объемами на очень слабом железе. И так старался что бы не тормозило на слабых тачках.
Цитата alexsda ( ) в плане навигации по книгам, а для этого надо менять или оптимизировать базу данных.
я, кажется понял что тормозит. К базе это отношения не имеет. Если отключить парсинг книг для получения аннотации и обложки - скорость будет высокая.
Цитата alexsda ( ) А имея 300 Гб библиотеку на облаке(ах) разве не хочется иметь возможность превратить их в каталог в программе?
а это уже к тем, кто эти облака поддерживает... Тут всё зависит от апи самого облака. Бесплатные варианты не дают возможности нормального доступа к облаку, а денег лишних у меня просто нет.
Цитата alexsda ( ) Так же принадлежа к огромному количеству читателей с плохим зрением и в этом аспекте есть ряд хотелок.
Ну, при моих 1-2% зрения - хватает, хотя, были некоторые идеи. Шрифт в таблицах меняется, цвета и гарнитуры тоже. Этого вполне достаточно на первое время.
Цитата alexsda ( ) программ чудесная, замечательная, но пока не совершенна
Дык программ никогда совершенных не бывает. Как говорил мой бывший шеф, умный человек - есть достаточное, а есть избыточное. Вот последнего и хочется меньше всего. Комбайн с вертикальным взлётом и посадкой нам не нужен А вот довести до ума то что уже есть - это да, жутко хочется. Но если бы я занялся вечным совершенством - Вы все программу никогда бы не увидели
drSerj
|
| |
|
|
| lordkor | Дата: Пятница, 12.01.2018, 21:12 | Сообщение # 1718 |
|
Лейтенант
Группа: Друзья
Сообщений: 56
Статус: Offline
| Всех с наступившими!
Что-то никак не соображу, куда смотреть и чего крутить.
В настройках библиотеки стоит "http://flibusta.is/", галочка "использовать прокси", в качестве прокси AdvOR - все настройки, насколько помню, стандартные, но мог что-то где-то и сдвинуть.
При скачивании книг обычно в лог честно пишет, что получена ссылка с "http://static.flibusta.is:443/", и книжка нормально скачивается. Но периодически заявляет, что получена ссылка с "https://flibustahezeous3.onion/", и дальше возможны варианты: либо книжка нормально скачивается, либо в строке статуса скачивания (наверху) вместо имени файла пишется просто "get", и в соответствующей папке библиотеки оказывается архивный файл с книжкой с именем BookID и пустым расширением. При этом Мультилиб засовывает книгу в список успешно загруженных, красит строчку книги зеленым цветом как скачанную, но при попытке ее выбрать заявляет, что книги нет (FAR нормально заходит в архив и показывает содержимое самого файла книги). Переименование файла с добавлением расширения "zip" ничего не меняет. Но если скачать на его место файл браузером, он сразу подхватывается мультилибом. При этом, после перезагрузки компа или просто с ковырнадцатой попытки книга может совершенно нормально скачаться.
В общем, кто виноват, и что делать?
|
| |
|
|
| drserj | Дата: Пятница, 12.01.2018, 21:53 | Сообщение # 1719 |
|
Генералиссимус
Группа: Администраторы
Сообщений: 4695
Статус: Offline
| Цитата lordkor ( ) Но периодически заявляет, что получена ссылка с "https://flibustahezeous3.onion/", и дальше возможны варианты: либо книжка нормально скачивается, либо в строке статуса скачивания (наверху) вместо имени файла пишется просто "get", и в соответствующей папке библиотеки оказывается архивный файл с книжкой с именем BookID и пустым расширением.
Отсюда вывод - программа не виновата. Она пишет то, что ей вернул сервер по запросу. И есть у меня офигительное подозрение: происходит это при скачке книг, "удаленных" по заявке правообладателя. Ведь, как мы все знаем, через тор можно скачать все книги, даже те, которые по оригинальным ссылкам якобы удалены.
Всё это проверить можно только тем, у которых эта проблема всплыла. Алгоритм прост - не скачалась книга - пробуем еще пару раз. Эффект устойчив - лезем на сайт и пробуем скачать там. Отправляет на онион - значится так настроили скрипт на сайте и я ничего сделать не могу.
Цитата lordkor ( ) При этом Мультилиб засовывает книгу в список успешно загруженных, красит строчку книги зеленым цветом как скачанную
Думается, если включить контроль мд5 - это всплывет, но вот гемору будет больше. А файл программа качает реально, просто вопрос - какой файл (скорее всего хтмл-страницу и в темп)
Цитата lordkor ( ) Переименование файла с добавлением расширения "zip" ничего не меняет
Цитата lordkor ( ) При этом, после перезагрузки компа или просто с ковырнадцатой попытки книга может совершенно нормально скачаться.
А вот и еще один ответ... Всё-таки не отдает именно сайт, скрипт по какой-то причине генерит "левую" ссылку... Не знаю, тут, как минимум, надо смотреть что этот сайт отдает. У меня глядеть возможности нетути, не заблокирована пока флибуста, и слава всевышнему...
Кстати, сегодня прочел новость - для Украины в ближайшее время блокируют гугль диск... Яндекс залочен, гугль блокируют... охренеть просто...
drSerj
|
| |
|
|
| alexsda | Дата: Пятница, 12.01.2018, 22:20 | Сообщение # 1720 |
|
Рядовой
Группа: Пользователи
Сообщений: 11
Статус: Offline
| drserj, да, Вы во всем правы. Лучшее - враг хорошего. Искренне сочувствую Вам со зрением. Искренне!
Цитата drserj ( ) я, кажется понял что тормозит. К базе это отношения не имеет. Если отключить парсинг книг для получения аннотации и обложки - скорость будет высокая.
Нашел! Кнопка отключения картинок и аннотаций! Вопрос снят.
Цитата drserj ( ) а это уже к тем, кто эти облака поддерживает... Тут всё зависит от апи самого облака. Бесплатные варианты не дают возможности нормального доступа к облаку, а денег лишних у меня просто нет.
Цитата drserj ( ) А вот довести до ума то что уже есть - это да, жутко хочется. Но если бы я занялся вечным совершенством - Вы все программу никогда бы не увидели
Спасибо за Ваш труд!
Сообщение отредактировал alexsda - Пятница, 12.01.2018, 22:23 |
| |
|
|
| drserj | Дата: Пятница, 12.01.2018, 22:47 | Сообщение # 1721 |
|
Генералиссимус
Группа: Администраторы
Сообщений: 4695
Статус: Offline
| Цитата alexsda ( ) А есть ли сейчас у Вас такая возможность в программе импортировать в каталог информацию о книгах с облака?
если облако можно подключить как сетевой диск или папку - то да.
Цитата alexsda ( ) Есть ли в планах подобное?
с учетом того, что у нас анонсировали в ближайшее время отключение последнего облака - гугль драйва - вряд ли. Чисто теоретически - можно всё, лично для меня практика показала бесполезность облака, как места хранения книг. Размер далеко за пол-терабайта: дорого, не гарантировано (несколько облаков тупо сдохло, включая китайские, что-то заблокировано), хреновые варианты доступа. Практика показала - лучший вариант облачного хранения - домашний минисервер. Ну и плюс - торренты.
Но, категорически говорить "нет" - не буду, всё меняется
Цитата alexsda ( ) Спасибо за Ваш труд!
Всегда пожалуйста
drSerj
|
| |
|
|
| lordkor | Дата: Суббота, 13.01.2018, 13:43 | Сообщение # 1722 |
|
Лейтенант
Группа: Друзья
Сообщений: 56
Статус: Offline
| Цитата drserj ( ) Отсюда вывод - программа не виновата. Она пишет то, что ей вернул сервер по запросу. И есть у меня офигительное подозрение: происходит это при скачке книг, "удаленных" по заявке правообладателя. Ведь, как мы все знаем, через тор можно скачать все книги, даже те, которые по оригинальным ссылкам якобы удалены.Всё это проверить можно только тем, у которых эта проблема всплыла. Алгоритм прост - не скачалась книга - пробуем еще пару раз. Эффект устойчив - лезем на сайт и пробуем скачать там. Отправляет на онион - значится так настроили скрипт на сайте и я ничего сделать не могу.
Про "виновность" Мультилиба речь в принципе не идет - судя по логу AdvOR, он отправляет запрос правильный - на "http://flibusta.is/b/$BookID/get". А вот дальше в том логе идет почему-то " [proxy]Connection request for flibustahezeous3.onion:80". И следом уже " [notice][MultiLib.exe PID: $PID, ID: $ID] Downloading from http://flibustahezeous3.onion/b/$BookID/get ". "Удаленные" книги тут однозначно не при чем - эти же книги потом могут совершенно замечательно скачаться без каких-либо проблем. Устойчивость эффекта абсолютно не ясна - то временные проблемы с отдельными книгами, то длительное время со всеми, потом вдруг эффект исчезает, но может опять возникнуть. Перезагрузка системы, перезапуск Мультилиба и АдвОРа и реконнект последнего явную связь с исчезновением эффекта не демонстрируют. При этом браузер через антизапрет все спокойно забирает.
Цитата drserj ( ) А файл программа качает реально, просто вопрос - какой файл (скорее всего хтмл-страницу и в темп)
Цитата drserj ( ) логично, это страница. хотелось бы ее тоталом или чем другим посмотреть - там будет текст с ошибкой процентов на 90
Цитата drserj ( ) Всё-таки не отдает именно сайт, скрипт по какой-то причине генерит "левую" ссылку
И такое ощущение, что при этом там логин/пароль не передается - или передается криво...
В общем, "ничего не понимаю..."
|
| |
|
|
| drserj | Дата: Суббота, 13.01.2018, 23:33 | Сообщение # 1723 |
|
Генералиссимус
Группа: Администраторы
Сообщений: 4695
Статус: Offline
| Цитата lordkor ( ) Это-то мне понятно - непонятно, почему именно такое иногда происходит, и можно ли где-то что-то подкрутить (думаю, в АдвОРе), чтобы такого не было
Думается, адвор тут не при чем, скорее вопросы к движку сайта
Цитата lordkor ( ) И такое ощущение, что при этом там логин/пароль не передается - или передается криво...
если я не ошибаюсь, для тора флибусты авторизации не нужно.. А вот для обычного сайта, для иностранных книг - надоть... Хотя я давно уже не проверял, как ведет себя эта авторизация...
Вообще, сам процесс скачки имеет несколько этапов, ведь прямой ссылки, как таковой, у нас нет. Сначала посылается запрос на получение прямой ссылки (в запросе в качестве параметра - логин и пароль ессесно присутствуют), потом идет редирект и потом закачка. Поскольку (по крайней мере раньше) там присутствовали достаточно кривые скрипты защиты - может быть всё что угодно. Тяжело искать алгоритм работы черного ящика. У меня проблем не возникало, но я не часто адвор пользовал.
А еще я заметил, что адвор стал медленно и несколько косячно работать. Возможно виной тут и блокировки и провайдеры.
drSerj
|
| |
|
|
| lordkor | Дата: Суббота, 13.01.2018, 23:56 | Сообщение # 1724 |
|
Лейтенант
Группа: Друзья
Сообщений: 56
Статус: Offline
| Цитата drserj ( ) Думается, адвор тут не при чем, скорее вопросы к движку сайта
Цитата drserj ( ) если я не ошибаюсь, для тора флибусты авторизации не нужно.. А вот для обычного сайта, для иностранных книг - надоть... Хотя я давно уже не проверял, как ведет себя эта авторизация...
Цитата drserj ( ) Вообще, сам процесс скачки имеет несколько этапов, ведь прямой ссылки, как таковой, у нас нет. Сначала посылается запрос на получение прямой ссылки (в запросе в качестве параметра - логин и пароль ессесно присутствуют), потом идет редирект и потом закачка.
Цитата drserj ( ) Тяжело искать алгоритм работы черного ящика.  Потому и спрашиваю - вдруг кто чего подсказать сможет. Вдруг уже сталкивались и разобрались, или еще чего как...
Цитата drserj ( ) А еще я заметил, что адвор стал медленно и несколько косячно работать. Возможно виной тут и блокировки и провайдеры.
В общем, фигня какая-то...
|
| |
|
|
| drserj | Дата: Воскресенье, 14.01.2018, 21:12 | Сообщение # 1725 |
|
Генералиссимус
Группа: Администраторы
Сообщений: 4695
Статус: Offline
| Цитата lordkor ( ) А с какого перепугу движок сайта вдруг перекидывает на луковую сторону
А кто сказал, что точек входа одна?
Цитата lordkor ( ) Вот в том-то и суть, что если на лук перекидывает при скачивании иностранной литературы, приезжает страница "такой книги нет". А вот если проброса нет, или же сразу идет вход через ТОР, то скачивается нормально.
без анализа, в том числе и сетевого - размышлять нет смысла...
Цитата lordkor ( ) Вдруг уже сталкивались и разобрались, или еще чего как...
Ты первый, кто об этом вообще упомянул...
Цитата lordkor ( ) и тут вдруг оказалось, что книжки не доезжают, хотя "закачка завершена" успешно.
Закачка - да, это, кстати, не программа а сервер отвечает. А вот в программе предусмотрен контроль мд5, и всё бы было (да и было) хорошо, пока флибуста не стала херню пороть: то мд5 левый, не соответствует база файлу, то вместо того файла, который выбрал для скачки, качается "лучшая" версия (спрашивается, какого х...???? Че хочу скачать именно этот вариант книги, ан нееет, флибуста лучше знает чего ты хош!!!). По этому приходится отключать проверку, единственный вариант реального определения целостности файла...
drSerj
|
| |
|
|
|
Главная 
