запросы Simple OPDS

[plagioklaz]

Здравствуйте!

В списке пакетов не нашёл, поэтому решил спросить здесь, перед тем как пытаться изобретать велосипед  

Кто-нибудь пробовал устанавливать и настраивать на роутере Simple OPDS?

На данный момент база с книгами просто лежит на роутере, доступ к ней получаю через компьютер прогой MyHomeLib. Хочется избавиться от костыля в виде компа и иметь доступ к базе с любого мобильного устройства. Поэтому и задумался о установке sopds на роутер. В распоряжении имеется ультра2.

Своих умений по установке чего-либо с нуля без инструкций крайне мало, поэтому и надеюсь, что кто-то уже делал и поделиться своим опытом =)

Спасибо!

 

 

[plagioklaz]

Решил начать копаться сам в теме, и наткнулся вот на что.

В требованиях к установке значится 3 пакета:

 mysql  
 python3  
 mysql-connector-python3

Как я полагаю, первый из нашего списка пакетов это  mysql-server, второй пакет - питон3 совпадает точно по названию с имеющимся пакетом в репозитории, то вот третий пакет отсутсвует совсем.

Погуглив, я нашёл этот пакет на оф сайте mysql https://dev.mysql.com/downloads/connector/python/ , но к сожалению, при попытке поставить его на кинетик получил отказ (( Качал версию в зип архиве с установщиком на питоне.

Уважаемые разработчики, не могли бы вы добавить данный пакет в репозиторий, чтобы можно его поставить?

Спасибо.

[S_A]

Наверное надо смотреть установку модулей python (например), а не пакет entware. Ну или руками подложить его в нужное место.

Edited August 15, 2016 by S_A

[Александр Сергеевич Харченко]

решение так и не было найдено?

тоже очень хочется opds развернуть на Giga2

[Александр Рыжов]

36 минут назад, Александр Сергеевич Харченко сказал:

решение так и не было найдено?

Кем не было найдено? Вы искали?

[plagioklaz]

В 28.10.2016 в 15:06, Александр Сергеевич Харченко сказал:

решение так и не было найдено?

тоже очень хочется opds развернуть на Giga2

Здравствуйте, не стоит тут особо надеяться на помощь.

Про Simple OPDS могу добавить, что на официальном сайте есть инструкция по установке, с последнего обновления зависимости несколько изменились. На базе Entware-3x мне не удалось скомпилировать пакет Pillow для Python, но достаточно быстро и легко удалось его собрать на базе Debian stable на кинетике. К сожалению, не могу сказать ничего о работоспособности данного решения, т.к. на форуме мне не смогли показать как подключить второй усб носитель в системе Debian stable на кинетике, чтобы можно было воспользоваться базой с книгами с другого усб носителя.

 

Кроме Simple OPDS есть проект COPS, который написан уже на php. Требования у него простые - наличие любого html сервака с поддержкой php. Все необходимые модули есть как на Entware-3x так и на Debian stable на кинетике. От вас требуется лишь опыт работы и настройки web серверов. На форуме 4pda посетитель tolya10 написал инструкцию по установке на основе сервера апач.

Edited December 26, 2016 by plagioklaz

[TheBB]

7 часов назад, plagioklaz сказал:

... На базе Entware-3x мне не удалось скомпилировать пакет Pillow для Python...

Чем не устроил pillow_3.3.1-1_mipsel-3x.ipk?

[zyxmon]

7 часов назад, plagioklaz сказал:

На базе Entware-3x мне не удалось скомпилировать пакет Pillow для Python, но достаточно быстро и легко удалось его собрать на базе Debian stable на кинетике.

В Entware-3x не включены компилятор gcc и другие инструменты разработчика. Можем включить, тогда можно будет пользоваться инструкциями из wiki и для mipsel/mips

https://github.com/Entware-ng/Entware-ng/wiki/Self-installation-of-python-modules

 

На mipsel железках со 128 МБ RAM gcc вполне работоспособен - 

 

[TheBB]

В 26.12.2016 в 10:13, plagioklaz сказал:

... На базе Entware-3x мне не удалось скомпилировать пакет...

"инструментарий" добавлен, можно тестировать

[plagioklaz]

В 26.12.2016 в 17:22, TheBB сказал:

Чем не устроил pillow_3.3.1-1_mipsel-3x.ipk?

он собран под второй питон, нужен третий

[zyxmon]

22 минуты назад, plagioklaz сказал:

он собран под второй питон, нужен третий

Так соберите сами под третий. Средства разработчика в репе есть (после последнего обновления). Инструкция давно написана - https://github.com/Entware-ng/Entware-ng/wiki/Self-installation-of-python-modules - она для entware-3x аналогична. В issues есть  не мало "success stories" по сборке.

[plagioklaz]

Только что, zyxmon сказал:

Так соберите сами под третий. Средства разработчика в репе есть (после последнего обновления). Инструкция давно написана - https://github.com/Entware-ng/Entware-ng/wiki/Self-installation-of-python-modules - он для entware-3x аналогична. В issues есть  не мало "success stories" по сборке.

я просто ответил на вопрос выше, не более того

[plagioklaz]

Написал инструкцию по установке на кинетик сервера COPS. Всё делалось на  базе Entware-3x  

Писал доступно - для таких же чайников как и я.

https://docs.google.com/document/d/1DvBURwdJMHQoVkV069H3ibhCTFc448uJeKVBWa4a5TQ/edit?usp=sharing

В документе даны разрешения на комментирование, так что, если есть дельные исправления, а не просто цепляния - лишь бы написать, то прошу отписываться.

[zyxmon]

6 минут назад, plagioklaz сказал:

Написал инструкцию по установке на кинетик сервера COPS.

Супер. Но есть одно немаленькое НО. Пятая версия php оставлена нами в entware временно, для совместимости с уже используемым софтом. В openwrt по простому php5 выкинули и заменили на php7. Черз некоторое время и мы исключим php5 из репы.

[plagioklaz]

33 минуты назад, zyxmon сказал:

Супер. Но есть одно немаленькое НО. Пятая версия php оставлена нами в entware временно, для совместимости с уже используемым софтом. В openwrt по простому php5 выкинули и заменили на php7. Черз некоторое время и мы исключим php5 из репы.

Ну что же, если банальной заменой циферки с 5 на 7 в списке установки пакетов не обойтись, то ещё где-то через пол года я смогу сочинить новую инструкцию, работающую на php7 )))))

[zyxmon]

1 минуту назад, plagioklaz сказал:

Ну что же, если банальной заменой циферки с 5 на 7 в списке установки пакетов не обойтись, то ещё где-то через пол года я смогу сочинить новую инструкцию, работающую на php7 )))))

Рекомендую это проверить сейчас и, если работает, заменить в инструкции. Написать в ней, что php5 и php7 одновременно не могут быть установлены.

[gvan]

 

В 12.01.2017 в 16:46, plagioklaz сказал:

Ну что же, если банальной заменой циферки с 5 на 7 в списке установки пакетов не обойтись, то ещё где-то через пол года я смогу сочинить новую инструкцию, работающую на php7 )))))

Дошли руки попробовать данное решение на Giga II c entware 3 и php7. Особых проблем, используя написанную инструкцию, при настройке не возникло (есть шероховатости, но они решаемые). Но что-то поиск книги по базе занимает у меня не меньше минуты. 

Правда я базу создавал не через  MyHomeLib, а через приложенный там скрипт (т.е. полностью без использования ББ). Размер файла БД sqlite получается порядка 100Мб. Смотрю его структуру, но похоже, что индексов там особо нет. Возможно, в этом причина, а возможно, задача неподъемная для Giga II.

Попробую еще поэкспериментировать, чтобы понять нужно ли это мне

[plagioklaz]

@gvan у меня открытие библиотеки со списком разделов занимает 7 секунд, поиск по всей базе занимает 16 секунд. На скорость влияют запущенные процессы, если нужно искать несколько книг, чтобы не ждать каждый раз столько, я отключаю трансмиссию на время.

[Александр Рыжов]

 @plagioklaz, книги из 2ГБ+ архивов unzip'ом быстро распаковываются?

[gvan]

1 час назад, Александр Рыжов сказал:

книги из 2ГБ+ архивов unzip'ом быстро распаковываются?

Да.

2 часа назад, plagioklaz сказал:

у меня открытие библиотеки со списком разделов занимает 7 секунд, поиск по всей базе занимает 16 секунд

Подкрутил индексы. Стало лучше. Теперь порядка 20 секунд поиск занимает.

Но файл с базой книг и авторов в sqlite стал уже занимать порядка 200Мб.

Возможно, для ускорения процесса стоит попробовать конвертнуть БД в mariadb (mysql). Но задача не совсем тривиальная, и неизвестно будет ли выигрыш по скорости.

Edited October 20, 2017 by gvan
Дополнение про индексы

[gvan]

В 19.10.2017 в 17:29, gvan сказал:

Дошли руки попробовать данное решение на Giga II c entware 3 и php7. Особых проблем, используя написанную инструкцию, при настройке не возникло (есть шероховатости, но они решаемые

Привожу корректировки по вопросу изменения инструкции в плане использования php7 и других ограничений entware:

1. В инструкции по установке приложений через opkg php5 везде меняем на php7.
2. Добавляем модуль php7-mod-mbstring (без него работать не будет).
3. В /opt/etc/php.ini меняем значения max_execution_time=120, max_input_time=120, memory_limit=32M
4. В /opt/etc/nginx/nginx.conf добавляем перед строкой "include fastcgi_params;" параметр "fastcgi_read_timeout 120;"
5. В скрипт запуска php-fcgi меняем строку $BIN -b 127.0.0.1:$PORT (нам же не нужно чтобы сервис "слушал" на всех интерфейсах). Тоже самое можно проделать с nginx, оставив его только на интерфейсе локальной сети, если не планируем "выпускать" OPDS во внешнюю сеть.

Пункт 3-4 в основном нужны будут если планируете создавать базу данных через приложенный скрипт load_inp.php. Т.к. выделяемой по умолчанию памяти для php и времени на исполнение скрипта не хватит.

Также по какой-то причине на читалке Alreader OPDS нормально не работает. То ли у нее там по умолчанию маленькие таймауты, то ли OPDS не совсем корректный и "чистый" отдается. Поиск производится, но вот дальнейшие переходы по найденному не отрабатываются.

Автор Alreader оперативно скорректировал алгоритм работы с OPDS. Теперь проблемы нет, но пока нужно ставить debug-версию.

В FBReader также работает нормально.

Edited October 20, 2017 by gvan
Дополнение про Alreader

[Александр Рыжов]

1 час назад, gvan сказал:

В скрипт запуска php-fcgi меняем строку $BIN -b 127.0.0.1:$PORT (нам же не нужно чтобы сервис "слушал" на всех интерфейсах). Тоже самое можно проделать с nginx, оставив его только на интерфейсе локальной сети, если не планируем "выпускать" OPDS во внешнюю сеть.

В надежде на некоторое ускорение можно попробовать перейти на php7-fpm.

[Павел Филиппенков]

вроде все по иснтрукции и ьакой странный результат....

Warning: Cannot modify header information - headers already sent by (output started at /opt/share/nginx/html/checkconfig.php:1) in /opt/share/nginx/html/checkconfig.php on line 15
COPS Configuration Check

Check if GD is properly installed and loaded

OK

Check if Sqlite is properly installed and loaded

OK

Check if libxml is properly installed and loaded

OK

Check if the rendering will be done on client side or server side

Client side rendering

Check if MyHomeLib database path is not an URL

OK

Check if MyHomeLib database file exists and is readable

OK

Check if MyHomeLib database file can be opened with PHP

OK

Check if MyHomeLib database file contains at least some of the needed tables

OK

Check library files are found and readable

Ok - Archive in library exists and readable

Check UNZIP work

Error on book unzipping.

Check $config['shell_exec_unzip'] and $config['shell_exec_cmd'] in config.php

 

[gvan]

В 23.10.2017 в 07:04, Павел Филиппенков сказал:

Warning: Cannot modify header information - headers already sent by (output started at /opt/share/nginx/html/checkconfig.php:1) in /opt/share/nginx/html/checkconfig.php on line 15

Это норма. Вернее у меня также.

В 23.10.2017 в 07:04, Павел Филиппенков сказал:

Error on book unzipping. Check $config['shell_exec_unzip'] and $config['shell_exec_cmd'] in config.php

А что в этой строке? Установили unzip, как указано в инструкции?

У меня эти строки такие:

$config['shell_exec_unzip'] = TRUE;
$config['shell_exec_cmd'] = '/opt/bin/unzip -p ';

Остальные с директивой shell_exec_cmd закоментарены.

Edited October 24, 2017 by gvan

[GarikH]

В 12.01.2017 в 16:02, plagioklaz сказал:

Написал инструкцию по установке на кинетик сервера COPS. Всё делалось на  базе Entware-3x  Писал доступно - для таких же чайников как и я.

Можно ссылку на вашу инструкцию дать на сайте форка?

 

В 20.10.2017 в 14:36, gvan сказал:

Автор Alreader оперативно скорректировал алгоритм работы с OPDS. Теперь проблемы нет, но пока нужно ставить debug-версию.

А что было не так, вроде мы с Аланом тестировали еще в июне 2014 года, тогда все работало.

 

В 20.10.2017 в 13:57, gvan сказал:

Подкрутил индексы. Стало лучше. Теперь порядка 20 секунд поиск занимает.

Ну так поделились бы, что подкрутили, добавлю индексы в создание базы. Хотя, на мой взгляд, все нужные индексы есть.

[Александр Рыжов]

Offtop: Что может сравниться с https://flibusta.is/opds ?:)

[gvan]

10 часов назад, GarikH сказал:

А что было не так, вроде мы с Аланом тестировали еще в июне 2014 года, тогда все работало.

Я об этом уже давно писал. Прошло полгода. Ставьте последнюю версию alreader и будет все нормально работать.

11 час назад, GarikH сказал:

Ну так поделились бы, что подкрутили, добавлю индексы в создание базы. Хотя, на мой взгляд, все нужные индексы есть.

Удалил уже, ибо все равно медленно для меня работала на роутере, да и для уменьшения БД пришлось урезать текстовую информацию (описание найденных книг). Думал попробовать mysql БД, но потом нашел для себя альтернативный вариант (ниже в оффтопе есть пример, или в крайнем случае можно использовать tor на том же самом роутере).

[GarikH]

11 час назад, Александр Рыжов сказал:

Offtop: Что может сравниться с https://flibusta.is/opds ?:)

Offtop:Провайдер Билайн, "Ресурс по данному IP-адресу заблокирован по решению органов государственной власти". Или вы тоже про подключение через тор? Личный OPDS сервер нужен в отпуске/командировке. Мне проще поставить свой opds-сервер, чем в командировке ходить через vpn  к роутеру на котором тор. 

[Александр Рыжов]

6 минут назад, GarikH сказал:

Offtop:Провайдер Билайн, "Ресурс по данному IP-адресу заблокирован по решению органов государственной власти".

@GarikH, а вот здесь уже вы можете озадачить роутер по прямому назначению.

[plagioklaz]

В 10.04.2018 в 22:13, GarikH сказал:

Можно ссылку на вашу инструкцию дать на сайте форка?

Давно не заглядывал на этот форум ))

Конечно можно. Давайте! Чем больше людей сможет получить помощь, тем лучше!