john ibsuser
-
Posts
15 -
Joined
-
Last visited
Content Type
Profiles
Forums
Gallery
Downloads
Blogs
Events
Posts posted by john ibsuser
-
-
Привет! Прошивка 4.1.0 Dev. Хотел использовать WireGuard поверх ZeroTier, на моем роутере нет места под entware а USB порт уже занят, так что был рад, когда появилась встроенная поддержка ZT. Столкнулся со странными проблемами при попытке пустить что WireGuard, что OpenVPN (UDP), что L2TP поверх ZeroTier. Сам ZeroTier интерфейс пингом и по tcp работает стабильно, потерь нет, пинг почти такой же как на VPS напрямую.
Далее на примере L2TP, быстрее всего в докере на VPS (перед запуском создать /etc/l2tp.env ), 10.1.1.2 - интерфейс zerotier. Можно оставить и все интерфейсы,. но цель чтобы наружу никакие порты VPN не торчали.
docker run -d --privileged -p 10.1.1.2:500:500/udp -p 10.1.1.2:4500:4500/udp --name l2tp --restart=always --env-file /etc/l2tp.env -v /lib/modules:/lib/modules teddysun/l2tp
Создаем wireguard/ovpn/l2tp на кинетике обычным образом, использовать для выхода в интернет, и.т.п. Дополнительно телнетом (думал, что фича для wireguard peer [xxx] via решит проблему, но нет):
interface ZeroTier0 zerotier connect via ISP
interface L2TP0 connect via ZeroTier0
А дальше соединение поднимается, работает от нескольких секунд (для wireguard) до десятков секунд (для l2tp) и глючит примерно таким образом (для l2tp), с устройства подключенному к кинетику которое пустил через VPN:
SpoilerReply from 1.1.1.1: bytes=32 time=2ms TTL=57
Reply from 1.1.1.1: bytes=32 time=2ms TTL=57
Reply from 1.1.1.1: bytes=32 time=2ms TTL=57
Reply from 1.1.1.1: bytes=32 time=2ms TTL=57
Reply from 1.1.1.1: bytes=32 time=2ms TTL=57
[включили VPN]
Reply from 1.1.1.1: bytes=32 time=42ms TTL=56
Reply from 1.1.1.1: bytes=32 time=42ms TTL=56
Reply from 1.1.1.1: bytes=32 time=42ms TTL=56
Reply from 1.1.1.1: bytes=32 time=41ms TTL=56
Reply from 1.1.1.1: bytes=32 time=300ms TTL=56
Reply from 1.1.1.1: bytes=32 time=400ms TTL=56
Reply from 1.1.1.1: bytes=32 time=42ms TTL=56
Reply from 1.1.1.1: bytes=32 time=41ms TTL=56
Reply from 1.1.1.1: bytes=32 time=1200ms TTL=56
Reply from 1.1.1.1: bytes=32 time=1356ms TTL=56
[далее долго no reply, иногда прорывается 3-4 ответа, но функционально VPN умер до перезапуска]С этим же конфигом, только не на zerotier а на внешнем интерфейсе VPS все работает. Коннект у zt0 не идет через сеть zerotier, так как один из пиров имеет внешний IP.
Есть ли идеи, куда копать?
-
Aloha!
Быть может, поможет -
У меня тоже сейчас на 3.6 осталось
-
Некоторая статистика по ошибкам за день:
Quote2020-11-06 17:43:07 Daemon.Error 192.168.77.1 Nov 6 17:43:21 https-dns-proxy: TLS certificate verify error: Error
06/11/2020 18:02.29 Syslogd/Logs grep -i "tls certificate verify" 2020-11-06.txt | wc -l
241
Quote 06/11/2020 18:02.32 Syslogd/Logs grep -i "https-dns-proxy: Core::Syslog: last message" 2020-11-06.txt | wc -l
4400
Это то что видно на скриншоте. Плюс Сергей из поддержки подсказал по ошибке, если сервер не отвечает длительное время. Но их немного
Quote2020-11-06 16:55:15 User.Error 192.168.77.1 Nov 6 16:55:29 ndm: Service: "DoH "Policy0" proxy #0": unexpectedly stopped.
✔ 06/11/2020 18:20.49 Syslogd/Logs grep -i "unexpectedly stopped" 2020-11-06.txt | grep DoH | wc -l
12
-
48 minutes ago, r777ay said:
@john ibsuser На Билайн при включении статического внешнего IP, DoH cloudflare-dns.com практически мерт, попробуйте заменить на security.cloudflare-dns.com
С этим все понятно, что с внешим IP, что с внутренним, ну не пользуюсь я сейчас *.cloudflare-dns.com, а пчелы за NAT, штош, могу посочувствовать, к теме это не относится.
-
А с чего оба-два взяли, что я пользуюсь CloudFlare и именно DoH? Конфиг я на почту отправли внутрь кинетиковцев, надеюсь посмотрят )).
Собственно, и при создании этой темы в июне D-o-TLS CF был один из нескольких. Сейчас всего 2 DoH но этого достаточно чтобы роутер с ума сходил
9 minutes ago, r777ay said:После перехода пчел за NAT, сплошные грабли.
Так у меня статический IP теперь, кинетик нормально видит внешний IP адрес.
-
В поддержке создались тикеты 516242 и 516241, старый похерился наверное. @enpa может переместить в ветку 3.6, чтобы кому надо смог ловчее найти эту проблемку?
-
1
-
-
On 6/23/2020 at 3:31 PM, enpa said:
@john ibsuser скачайте self-test файл, в котором зафиксирована описанная вами проблема и пришлите нам в поддержку https://help.keenetic.com/hc/ru/requests/new
Доброго дня! Присылал, пока не помогли. Было тихо с проблемой какое-то время, сейчас опять появилась.... Подозреваю, облегчение могло быть связано с переходом билайна за NAT, в общем весь проброс портов и белый айпи пропадали, включил статический внешний IP и началось опять, стабильно воспроизводима, только перегружаю (кинетик) и понеслась...
Сейчас DoTLS вообще компонент не установлен, только DoH.
Беглый парсинг лога/syslog:
---------------------------------------------------
+ Messages received - Total: 154453
+ Messages received - Last 24 hours: 11186
+ Messages received - Since Midnight: 7635
+ Messages received - Last hour: 303
+ Message queue overflow - Last hour: 0
+ Messages received - This hour: 191
+ Message queue overflow - This hour: 0
+ Messages per hour - Average: 458
Breakdown of Syslog messages by severity
+--------------------+------------+------------+
| Message Level | Messages | Percentage |
+--------------------+------------+------------+
| 0 - Emerg | 0 | 0.00% |
| 1 - Alert | 0 | 0.00% |
| 2 - Critical | 0 | 0.00% |
| 3 - Error (это вот как раз core shit и иже с ними) | 2284 | 29.91% |
| 4 - Warning | 1403 | 18.38% |
| 5 - Notice | 587 | 7.69% |
| 6 - Info | 3361 | 44.02% |
| 7 - Debug | 0 | 0.00% |
+--------------------+------------+------------+Кто может помочь?
-
Камрады, алоха & mahalo! Шо кто-нито начал посматривать в сторону этой траблы? У людей якобы даже без модулей DNS ndmsproxy все жрет. https://4pda.ru/forum/index.php?s=&showtopic=895513&view=findpost&p=97530549
И хто такой @enpa
Тем временем типичная картина для роутера, свежак
(config)> show processes ndnproxy process, id = Dns::Proxy: name: ndnproxy oom-adj: -6 oom-score: 0 oom-score-adj: -400 arg: -c arg: /var/ndnproxymain.conf arg: -p arg: /var/ndnproxymain.pid arg: -s arg: /var/ndnproxysafe.conf state: R (running) pid: 389 ppid: 191 vm-size: 1844 kB vm-rss: 1512 kB vm-data: 608 kB vm-stk: 132 kB vm-exe: 116 kB vm-lib: 744 kB vm-swap: 0 kB threads: 1 fds: 149 statistics: interval: 30 cpu: now: 1128778.585776 min: 86 max: 93 avg: 91 cur: 92 service: configured: yes alive: yes started: yes state: STARTED process, id = Dns::Proxy::Policy0: name: ndnproxy oom-adj: -6 oom-score: 0 oom-score-adj: -400 arg: -c arg: /var/ndnproxy_Policy0.conf arg: -p arg: /var/ndnproxy_Policy0.pid state: S (sleeping) pid: 426 ppid: 191 vm-size: 1724 kB vm-rss: 1388 kB vm-data: 488 kB vm-stk: 132 kB vm-exe: 116 kB vm-lib: 744 kB vm-swap: 0 kB threads: 1 fds: 10 statistics: interval: 30 cpu: now: 1128778.585798 min: 0 max: 0 avg: 0 cur: 0 service: configured: yes alive: yes started: yes state: STARTED process, id = Dns::Proxy::Policy1: name: ndnproxy oom-adj: -6 oom-score: 0 oom-score-adj: -400 arg: -c arg: /var/ndnproxy_Policy1.conf arg: -p arg: /var/ndnproxy_Policy1.pid state: S (sleeping) pid: 428 ppid: 191 vm-size: 1440 kB vm-rss: 1100 kB vm-data: 204 kB vm-stk: 132 kB vm-exe: 116 kB vm-lib: 744 kB vm-swap: 0 kB threads: 1 fds: 10 statistics: interval: 30 cpu: now: 1128778.585810 min: 0 max: 0 avg: 0 cur: 0 service: configured: yes alive: yes started: yes state: STARTED (config)> -
Ругается, когда не указывал номер порта. В полном формате "https://dnsse.alekberg.net:443" какие-то ядреные ошибки и повторяется сообщение TLS certificate verify error: Error
-
On 6/9/2020 at 12:31 PM, cmisha said:
Все работает. Не мешает почитать - Настройка DoT/DoH
Для Quad нет сертификата в прошивке поэтому и ругается, пропишите ручками в SPKI
Не помогает все-таки
r# openssl s_client -servername dnsse.alekberg.net -connect dnsse.alekberg.net:443 | openssl x509 -pubkey -noout | openssl rsa -pubin -outform der | openssl dgst -sha256 -binary | openssl enc -base64 depth=2 O = Digital Signature Trust Co., CN = DST Root CA X3
verify return:1
depth=1 C = US, O = Let's Encrypt, CN = Let's Encrypt Authority X3
verify return:1
depth=0 CN = *.alekberg.net
verify return:1
writing RSA key
SPKI: 9t2Sh2MQExDdZrzDzke2ZGipVYCjp6p0S2wogKgRh7M=
2020-06-19 02:16:15 Daemon.Info 192.168.77.1 Jun 19 02:16:21 https-dns-proxy: Starting.
2020-06-19 02:16:15 Daemon.Info 192.168.77.1 Jun 19 02:16:21 https-dns-proxy: Using DNS-wire DoH request format
2020-06-19 02:16:15 Daemon.Info 192.168.77.1 Jun 19 02:16:21 https-dns-proxy: Resolver prefix 'https://dnsse.alekberg.net?' doesn't appear to contain a hostname. DNS polling disabled.
2020-06-19 02:16:15 Daemon.Info 192.168.77.1 Jun 19 02:16:21 https-dns-proxy: Starting.
2020-06-19 02:16:16 Daemon.Info 192.168.77.1 Jun 19 02:16:21 https-dns-proxy: Using DNS-wire DoH request format
2020-06-19 02:16:16 Daemon.Info 192.168.77.1 Jun 19 02:16:21 https-dns-proxy: Resolver prefix 'https://dnsse.alekberg.net?' doesn't appear to contain a hostname. DNS polling disabled.
2020-06-19 02:16:21 Daemon.Error 192.168.77.1 Jun 19 02:16:27 https-dns-proxy: TLS certificate verify error: Error
2020-06-19 02:16:21 Daemon.Error 192.168.77.1 Jun 19 02:16:27 https-dns-proxy: TLS certificate verify error: Error
2020-06-19 02:16:21 Daemon.Error 192.168.77.1 Jun 19 02:16:27 https-dns-proxy: Core::Syslog: last message repeated 2 times.
2020-06-19 02:16:21 Daemon.Error 192.168.77.1 Jun 19 02:16:27 https-dns-proxy: Core::Syslog: last message repeated 3 times.
2020-06-19 02:16:21 Daemon.Error 192.168.77.1 Jun 19 02:16:27 https-dns-proxy: Core::Syslog: last message repeated 4 times.
2020-06-19 02:16:24 Daemon.Error 192.168.77.1 Jun 19 02:16:30 https-dns-proxy: Core::Syslog: last message repeated 5 times.
218:04 User.Info 192.168.77.1 Jun 19 02:18:10 ndm: Dns::Secure::ManagerDoh: DNS-over-HTTPS name server "https://dnsse.alekberg.net:443" (dnsm) added.
2020-06-19 02:18:04 User.Info 192.168.77.1 Jun 19 02:18:10 ndm: Core::ConfigurationSaver: saving configuration...
2020-06-19 02:18:04 User.Info 192.168.77.1 Jun 19 02:18:10 ndm: Core::ConfigurationSaver: saving configuration...
2020-06-19 02:18:05 Daemon.Error 192.168.77.1 Jun 19 02:18:10 https-dns-proxy: TLS certificate verify error: Error
2020-06-19 02:18:05 Daemon.Error 192.168.77.1 Jun 19 02:18:10 https-dns-proxy: TLS certificate verify error: Error
2020-06-19 02:18:05 Daemon.Error 192.168.77.1 Jun 19 02:18:10 https-dns-proxy: Core::Syslog: last message repeated 2 times.
2020-06-19 02:18:05 Daemon.Error 192.168.77.1 Jun 19 02:18:10 https-dns-proxy: Core::Syslog: last message repeated 3 times.
2020-06-19 02:18:07 User.Warning 192.168.77.1 Jun 19 02:18:12 ndm: Process: "DoH "System" proxy #0" has been killed.
2020-06-19 02:18:07 Kernel.Warning 192.168.77.1 Jun 19 02:18:13 kernel: do_page_fault(): sending SIGSEGV to https_dns_proxy for invalid read access from 00001190
2020-06-19 02:18:07 Kernel.Warning 192.168.77.1 Jun 19 02:18:13 kernel: epc = 00414bac in https_dns_proxy[400000+23000]
2020-06-19 02:18:07 Kernel.Warning 192.168.77.1 Jun 19 02:18:13 kernel: ra = 0041b8f4 in https_dns_proxy[400000+23000]
2020-06-19 02:18:08 Kernel.Warning 192.168.77.1 Jun 19 02:18:13 kernel: do_page_fault(): sending SIGSEGV to https_dns_proxy for invalid read access from 00001190
2020-06-19 02:18:08 Kernel.Warning 192.168.77.1 Jun 19 02:18:13 kernel: epc = 00414bac in https_dns_proxy[400000+23000]
2020-06-19 02:18:08 Kernel.Warning 192.168.77.1 Jun 19 02:18:13 kernel: ra = 0041b8f4 in https_dns_proxy[400000+23000]
2020-06-19 02:18:08 Kernel.Warning 192.168.77.1 Jun 19 02:18:13 kernel: do_page_fault(): sending SIGSEGV to https_dns_proxy for invalid read access from 00001190
2020-06-19 02:18:08 Kernel.Warning 192.168.77.1 Jun 19 02:18:13 kernel: epc = 00414bac in https_dns_proxy[400000+23000]
2020-06-19 02:18:08 Kernel.Warning 192.168.77.1 Jun 19 02:18:13 kernel: ra = 0041b8f4 in https_dns_proxy[400000+23000]
2020-06-19 02:18:09 User.Info 192.168.77.1 Jun 19 02:18:14 ndm: Core::Configura
2020-06-19 02:18:10 Daemon.Info 192.168.77.1 Jun 19 02:18:15 https-dns-proxy: Using DNS-wire DoH request format
2020-06-19 02:18:10 Daemon.Info 192.168.77.1 Jun 19 02:18:15 https-dns-proxy: DNS polling initialized for 'dnsse.alekberg.net'
2020-06-19 02:18:10 Daemon.Info 192.168.77.1 Jun 19 02:18:15 https-dns-proxy: Starting.
2020-06-19 02:18:30 Daemon.Error 192.168.77.1 Jun 19 02:18:36 https-dns-proxy: Core::Syslog: last message repeated 30 times.
2020-06-19 02:18:33 Daemon.Error 192.168.77.1 Jun 19 02:18:38 https-dns-proxy: Core::Syslog: last message repeated 31 times.
2020-06-19 02: -
Насколько смог разобраться, именно сервис DNS сжирает весь проц. Серверов не то чтобы десятки сконфигурировал
(config)> show system cpustat interval: 214 busy: cur: 100 min: 100 max: 100 avg: 100 user: cur: 8 min: 5 max: 11 avg: 8 nice: cur: 0 min: 0 max: 0 avg: 0 system: cur: 91 min: 86 max: 93 avg: 90 iowait: cur: 0 min: 0 max: 0 avg: 0 irq: cur: 0 min: 0 max: 0 avg: 0 sirq: cur: 0 min: 0 max: 4 avg: 1 (config)> process, id = Dns::Proxy: name: ndnproxy oom-adj: -6 oom-score: 0 oom-score-adj: -400 arg: -c arg: /var/ndnproxymain.conf arg: -p arg: /var/ndnproxymain.pid arg: -s arg: /var/ndnproxysafe.conf state: R (running) pid: 389 ppid: 191 vm-size: 1724 kB vm-rss: 1392 kB vm-data: 488 kB vm-stk: 132 kB vm-exe: 116 kB vm-lib: 744 kB vm-swap: 0 kB threads: 1 fds: 258 statistics: interval: 30 cpu: now: 643954.587773 min: 45 max: 92 avg: 86 cur: 89 service: configured: yes alive: yes started: yes state: STARTED (config)> show version release: 3.04.C.6.0-0 sandbox: stable title: 3.4.6 arch: mips ndm: exact: 0-a36bee1 cdate: 8 Jun 2020 bsp: exact: 0-f45343dcd cdate: 8 Jun 2020 ndw: version: 3.4.63 features: wifi_button,single_usb_port,led_control, dual_image,wifi_ft,wpa3 components: base,cloudcontrol,config-ap,config-repeater, corewireless,ddns,dhcpd,dns-https,dns-tls,dot1x,fat,ftp, hfsplus,igmp,ip6,ipsec,l2tp,miniupnpd,nathelper-ftp, nathelper-pptp,nathelper-sip,ntfs,openvpn,pingcheck,ppe, pptp,sstp,sstp-server,storage,trafficcontrol, transmission,tsmb,usb,usbmodem,usbnet,usbnet-extra, wireguard manufacturer: Keenetic Ltd. vendor: Keenetic series: KN model: Omni (KN-1410) hw_version: 10148000 hw_id: KN-1410 device: Omni region: RU description: Keenetic Omni (KN-1410) (config)>
-
Окей, спасибо. Работает однако всеравно нестабильно (
-
Настроено 2 провайдера, Cloudflare и Quad. DNS message format или JSON не имеет значения, работает работает, потом дохнет с 100% загрузкой CPU, в логах следующее
2020-06-09 12:05:26 Daemon.Info Jun 9 12:05:20 https-dns-proxy: Starting. 2020-06-09 12:05:26 Daemon.Info Jun 9 12:05:20 https-dns-proxy: Using JSON DoH request format 2020-06-09 12:05:26 Daemon.Info Jun 9 12:05:20 https-dns-proxy: DNS polling initialized for 'cloudflare-dns.com' 2020-06-09 12:05:26 Daemon.Info Jun 9 12:05:20 https-dns-proxy: Starting. 2020-06-09 12:05:26 Daemon.In Jun 9 12:05:20 https-dns-proxy: Using DNS-wire DoH request format 2020-06-09 12:05:26 Daemon.InfoJun 9 12:05:20 https-dns-proxy: DNS polling initialized for 'dns.quad9.net' 2020-06-09 12:05:26 Daemon.Info Jun 9 12:05:20 https-dns-proxy: Starting. 2020-06-09 12:05:26 Daemon.Info Jun 9 12:05:20 https-dns-proxy: Using JSON DoH request format 2020-06-09 12:05:26 Daemon.Info Jun 9 12:05:20 https-dns-proxy: DNS polling initialized for 'cloudflare-dns.com' 2020-06-09 12:05:26 Daemon.Info Jun 9 12:05:21 https-dns-proxy: Starting. 2020-06-09 12:05:26 Daemon.Info Jun 9 12:05:21 https-dns-proxy: Using DNS-wire DoH request format 2020-06-09 12:05:26 Daemon.Info Jun 9 12:05:21 https-dns-proxy: DNS polling initialized for 'dns.quad9.net' 2020-06-09 12:05:29 Daemon.Error Jun 9 12:05:23 https-dns-proxy: TLS certificate verify error: Error 2020-06-09 12:05:29 Daemon.Error Jun 9 12:05:23 https-dns-proxy: TLS certificate verify error: Error 2020-06-09 12:05:29 Daemon.Error Jun 9 12:05:23 https-dns-proxy: Core::Syslog: last message repeated 2 times. 2020-06-09 12:05:29 Daemon.Error Jun 9 12:05:23 https-dns-proxy: Core::Syslog: last message repeated 3 times. 2020-06-09 12:05:29 Daemon.Error Jun 9 12:05:23 https-dns-proxy: Core::Syslog: last message repeated 4 times. 2020-06-09 12:05:29 Daemon.Error Jun 9 12:05:23 https-dns-proxy: Core::Syslog: last message repeated 5 times. 2020-06-09 12:05:29 Daemon.Error Jun 9 12:05:23 https-dns-proxy: Core::Syslog: last message repeated 6 times. 2020-06-09 12:05:32 Daemon.Error Jun 9 12:05:27 https-dns-proxy: Core::Syslog: last message repeated 7 times. 2020-06-09 12:05:34 Daemon.Error Jun 9 12:05:29 https-dns-proxy: Core::Syslog: last message repeated 8 times. 2020-06-09 12:05:34 Daemon.Error Jun 9 12:05:29 https-dns-proxy: Core::Syslog: last message repeated 9 times. 2020-06-09 12:05:34 Daemon.Error Jun 9 12:05:29 https-dns-proxy: Core::Syslog: last message repeated 10 times. 2020-06-09 12:05:34 Daemon.Error Jun 9 12:05:29 https-dns-proxy: Core::Syslog: last message repeated 11 times.
- ModelOmni (KN-1410)
- OS version3.4.3
-
Плюсуюсь, провайдерские DNS отключены, на винде пользуюсь simplednscrypt и хотел бы видеть поддержку DoH в роутере. Интересно насколько вариант behrooza из первого поста оптимизирован? Понятна критика некоторых что DoH требует больше накладных расходов, поэтому хорошо бы все было максимально оптимизировано и был persistent HTTPS канал с сервером, чтобы не переустанавливать соединение без необходимости
Глючит VPN поверх ZeroTier
in Обсуждение IPsec, OpenVPN и других туннелей
Posted · Edited by john ibsuser
update: по какой-то причине в момент включения vpn zerotier теряет пиров / mac-адреса. На кинетике:
wps - display WPS interface info
zerotier - display ZeroTier interface info
Курил tcpdump, кто-нибудь может пояснить как трафик (часть трафика?) zerotier начинает течь через WireGuard. Зачем тогда для zerotier настройка Connect via...
tcpdump на интерфейсе WireGuard: