Обсуждаем реализацию на роутере GoodbyeDPI

vasek00 · September 16, 2018

20 минут назад, Михаил Лукьянов сказал:

Я не кодер, а бывший админ - сам писать не обучен, на досуге могу чужое подправить. Нагрузка минимальна - за день в цепочку NFQUEUE у меня упало 15 пакетов весом 752 байта, хотя на трекерах я сижу, при сёрфинге load average на роутере выше 5% не поднимается. DPI ленивый - вместо полноценного statefull inspection, происходит только анализ SYN,ACK пакетов (т.е. первый пакет во всей TCP сессии) остальное пролетает со свистом без модификации. И это хорошо)

У вас если идет по RT то основная часть идет не по NFQUEUE а по заглушке, смотрите сколько там у вас DROP по ней. Второе по строке

iptables -t raw -I PREROUTING -p tcp --sport 80 --tcp-flags SYN,ACK SYN,ACK -m set --match-set zapret src -j NFQUEUE --queue-num $QNUM --queue-bypass

весь вопрос это в самом списке "zapret" если их там два одно, а если их десяток?

Михаил Лукьянов · September 16, 2018

6 минут назад, vasek00 сказал:
У вас если идет по RT то основная часть идет не по NFQUEUE а по заглушке, смотрите сколько там у вас DROP по ней. Второе по строке
iptables -t raw -I PREROUTING -p tcp --sport 80 --tcp-flags SYN,ACK SYN,ACK -m set --match-set zapret src -j NFQUEUE --queue-num $QNUM --queue-bypass
весь вопрос это в самом списке "zapret" если их там два одно, а если их десяток?

Цитата

~ # iptables -nvL -t raw
Chain PREROUTING (policy ACCEPT 377K packets, 46M bytes)
pkts bytes target prot opt in out source destination
25 1316 NFQUEUE tcp -- * * 0.0.0.0/0 0.0.0.0/0 tcp spt:80 flags:0x12/0x12 match-set zapret src NFQUEUE num 200 bypass
5 2120 DROP tcp -- * * 0.0.0.0/0 0.0.0.0/0 tcp spt:80 STRING match "|0d0a4c6f636174696f6e3a20687474703a2f2f626c61636b686f6c652e6265656c696e652e7275|" ALGO name bm FROM 40 TO 200

Chain OUTPUT (policy ACCEPT 256K packets, 46M bytes)
pkts bytes target prot opt in out source destination
~ # ipset list zapret | wc -l
111597

Красным выделены ответы на ваши вопросы. Причем в DROP попадает только то чего нет в списке zapret (т.е. kinozal попал сейчас из-за смены IP). При корректном списке zapret правило с drop вообще не играет.

vasek00 · September 16, 2018

2 часа назад, Михаил Лукьянов сказал:

Красным выделены ответы на ваши вопросы. Причем в DROP попадает только то чего нет в списке zapret (т.е. kinozal попал сейчас из-за смены IP). При корректном списке zapret правило с drop вообще не играет.

Я рад за ваш, но есть другой пример

/ # iptables -t raw -nvL
Chain PREROUTING (policy ACCEPT 3371K packets, 394M bytes)
 pkts bytes target     prot opt in     out     source               destination
....
    4  1078 DROP       tcp  --  *      *       0.0.0.0/0            0.0.0.0/0            tcp spt:80 ....
 3501  140K DROP       tcp  --  *      *       0.0.0.0/0            0.0.0.0/0            tcp spt:443 ....
....

Михаил Лукьянов · September 16, 2018

11 минуту назад, vasek00 сказал:

3501 140K DROP tcp -- * * 0.0.0.0/0 0.0.0.0/0 tcp spt:443 ....

И что, работает? DPI только на HTTP работает, по HTTPS провайдер должен трафик дропать. Каков смысл такого правила?

vasek00 · September 16, 2018

Только что, Михаил Лукьянов сказал:

И что, работает? DPI только на HTTP работает, по HTTPS провайдер должен трафик дропать. Каков смысл такого правила?

Смысл прост, чтоб работало.

Михаил Лукьянов · September 16, 2018

1 минуту назад, vasek00 сказал:

Смысл прост, чтоб работало.

Ну возможно. Blockcheck покажет. Может кто-то из региональных провайдеров балуется.

Nuck-TH · September 26, 2018

У меня скрипт не заработал без загрузки модуля xt_string
И как быть с HTTPS? NDM вроде как постоянно перезаписывает таблицу NAT, да и моего понимания работы сетевых интерфесов не хватает, чтобы переписать правила iptables под местные условия :(

Михаил Лукьянов · September 26, 2018

В 26.09.2018 в 18:18, Nuck-TH сказал:

У меня скрипт не заработал без загрузки модуля xt_string
И как быть с HTTPS? NDM вроде как постоянно перезаписывает таблицу NAT, да и моего понимания работы сетевых интерфесов не хватает, чтобы переписать правила iptables под местные условия

Видимо на каких-то прошивках модуль не грузится автоматом - добавил проверку в скрипт.

Edited September 27, 2018 by Михаил Лукьянов
Поторопился

Михаил Лукьянов · September 28, 2018

В 26.09.2018 в 18:18, Nuck-TH сказал:

И как быть с HTTPS? NDM вроде как постоянно перезаписывает таблицу NAT, да и моего понимания работы сетевых интерфесов не хватает, чтобы переписать правила iptables под местные условия

С HTTPS вариантов немного - tor, прокси и vpn. С tor всё оказалось просто. Так как не нужно прозрачное проксирование на прикладном уровне (что умеет только squid с peek&slice), то достаточно просто инкапсуляции одного транспортного протокола в другой (TLS в SOCKS5). С этой задачей легко справляется tor+redsocks:

opkg install redsocks tor

Что поменять в дефолтном /opt/etc/tor/torrc:

Log notice syslog
RunAsDaemon 1
DataDirectory /opt/var/lib/tor

Что поменять в дефолтном /opt/etc/redsocks.conf:

в секции base:

log_info = off;
log = "syslog:local7";
daemon = on;
redirector = iptables;

в секции redsocks:

local_ip = 192.168.1.1;
local_port = 8888;
ip = 127.0.0.1;
port = 9050;
type = socks5;

В скрипт S99zapret добавлено правило для перенаправления запрещенного HTTPS трафика в redsocks, скрипт нужно перекачать с гитхаба. Для того чтобы NDM не сбрасывало правило в таблице nat нужно создать следующий файл /opt/etc/ndm/netfilter.d/redsocks.sh:

#!/opt/bin/sh
[ "$type" == "ip6tables" ] && exit 0
[ "$table" != "nat" ] && exit 0   # check the table name
iptables -t nat -I PREROUTING -p tcp --dport 443 -m set --match-set zapret dst -j REDIRECT --to-port 8888
/opt/bin/logger "redsocks redirected https rule created for zapret via netfilter hook"

не забыть конечно:

chmod +x /opt/etc/ndm/netfilter.d/redsocks.sh

Проверяем:

/opt/etc/init.d/S35tor start
/opt/etc/init.d/S23redsocks start
/opt/etc/init.d/S99zapret stop
/opt/etc/init.d/S99zapret start

Что интересно у меня https://2ip.ru/ и https://yandex.ru/internet/ часто показывают выход через tor, а не напрямую. Видимо какой-то не тот диапазон IP попал в реестр:(

Edited December 8, 2018 by Михаил Лукьянов

Andrey64 · October 21, 2018

В 13.09.2018 в 05:25, Михаил Лукьянов сказал:
в файл /opt/zapret/ipset/zapret-hosts-user.txt добавляем строчки:
rutracker.org
kinozal.tv
Генерируем пользовательский айписет:
/opt/zapret/ipset/get_user.sh
Делаем пробный запуск:
/opt/etc/init.d/S99zapret start
Если всё хорошо, то в консоли должно быть примерно так:
Checking iptable_raw.ko kernel module
iptable_raw.ko loaded
Restoring ipset
Adding iptables rule
Starting anti-zapret: zapret.
На данном этапе за роутером должны заработать рутрекер и кинозал.

Не работает.
Провайдер Фаннет телеком.

~ # /opt/etc/init.d/S99zapret start
iptable_raw.ko is already loaded
xt_string.ko is already loaded
nfqws is installed
tpws is installed
Restoring ipset
Adding iptables rule
Starting anti-zapret: ~ #

Edited October 21, 2018 by Andrey64

Михаил Лукьянов · October 21, 2018

Покажите вывод blockcheck (https://github.com/ValdikSS/blockcheck/releases) c клиентской машины. На роутере при этом обход блокировок нужно отключить:

/opt/etc/init.d/S99zapret stop

Edited October 21, 2018 by Михаил Лукьянов

Andrey64 · October 21, 2018

2 часа назад, Михаил Лукьянов сказал:

Покажите вывод blockcheck

А как скопировать текст из blockcheck?
Ctrl+С и правая кнопка мыши, не получается

Михаил Лукьянов · October 21, 2018

16 минут назад, Andrey64 сказал:

А как скопировать текст из blockcheck?
Ctrl+С и правая кнопка мыши, не получается

blockcheck --console --no-report

В cmd запустить (я так понял по виндой запускается).

Edited October 21, 2018 by Михаил Лукьянов

Andrey64 · October 21, 2018

Да под виндой. Запускаю blockcheck-0.0.9.6.exe
Я правильно понял. После окончания работы ввести

blockcheck --console --no-report

Edited October 21, 2018 by Andrey64

Михаил Лукьянов · October 21, 2018

33 минуты назад, Andrey64 сказал:
Да под виндой. Запускаю blockcheck-0.0.9.6.exe
Я правильно понял. После окончания работы ввести
blockcheck --console --no-report

В командной строке (cmd) находясь в папке с исполняемым файлом запустите следующее:

blockcheck-0.0.9.6.exe --console --no-report

Andrey64 · October 22, 2018

В 21.10.2018 в 16:57, Andrey64 сказал:

Покажите вывод blockcheck

Скрытый текст

BlockCheck v0.0.9.6

Для получения корректных результатов используйте DNS-сервер провайдера и отключите средства обхода блокировок.

Проверка работоспособности IPv6: IPv6 недоступен.

[О] Тестируем IPv4 DNS

Через системный DNS: ['92.43.0.7', '92.43.0.7', '92.43.0.7', '92.43.0.7', '92.43.0.7', '92.43.0.7']

Через Google DNS: ['104.20.134.45', 404.20.135.45', 404.24.10.70', 404.24.11.70', 484.173.136.161', '195.8.215.136', 495.82.146.214', '5.178.68.100']

Через Google API: ['104.20.134.45', '104.20.135.45', '104.24.10.70', '104.24.11.70', 484.173.136.161', '195.8.215.136', '195.82.146.214', '5.178.68.100']

Несуществующий DNS не вернул адресов (это не ошибка)

[☠] DNS-записи подменяются

[✓] DNS не перенаправляется

[О] Тестируем HTTP (по настоящим IP-адресам сайтов)

Открываем http://а.putinhuylo.сот/

[✓] Сайт открывается

Открываем http://rutracker.org/forum/index.php

[☠] Сайт не открывается, пробуем через прокси

[✓] Сайт открывается через прокси

Открываем http://pbooru.com/index.php?page=post&s=view&id=303026

[☠] Сайт не открывается, пробуем через прокси

[✓] Сайт открывается через прокси

Открываем http://furry.booru.org/index.php?page=post&s=view&id=111173

[☠] Сайт не открывается, пробуем через прокси

[☠] Сайт не открывается через прокси

Проверяем доступность через isup.me

[☠] Сайт доступен, проблемы только у нас

Открываем http://pbooru.сот/

[☠] Сайт не открывается, пробуем через прокси

[✓] Сайт открывается через прокси

Открываем http://furry.booru.org/

[☠] Сайт не открывается, пробуем через прокси

[☠] Сайт не открывается через прокси

Проверяем доступность через isup.me

[☠] Сайт доступен, проблемы только у нас

[О] Тестируем HTTPS

Открываем https://rutracker.org/forum/index.php

[☠] Сайт не открывается

Открываем https://www.dailymotion.сот/

[☠] Сайт не открывается

Открываем https://e621.net/

[☠] Сайт не открывается

Открываем https://lolibooru.тое/

[☠] Сайт не открывается

[О] Тестируем обход DPI

Пробуем способ «перенос строки в заголовках в UNIX-стиле» на pbooru.com