Jump to content
Как правильно добавить self-test и прочую отладку в тему
Где взять тестовые сборки
  • 0

NetFlow

KorDen

Asked by KorDen,

 Share

Question

KorDen Honored Flooder

KorDen

Posted
Posted
В 18.10.2017 в 11:09, Le ecureuil сказал:

netflow

Мелочная претензия к появившемуся Netflow, отдельную тему смысла нет заводить: SysUptime прилетает какой-то заоблачный, роутер пять минут назад загрузился, а там уже 4294877 (ff fe 97 e4)

Link to comment
Share on other sites

31 answers to this question

Recommended Posts

  • 0
balookrd Member

balookrd

Posted
Posted

а где бы взять описание что нового добавляется (точнее как это работает)

в данный момент интересует flow-export, т е какой размер таблицы в памяти, в каком формате выгружаются данные, если nf9 или ipfix то как часто идут шаблоны? и собственно где взять описание шаблонов?

спасибо! 

Link to comment
Share on other sites
  • 0
KorDen Honored Flooder

KorDen

Posted
  • Author
Posted
57 минут назад, balookrd сказал:

flow-export, т е какой размер таблицы в памяти, в каком формате выгружаются данные

Netflow v5, по 30 штук на пакет

1 час назад, balookrd сказал:

а где бы взять описание что нового добавляется (точнее как это работает)

Вот уж netflow точно можно исследовать главным научным методом - шлем себе на рандомный порт и смотрим в вайршарк :)

Link to comment
Share on other sites
  • 0
balookrd Member

balookrd

Posted
Posted
15 часов назад, KorDen сказал:

Netflow v5, по 30 штук на пакет

Вот уж netflow точно можно исследовать главным научным методом - шлем себе на рандомный порт и смотрим в вайршарк :)

Прошло то время, когда это было интересно, к тому же попробуйте поисследовать NF9 или IPFIX без темплейтов, либо с ооочень редко оправляемыми темплейтами.

И размер таблицы таким образом вы вообще никак не узнаете...

Link to comment
Share on other sites
  • 0
Le ecureuil Honored Flooder

Le ecureuil

Posted
Posted
В 11/9/2017 в 20:58, KorDen сказал:

Мелочная претензия к появившемуся Netflow, отдельную тему смысла нет заводить: SysUptime прилетает какой-то заоблачный, роутер пять минут назад загрузился, а там уже 4294877 (ff fe 97 e4)

Ага, гляну в понедельник что там может вызывать подобную ситуацию.

Link to comment
Share on other sites
  • 0
Le ecureuil Honored Flooder

Le ecureuil

Posted
Posted
21 час назад, balookrd сказал:

Прошло то время, когда это было интересно, к тому же попробуйте поисследовать NF9 или IPFIX без темплейтов, либо с ооочень редко оправляемыми темплейтами.

И размер таблицы таким образом вы вообще никак не узнаете...

Размер таблицы индивидуален для каждого устройства, то есть зависит от объема ОЗУ.

На самых слабых устройствах - 32 тысячи записей, на самых мощных - 128K. Аналогично и с хэш-таблицей.

Link to comment
Share on other sites
  • 0
Le ecureuil Honored Flooder

Le ecureuil

Posted
Posted
В 11/9/2017 в 21:26, balookrd сказал:

а где бы взять описание что нового добавляется (точнее как это работает)

в данный момент интересует flow-export, т е какой размер таблицы в памяти, в каком формате выгружаются данные, если nf9 или ipfix то как часто идут шаблоны? и собственно где взять описание шаблонов?

спасибо! 

Используется вот этот компонент (правда, слегка адаптированный к нашим реалиям):
https://github.com/aabc/ipt-netflow

Потому все настройки, актуальные для него, работают и у нас. Аналогично и с описанием шаблонов - лучше смотреть туда.

По умолчанию используется v5, а v9 и IPFIX можно настроить через system set.

Для получения информации можно глянуть в
(config)> more proc:/net/stat/ipt_netflow

(config)> more proc:/net/stat/ipt_netflow_flows

Если нужно подтюнить какие-то параметры, то через system set net.netflow.* можно выставить как вам надо.

  • Thanks 3
Link to comment
Share on other sites
  • 0
Le ecureuil Honored Flooder

Le ecureuil

Posted
Posted
В 11/11/2017 в 11:30, Le ecureuil сказал:

Ага, гляну в понедельник что там может вызывать подобную ситуацию.

Не воспроизвелось, вроде все нормально. Возможно временный глюк с переполнением jiffies был.

Link to comment
Share on other sites
  • 0
Le ecureuil Honored Flooder

Le ecureuil

Posted
Posted
В 11/14/2017 в 19:30, MDP сказал:

Подскажите, а возможно ли, что бы netflow скидывал инфу на сервер syslog...вместо коллектора?

Он будет скидывать хоть на 127.0.0.1, главное адрес укажите.

А в чем сложность поднять тот же cacti или prtg рядом с сервером syslog в роли коллектора?

Link to comment
Share on other sites
  • 0
MDP Honored Flooder

MDP

Posted
Posted
10 минут назад, Le ecureuil сказал:

Он будет скидывать хоть на 127.0.0.1, главное адрес укажите.

А в чем сложность поднять тот же cacti или prtg рядом с сервером syslog в роли коллектора?

А есть для synology такое решение? ...там что-то про коллектор говорилось (где то в дебрях ipkg) , но решили что всё крайне неустойчиво и затухло на этом.

Link to comment
Share on other sites
  • 0
Le ecureuil Honored Flooder

Le ecureuil

Posted
Posted
3 минуты назад, MDP сказал:

А есть для synology такое решение? ...там что-то про коллектор говорилось (где то в дебрях ipkg) , но решили что всё крайне неустойчиво и затухло на этом.

Сами разбирайтесь со сторонними решениями (например, в курилке).

А в этой теме - только работоспособность и баги модуля Netflow в NDMS.

Link to comment
Share on other sites
  • 0
MDP Honored Flooder

MDP

Posted
Posted (edited)
6 минут назад, Le ecureuil сказал:

Сами разбирайтесь со сторонними решениями (например, в курилке).

А в этой теме - только работоспособность и баги модуля Netflow в NDMS.

Я про сторонний продукт и не хотел спрашивать)))) ...так мимолётом ...а вдруг. 

...извиняюсь.

Edited by MDP
Link to comment
Share on other sites
  • 0
nogood Advanced Member

nogood

Posted
Posted

Подскажите, что делаю не так: 

(config)> system set net.netflow.protocol 10
FileSystem::Proc error[22282241]: failed to read initial value for "net.netflow.protocol".
(config)> more proc:/net/stat/ipt_netflow
Command::Base error[7405602]: filename: argument parse error.
(config)> more proc:/net/stat/ipt_netflow_flows
Command::Base error[7405602]: filename: argument parse error.

 

Link to comment
Share on other sites
  • 0
dexter Honored Flooder

dexter

Posted
Posted

Вы все активировали как в посте ndm?

  • interface {name} ip flow (ingress | egress | both) — включить сенсор NetFlow на заданном интерфейсе
  • ip flow-export destination {address} {port} — адрес и порт коллектора

И (config)> system set net.netflow.protocol 10 не нужно.

Link to comment
Share on other sites
  • 0
Le ecureuil Honored Flooder

Le ecureuil

Posted
Posted
В 11/20/2017 в 19:34, nogood сказал:

Подскажите, что делаю не так: 


(config)> system set net.netflow.protocol 10
FileSystem::Proc error[22282241]: failed to read initial value for "net.netflow.protocol".
(config)> more proc:/net/stat/ipt_netflow
Command::Base error[7405602]: filename: argument parse error.
(config)> more proc:/net/stat/ipt_netflow_flows
Command::Base error[7405602]: filename: argument parse error.

 

Сперва нужно активировать модуль, и только потом можно будет менять протокол и версию.

Link to comment
Share on other sites
  • 0
feoser Advanced Member

feoser

Posted
Posted (edited)

Может мне кто подскажет, что я делаю не так или делаю не до конца?

Установил netflow

В инет выход через usb модем

Далее ввел команды:

interface UsbLte0 ip flow both  //Трафик хочу мониторить с USB модема

ip flow-export destination 192.168.10.202 2055  //На этом адресе слушает сервер PRTG

system configuration save  // Сохраняю конфигурацию

Всё прекрасно работает до момента ребута роутера но после ребута netflow не передает информацию на коллектора

после ввода interface UsbLte0 ip flow both  информация опять начинает передаваться до следующей перезагрузки роутера.

P.S. Предыдущий эксперимент делал на Ultre

Попробовал сделать на GigeII у которой подключение по ISP, соответственно вводил:

interface ISP ip flow both

IP и порт коллектора тут уже другой, ситуация повторилась, т.е. куда и порт сохраняется, а вот netflow не запускается при старте.

И да не подскажите какой командой можно удалить вот эту добавленную и сохранённую ошибочно строку

ip flow-export destination 192.168.10.202 2056  Выяснил, последняя команда заменяет предыдущую.

ЗЫЫ Глянул стартап конфиг

ip flow-export destination 192.168.11.201 2056 // Это сохранился маршрут назначения

Нашел также это

interface UsbLte0
    .......
    ip flow both
    .......
    up

Но почему то не запускается в автомате.

Прикрепил self-test

Запустил его перед ребутом, после ребута он оказался выключенным, запустил его снова, информация в этот момент не поступала, затем зашел и ввел interface UsbLte0 ip flow both - информация пошла, после этого завершил и сохранил и прикрепил.

 

 

self-test.txt

Edited by feoser
Добавил информации после P.S.
  • Thanks 1
  • Need more info 1
Link to comment
Share on other sites
  • 0
feoser Advanced Member

feoser

Posted
Posted

Проявился на всех роутерах, на ультре на интерфейсе usblte, на гиге2 на интерфейсе ISP (причем у меня две гиги2 для разных провайдеров и на обоих воспроизвелось на ISP), если подскажите название интерфейса езернет, это я про тот который отвечает за внутреннюю сеть, то вечером попытаюсь добраться до резервной вивы и проверить как отрабатывает на нем. Везде версия   2.12.A.1.0-2

  • Thanks 1
Link to comment
Share on other sites
  • 0
Le ecureuil Honored Flooder

Le ecureuil

Posted
Posted
В 1/21/2018 в 15:59, feoser сказал:

Проявился на всех роутерах, на ультре на интерфейсе usblte, на гиге2 на интерфейсе ISP (причем у меня две гиги2 для разных провайдеров и на обоих воспроизвелось на ISP), если подскажите название интерфейса езернет, это я про тот который отвечает за внутреннюю сеть, то вечером попытаюсь добраться до резервной вивы и проверить как отрабатывает на нем. Везде версия   2.12.A.1.0-2

Спасибо, все поправлено. Появится фикс в новых релизах.

  • Thanks 1
Link to comment
Share on other sites
  • 0
feoser Advanced Member

feoser

Posted
Posted

Спасибо, всё работает должным образом, единственное пояснение для тех кто будет использовать.

Как писАл ранее у меня два провайдера, один 100/100 другой 500/500 оба подключены по ISP, схема подключения следующая: на каждого провайдера стоит гига2, за ними ПК с керио и дальше уже домашняя сеть. Обнаружил случайно, при скачке торрентов, скорость скачки у меня стабильно была  где то в районе 60МБ/с, тут обратил внимание, что выше 30 не поднимается, начал выяснять, выяснилось, что тот роутер у которого скорость тарифа 100/100 с ним всё нормально, а вот у которого 500/500 начал резать скорость, максимум выдает 200/200, даже полностью при отсутствующем трафике на спидтесте показывало 195/190, при отключенном netflow скорость сразу вернулась в норму 490/490, нагрузка на проц в момент резки максимум 54%.

Не нашел команду как отключить netflow на заданном интерфейсе, отключал правкой конфига в ручную.

Я понимаю, что тут скорее всего уже ни чего не поправишь, просто не тянет железо, на более мощных моделях ситуация будет лучше, это просто констатация факта и что бы другие не тратили время на выяснения.

 

Link to comment
Share on other sites
  • 0
Le ecureuil Honored Flooder

Le ecureuil

Posted
Posted
В 1/27/2018 в 08:45, feoser сказал:

Спасибо, всё работает должным образом, единственное пояснение для тех кто будет использовать.

Как писАл ранее у меня два провайдера, один 100/100 другой 500/500 оба подключены по ISP, схема подключения следующая: на каждого провайдера стоит гига2, за ними ПК с керио и дальше уже домашняя сеть. Обнаружил случайно, при скачке торрентов, скорость скачки у меня стабильно была  где то в районе 60МБ/с, тут обратил внимание, что выше 30 не поднимается, начал выяснять, выяснилось, что тот роутер у которого скорость тарифа 100/100 с ним всё нормально, а вот у которого 500/500 начал резать скорость, максимум выдает 200/200, даже полностью при отсутствующем трафике на спидтесте показывало 195/190, при отключенном netflow скорость сразу вернулась в норму 490/490, нагрузка на проц в момент резки максимум 54%.

Не нашел команду как отключить netflow на заданном интерфейсе, отключал правкой конфига в ручную.

Я понимаю, что тут скорее всего уже ни чего не поправишь, просто не тянет железо, на более мощных моделях ситуация будет лучше, это просто констатация факта и что бы другие не тратили время на выяснения.

 

Да, netflow полностью отключает почти все ускорители и обрабатывается программно (сами понимаете, чипы для домашних устройств даже в мечтах не имеют никакой аппаратной поддержки netflow), потому даже 200 Мбит/с - это очень хорошо.

Нагрузка в 54% на самом деле означает, что ЦПУ полностью занят, потому что на Giga II используется hyperthreading (1 ядро с 2 потоками).

  • Thanks 1
Link to comment
Share on other sites
  • 0
Amigokot Content Generator

Amigokot

Posted
Posted (edited)
В 29.01.2018 в 00:12, Le ecureuil сказал:

Да, netflow полностью отключает почти все ускорители и обрабатывается программно (сами понимаете, чипы для домашних устройств даже в мечтах не имеют никакой аппаратной поддержки netflow), потому даже 200 Мбит/с - это очень хорошо.

Нагрузка в 54% на самом деле означает, что ЦПУ полностью занят, потому что на Giga II используется hyperthreading (1 ядро с 2 потоками).

1) Как я понял, что NetFlow рекомендуется использовать только на высокопроизводительных моделях типа Giga III и Ultra II?

Использовать на Keenetic II и Ultra не рекомендуется.

2) А можно ли эту реализацию использовать вместе с NetFlow Analyzer PRTG

https://www.ru.paessler.com/netflow_monitoring?utm_source=google&utm_medium=cpc&utm_campaign=RUS_EN_DSA_Urls_path:1_&utm_adgroup=/netflow_monitoring&utm_adnum=expdsa_en_01&utm_campaignid=1053495743&utm_adgroupid=49268756582&utm_targetid=dsa-382672030444&utm_customerid=384-240-4464&utm_location=1012029&gclid=EAIaIQobChMIltmGpPbn2QIVFy0ZCh1sWAGxEAAYASAAEgKj0fD_BwE

Edited by Amigokot
Link to comment
Share on other sites
  • 0
feoser Advanced Member

feoser

Posted
Posted
5 часов назад, Amigokot сказал:

1) Как я понял, что NetFlow рекомендуется использовать только на высокопроизводительных моделях типа Giga III и Ultra II?

Использовать на Keenetic II и Ultra не рекомендуется.

2) А можно ли эту реализацию использовать вместе с NetFlow Analyzer PRTG

На счет Keenetic II не скажу, на гиге 2 и ультре без особых проблем, если тариф не больше 190 на isp - это для гиги2, у меня выше резалась скорость, с prtg работает без проблем, добавляете нетфлов датчик, настраиваете его, хотя там особо и нечего настраивать, открываете нужные порты и всё начинает работать.

Link to comment
Share on other sites
  • 0
Le ecureuil Honored Flooder

Le ecureuil

Posted
Posted
7 часов назад, Amigokot сказал:

1) Как я понял, что NetFlow рекомендуется использовать только на высокопроизводительных моделях типа Giga III и Ultra II?

Использовать на Keenetic II и Ultra не рекомендуется.

2) А можно ли эту реализацию использовать вместе с NetFlow Analyzer PRTG

https://www.ru.paessler.com/netflow_monitoring?utm_source=google&utm_medium=cpc&utm_campaign=RUS_EN_DSA_Urls_path:1_&utm_adgroup=/netflow_monitoring&utm_adnum=expdsa_en_01&utm_campaignid=1053495743&utm_adgroupid=49268756582&utm_targetid=dsa-382672030444&utm_customerid=384-240-4464&utm_location=1012029&gclid=EAIaIQobChMIltmGpPbn2QIVFy0ZCh1sWAGxEAAYASAAEgKj0fD_BwE

Да хоть на Start II можно использовать, или на Omni. Вопрос только в нагрузке на процессор.

Link to comment
Share on other sites
  • 0
Straycat Newbie

Straycat

Posted
Posted

Дабы не плодить новых тем, разрешите спросить тут...

по команде: interface Home ip flow both

NetFlow Analyzer  показывает перечень интерфейсов:

Interface Name    
IfIndex21    
IfIndex23    
IfIndex65535    
IfIndex1    
IfIndex2    
IfIndex17    
IfIndex16    

Как связать эти имена с чем то более "осязаемым" ? 

Link to comment
Share on other sites
  • 0
Le ecureuil Honored Flooder

Le ecureuil

Posted
Posted
1 час назад, Straycat сказал:

Дабы не плодить новых тем, разрешите спросить тут...

по команде: interface Home ip flow both

NetFlow Analyzer  показывает перечень интерфейсов:

 Interface Name    
IfIndex21    
IfIndex23    
IfIndex65535    
IfIndex1    
IfIndex2    
IfIndex17    
IfIndex16    

Как связать эти имена с чем то более "осязаемым" ? 

Попробуем посмотреть.

Link to comment
Share on other sites
  • 0
Artyom Newbie

Artyom

Posted
Posted

Какие есть способы отключить NetFlow для конкретного интерфейса? Я знаю только, что можно удалить соответствующую строку из файла конфигурации и заменить его, но хотелось бы знать можно ли сделать это без перезагрузки.

Link to comment
Share on other sites
  • 0
Le ecureuil Honored Flooder

Le ecureuil

Posted
Posted
13 минуты назад, Artyom сказал:

Какие есть способы отключить NetFlow для конкретного интерфейса? Я знаю только, что можно удалить соответствующую строку из файла конфигурации и заменить его, но хотелось бы знать можно ли сделать это без перезагрузки.

Из cli отключите.

Вообще, там логика диаметрально противоположная. Вы включаете его для определенного интерфейса, а для остальных нет. Как так оказалось, что у вас он включен для всего?

Link to comment
Share on other sites
  • 0
Artyom Newbie

Artyom

Posted
Posted
Только что, Le ecureuil сказал:

Из cli отключите.

Вообще, там логика диаметрально противоположная. Вы включаете его для определенного интерфейса, а для остальных нет. Как так оказалось, что у вас он включен для всего?

По ошибке не для того включил.

Я собственно и не мог понять, какую команду нужно выполнить, чтобы убрать эту строку. Методом тыка уже понял, что interface {name} no ip flow

  • Upvote 1
Link to comment
Share on other sites

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.
Note: Your post will require moderator approval before it will be visible.

Guest
Answer this question...

×   Pasted as rich text.   Paste as plain text instead

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.

×
 Share
Go to question listing

  • Recently Browsing   0 members

    • No registered users viewing this page.
×
×
  • Create New...