Jump to content
  • 0

Core::Scgi::ThreadPool: out of memory [0xcffe01f7].


denikmenik
 Share

Question

Здравствуйте форумчане. Такая проблема случилась. Имеем zyxel ultra 2 , до возникновения всех проблем - прошивка 3.3.10. 
Всё было нормально пока не прошли небольшие "улучшения-техработа" в сети. 
(небольшие наблюдения, ибо сеть регулярно мониторилась )
Средняя загрузка cpu даже во время пика была 10-30%. Но при этом почти всегда проц так или иначе падал до 1-3%.
Загрузка ram при старом конфиге была  70-90мб. Конфиг был нагруженный много чем. Был qos,doh,dnsAdguard(с кучей настроенных(кому семейная фильтрация, кому без) позиции для разных устройств) , ovpn клиент, для резервного подключения,vlan, даже не знаю сколько всего описывать.
Не знаю где отправная точка проблем. Ибо сразу за один вечер было много чего сделано, и отследить когда началось не могу. 
Начну с того,(вдруг на что-то это повлияло)  что на серверах в этой сети были удалены виртуалки ( (wmware win7)которые были в режиме бридж, и сетевые адаптеры их тоже были удалены с серверов) . И все правила в ultra2 для портов этих.

Потом была обновлена на резервном zyxel viva с 4г модемом прошивка на неофициальную 2.16. Он подключён к zyxel ultra в 6 lan-порт на нём, и настроен как для резерва.

Потом была обновлена до 3.3.12 на zyxel ultra 2, плюс добавил ко всему ещё и модуль "сервера snmp" . Ребутнулся он, вроде всё завелось.
 В морду сразу не зашёл я. Занимался другими делами.
Вроде было всё ок, пока не начал фризить слегка rdp через ovpn. Раньше такого небыло. Сразу это заметил.
Решил зайти в морду , как раз и snmp настроить. Но не тут то было. Проц ultra 2 был 25-50% и не падает меньше никак. Но самое главное ram. После 5 минут старта была уже 150мб занято. И потихоньку дальше заполнялось.
Иногда чуток падало до 130мб. Когда дошло до 190мб, стал паниковать. Решил бэкапнуть run-config и firmware. Self забыл. И обновился на бэту 3.3.13. Но лучше не стало. А то и ещё хуже. Память сжиралась в никуда поминутно. Интерфейс уже прилично лагал, и что успел, это откатиться на 3.3.10 с помощью замены прошивки. В общем-то с памятью стало получше. 100-110мб. Не поднималось выше. Но камень всё равно меньше 20% нагрузки теперь не опускается. А если начинают работать все ovpn туннели(4 штуки) по ним передаётся всякое , но по большей части rdp, то камень под 90%. Раньше мониторил, было 35-45%. Решил удалить всё, оставил только самые базовые! модули и самые нужные правила. Стало сейчас 70-80мб. Но считай пустая прошивка!

И сейчас стал очень долго открываться системный журнал. Где-то секунд 30 приходится ждать и выскакивает такая строка - Core::Scgi::ThreadPool: out of memory [0xcffe01f7].
Пока ничего не добавлял, что было до этого из всех модулей\правил и.т.д. Работает пусть хоть так. 
Кто знает , в чём проблема?
Понимаю, много текста, заранее извиняюсь за это.

Edited by denikmenik
  • Need more info 1
Link to comment
Share on other sites

20 answers to this question

Recommended Posts

  • 0
31 минуту назад, denikmenik сказал:

Сообщения с отладкой и всем чем было добавил.

Судя по состоянию, у вас очень большое количество сессий.
Покажите вывод команды "show ip nat" в скрытом посте.

  • Upvote 1
Link to comment
Share on other sites

  • 0
30 minutes ago, sergeyk said:

Судя по состоянию, у вас очень большое количество сессий.
Покажите вывод команды "show ip nat" в скрытом посте.

Не получается. Если зайте через putty, то после команды "ip nat" окно думает секунд 5 и пропадает. А если через браузер, (\a после адреса роутера) то вот

 

ERROR: {
    "parse": {
        "prompt": "(config)",
        "status": [
            {
                "status": "error",
                "code": "7405607",
                "ident": "Command::Base",
                "source": "",
                "critical": "no",
                "message": "ambiguous command: ."
            }
        ]
    },
    "ndmErrors": {
        "parse.status.0": "ambiguous command: ."
    }
Link to comment
Share on other sites

  • 0
15 минут назад, denikmenik сказал:

Не получается. Если зайте через putty, то после команды "ip nat" окно думает секунд 5 и пропадает. А если через браузер, (\a после адреса роутера) то вот

 


ERROR: {
    "parse": {
        "prompt": "(config)",
        "status": [
            {
                "status": "error",
                "code": "7405607",
                "ident": "Command::Base",
                "source": "",
                "critical": "no",
                "message": "ambiguous command: ."
            }
        ]
    },
    "ndmErrors": {
        "parse.status.0": "ambiguous command: ."
    }

Вы вводите  "ip nat" или "show ip nat" ?

Проверил и через putty и webcli команда "show ip nat" отрабатывает нормально(информация ввыводится).

Link to comment
Share on other sites

  • 0
1 minute ago, AndreBA said:

Вы вводите  "ip nat" или "show ip nat" ?

Проверил и через putty и webcli команда "show ip nat" отрабатывает нормально(информация ввыводится).

если через putty, то сначала у меня показывается строка (config)>   . Потом я ввожу в неё show - роутер отвечает мне
" Core::Configurator: Done."
потом висит (show)> "сюда я пишу" ip nat
- и ничего не происходит, окно висит 5 секунд и закрывается.

Если взять любой другой параметр типа "ip name-server" то всё показывает нормально.

Link to comment
Share on other sites

  • 0
2 минуты назад, denikmenik сказал:

если через putty, то сначала у меня показывается строка (config)>   . Потом я ввожу в неё show - роутер отвечает мне
" Core::Configurator: Done."
потом висит (show)> "сюда я пишу" ip nat
- и ничего не происходит, окно висит 5 секунд и закрывается.

Если взять любой другой параметр типа "ip name-server" то всё показывает нормально.

Ввел также, как Вы написали, в putty. Команда отработала и вывела информацию. 

Что то у Вас видать "глючит".

Link to comment
Share on other sites

  • 0
8 minutes ago, AndreBA said:

Ввел также, как Вы написали, в putty. Команда отработала и вывела информацию. 

Что то у Вас видать "глючит".

Вот. 

IMG_20200306_161314.jpg

Link to comment
Share on other sites

  • 0

Господа. А подскажите такую вещь. Думаю радикально решить вопрос. Просто выведу его из работы и сброшу на заводские. Файлы конфигурации я понимаю как перенести. А будет ли после этого переноса работать приложение на андроиде. "My.keenetic" которое, или придётся регистрировать заново?
И что ещё может не перенестись( если может конечно) ?

Link to comment
Share on other sites

  • 0
4 минуты назад, denikmenik сказал:

Вот. 

IMG_20200306_161314.jpg

Верю:

Через WebCLI

Скрытый текст

1220583861__009.thumb.png.06ab1cd3c4e028e13bdc457755fc0e3d.png

Через PuTTY:

Скрытый текст

1997053516__010.thumb.png.62a4092736e3d570f6d93ab783214388.png

"Простыни"(вывод) везде большой

Link to comment
Share on other sites

  • 0
3 минуты назад, denikmenik сказал:

Господа. А подскажите такую вещь. Думаю радикально решить вопрос. Просто выведу его из работы и сброшу на заводские. Файлы конфигурации я понимаю как перенести. А будет ли после этого переноса работать приложение на андроиде. "My.keenetic" которое, или придётся регистрировать заново?
И что ещё может не перенестись( если может конечно) ?

Заново приложение, сертификаты на домен если есть, ключи ssh будут новые, и т.д.

Без этих потерь можно так:

 

  • Upvote 1
Link to comment
Share on other sites

  • 0
2 minutes ago, AndreBA said:

Верю:

Через WebCLI

  Hide contents

1220583861__009.thumb.png.06ab1cd3c4e028e13bdc457755fc0e3d.png

Через PuTTY:

  Reveal hidden contents

1997053516__010.thumb.png.62a4092736e3d570f6d93ab783214388.png

"Простыни"(вывод) везде большой

Дома стоит giga3 , тоже проверил, всё работает.

маапр65.jpg

Link to comment
Share on other sites

  • 0
8 минут назад, denikmenik сказал:

А поводу этого бага есть ещё какие то мысли? Ибо сбрасывать хочется в последнюю очередь.

Если есть opkg, попробуйте еще в shell "cat /proc/net/nf_conntrack".

Link to comment
Share on other sites

  • 0
On 3/6/2020 at 3:02 PM, sergeyk said:

Судя по состоянию, у вас очень большое количество сессий.
Покажите вывод команды "show ip nat" в скрытом посте.

Вообщем поступил так - Отключил роутер вообще от всех проводов, сбросил на заводские(прошивка 3.3.12) , потом с помощью загрузки файла накатил 3.3.2, затем уже вернул старую конфигурацию и .... Ничего!  так и остался этот баг (с "Core::Scgi" в логе) Отключал много подозрительных хостов ничего не менялась . Ситуация не очень - Половина озу занята, проц чуть поменьше конеш стал - 5-20%.
В сети где-то 100 устройств.

НО! Опытным путём было выявлено , что если отключить wan, то проц сразу в 0% и мегабайт 10-15 из озу вылетает тут же ( Ну естественно ) 
И ошибка с syslog пропадает ! И можно выполнить команду show nat. Прилагаю файл который удалось получить.
Также на странице морды роутера где кнопка syslog, есть графа "Активные соединения" так вот она пустая, даже после 5 минут ожидания на этой странице! На giga 3 дома сразу появляется статистика портов там.
Ещё заметил, что через My.keenetic на телефоне, в syslog эта ошибка в журнале не появляется никогда. Многократно проверил.

В сети есть один коммутатор hp(J9981A) управляемый, но он не занимается вообще ничем, никаких правил на нём нет. Да и до этого с ним работало всё нормально более года.
Это конечно слегка помпезно, но в принципе так всё работает нормально пока уже 48 часов. 500мбит по спидтесту выдаёт всегда, и других проблем в сети пока не заметил.

ipnat.txt

Edited by denikmenik
Link to comment
Share on other sites

  • 0
On 3/6/2020 at 4:06 PM, AndreBA said:

Ввел также, как Вы написали, в putty. Команда отработала и вывела информацию. 

Что то у Вас видать "глючит".

Сегодня вообще весь лог забит nf conntrack.

Link to comment
Share on other sites

  • 0
2 hours ago, martovich said:

Поделись, как решил?

Как как, интуитивно. Мне сказали куда копать , туда и полез. Хотя может быть не только это решило проблему.
Всю сеть вайршарком перервыл. Оказалось два придуря на своих компах поймали какой-то руткит\вирусню не помню. Но эта штука пыталась положить старый smb. Слава мне, что везде был аудит, и количество попыток было ограничено. Да и все политики безопасности для smbV1 были включены. И все компы были под паролями. Короч. 
Она стучала порты как из локалки , так и из wan. 
По закрывал все эти порты TCP на всех компах и роутере.  Компы полечил от вирусней, и ещё пару политик виндовых внедрил от кривых ручек.
445(smbv2) , 137,138,139,5000,1433.
Не знаю это ли точно помогло. Потому как после того как починил всю сетку, обновил прошивку роутера.
Более не стало таких проблем. 
Короч смб , особенно в1, надо уже уничтожать. Косячный он. Хотя в2 тоже не лучше. До сих пор какие-то заплатки выпускают.
 

Edited by denikmenik
Link to comment
Share on other sites

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.
Note: Your post will require moderator approval before it will be visible.

Guest
Answer this question...

×   Pasted as rich text.   Paste as plain text instead

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.

 Share

  • Recently Browsing   0 members

    • No registered users viewing this page.
×
×
  • Create New...