Core::Scgi::ThreadPool: out of memory [0xcffe01f7].

denikmenik · March 5, 2020

Здравствуйте форумчане. Такая проблема случилась. Имеем zyxel ultra 2 , до возникновения всех проблем - прошивка 3.3.10.
Всё было нормально пока не прошли небольшие "улучшения-техработа" в сети.
(небольшие наблюдения, ибо сеть регулярно мониторилась )
Средняя загрузка cpu даже во время пика была 10-30%. Но при этом почти всегда проц так или иначе падал до 1-3%.
Загрузка ram при старом конфиге была 70-90мб. Конфиг был нагруженный много чем. Был qos,doh,dnsAdguard(с кучей настроенных(кому семейная фильтрация, кому без) позиции для разных устройств) , ovpn клиент, для резервного подключения,vlan, даже не знаю сколько всего описывать.
Не знаю где отправная точка проблем. Ибо сразу за один вечер было много чего сделано, и отследить когда началось не могу.
Начну с того,(вдруг на что-то это повлияло) что на серверах в этой сети были удалены виртуалки ( (wmware win7)которые были в режиме бридж, и сетевые адаптеры их тоже были удалены с серверов) . И все правила в ultra2 для портов этих.

Потом была обновлена на резервном zyxel viva с 4г модемом прошивка на неофициальную 2.16. Он подключён к zyxel ultra в 6 lan-порт на нём, и настроен как для резерва.

Потом была обновлена до 3.3.12 на zyxel ultra 2, плюс добавил ко всему ещё и модуль "сервера snmp" . Ребутнулся он, вроде всё завелось.
В морду сразу не зашёл я. Занимался другими делами.
Вроде было всё ок, пока не начал фризить слегка rdp через ovpn. Раньше такого небыло. Сразу это заметил.
Решил зайти в морду , как раз и snmp настроить. Но не тут то было. Проц ultra 2 был 25-50% и не падает меньше никак. Но самое главное ram. После 5 минут старта была уже 150мб занято. И потихоньку дальше заполнялось.
Иногда чуток падало до 130мб. Когда дошло до 190мб, стал паниковать. Решил бэкапнуть run-config и firmware. Self забыл. И обновился на бэту 3.3.13. Но лучше не стало. А то и ещё хуже. Память сжиралась в никуда поминутно. Интерфейс уже прилично лагал, и что успел, это откатиться на 3.3.10 с помощью замены прошивки. В общем-то с памятью стало получше. 100-110мб. Не поднималось выше. Но камень всё равно меньше 20% нагрузки теперь не опускается. А если начинают работать все ovpn туннели(4 штуки) по ним передаётся всякое , но по большей части rdp, то камень под 90%. Раньше мониторил, было 35-45%. Решил удалить всё, оставил только самые базовые! модули и самые нужные правила. Стало сейчас 70-80мб. Но считай пустая прошивка!

И сейчас стал очень долго открываться системный журнал. Где-то секунд 30 приходится ждать и выскакивает такая строка - Core::Scgi::ThreadPool: out of memory [0xcffe01f7].
Пока ничего не добавлял, что было до этого из всех модулей\правил и.т.д. Работает пусть хоть так.
Кто знает , в чём проблема?
Понимаю, много текста, заранее извиняюсь за это.

Edited March 5, 2020 by denikmenik

denikmenik · March 6, 2020

Сообщения с отладкой и всем чем было добавил.

sergeyk · March 6, 2020

31 минуту назад, denikmenik сказал:

Сообщения с отладкой и всем чем было добавил.

Судя по состоянию, у вас очень большое количество сессий.
Покажите вывод команды "show ip nat" в скрытом посте.

denikmenik · March 6, 2020

30 minutes ago, sergeyk said:

Судя по состоянию, у вас очень большое количество сессий.
Покажите вывод команды "show ip nat" в скрытом посте.

Не получается. Если зайте через putty, то после команды "ip nat" окно думает секунд 5 и пропадает. А если через браузер, (\a после адреса роутера) то вот

ERROR: {
    "parse": {
        "prompt": "(config)",
        "status": [
            {
                "status": "error",
                "code": "7405607",
                "ident": "Command::Base",
                "source": "",
                "critical": "no",
                "message": "ambiguous command: ."
            }
        ]
    },
    "ndmErrors": {
        "parse.status.0": "ambiguous command: ."
    }

AndreBA · March 6, 2020

15 минут назад, denikmenik сказал:
Не получается. Если зайте через putty, то после команды "ip nat" окно думает секунд 5 и пропадает. А если через браузер, (\a после адреса роутера) то вот
ERROR: {
    "parse": {
        "prompt": "(config)",
        "status": [
            {
                "status": "error",
                "code": "7405607",
                "ident": "Command::Base",
                "source": "",
                "critical": "no",
                "message": "ambiguous command: ."
            }
        ]
    },
    "ndmErrors": {
        "parse.status.0": "ambiguous command: ."
    }

Вы вводите "ip nat" или "show ip nat" ?

Проверил и через putty и webcli команда "show ip nat" отрабатывает нормально(информация ввыводится).

denikmenik · March 6, 2020

1 minute ago, AndreBA said:

Вы вводите "ip nat" или "show ip nat" ?

Проверил и через putty и webcli команда "show ip nat" отрабатывает нормально(информация ввыводится).

если через putty, то сначала у меня показывается строка (config)> . Потом я ввожу в неё show - роутер отвечает мне
" Core::Configurator: Done."
потом висит (show)> "сюда я пишу" ip nat
- и ничего не происходит, окно висит 5 секунд и закрывается.

Если взять любой другой параметр типа "ip name-server" то всё показывает нормально.

AndreBA · March 6, 2020

2 минуты назад, denikmenik сказал:

если через putty, то сначала у меня показывается строка (config)> . Потом я ввожу в неё show - роутер отвечает мне
" Core::Configurator: Done."
потом висит (show)> "сюда я пишу" ip nat
- и ничего не происходит, окно висит 5 секунд и закрывается.

Если взять любой другой параметр типа "ip name-server" то всё показывает нормально.

Ввел также, как Вы написали, в putty. Команда отработала и вывела информацию.

Что то у Вас видать "глючит".

denikmenik · March 6, 2020

8 minutes ago, AndreBA said:

Ввел также, как Вы написали, в putty. Команда отработала и вывела информацию.

Что то у Вас видать "глючит".

Вот.

denikmenik · March 6, 2020

Господа. А подскажите такую вещь. Думаю радикально решить вопрос. Просто выведу его из работы и сброшу на заводские. Файлы конфигурации я понимаю как перенести. А будет ли после этого переноса работать приложение на андроиде. "My.keenetic" которое, или придётся регистрировать заново?
И что ещё может не перенестись( если может конечно) ?

AndreBA · March 6, 2020

4 минуты назад, denikmenik сказал:

Вот.

Верю:

Через WebCLI

Скрытый текст

Через PuTTY:

Скрытый текст

"Простыни"(вывод) везде большой

r13 · March 6, 2020

3 минуты назад, denikmenik сказал:

Господа. А подскажите такую вещь. Думаю радикально решить вопрос. Просто выведу его из работы и сброшу на заводские. Файлы конфигурации я понимаю как перенести. А будет ли после этого переноса работать приложение на андроиде. "My.keenetic" которое, или придётся регистрировать заново?
И что ещё может не перенестись( если может конечно) ?

Заново приложение, сертификаты на домен если есть, ключи ssh будут новые, и т.д.

Без этих потерь можно так:

denikmenik · March 6, 2020

2 minutes ago, AndreBA said:

Верю:

Через WebCLI

Hide contents

Через PuTTY:

Reveal hidden contents

"Простыни"(вывод) везде большой

Дома стоит giga3 , тоже проверил, всё работает.

denikmenik · March 6, 2020

А поводу этого бага есть ещё какие то мысли? Ибо сбрасывать хочется в последнюю очередь.

sergeyk · March 6, 2020

8 минут назад, denikmenik сказал:

А поводу этого бага есть ещё какие то мысли? Ибо сбрасывать хочется в последнюю очередь.

Если есть opkg, попробуйте еще в shell "cat /proc/net/nf_conntrack".

denikmenik · March 10, 2020

On 3/6/2020 at 3:02 PM, sergeyk said:

Судя по состоянию, у вас очень большое количество сессий.
Покажите вывод команды "show ip nat" в скрытом посте.

Вообщем поступил так - Отключил роутер вообще от всех проводов, сбросил на заводские(прошивка 3.3.12) , потом с помощью загрузки файла накатил 3.3.2, затем уже вернул старую конфигурацию и .... Ничего! так и остался этот баг (с "Core::Scgi" в логе) Отключал много подозрительных хостов ничего не менялась . Ситуация не очень - Половина озу занята, проц чуть поменьше конеш стал - 5-20%.
В сети где-то 100 устройств.

НО! Опытным путём было выявлено , что если отключить wan, то проц сразу в 0% и мегабайт 10-15 из озу вылетает тут же ( Ну естественно )
И ошибка с syslog пропадает ! И можно выполнить команду show nat. Прилагаю файл который удалось получить.
Также на странице морды роутера где кнопка syslog, есть графа "Активные соединения" так вот она пустая, даже после 5 минут ожидания на этой странице! На giga 3 дома сразу появляется статистика портов там.
Ещё заметил, что через My.keenetic на телефоне, в syslog эта ошибка в журнале не появляется никогда. Многократно проверил.

В сети есть один коммутатор hp(J9981A) управляемый, но он не занимается вообще ничем, никаких правил на нём нет. Да и до этого с ним работало всё нормально более года.
Это конечно слегка помпезно, но в принципе так всё работает нормально пока уже 48 часов. 500мбит по спидтесту выдаёт всегда, и других проблем в сети пока не заметил.

ipnat.txt

Edited March 10, 2020 by denikmenik

denikmenik · March 10, 2020

В файле каша-малаша конечно. Наверно позднее пришлю нормальный если требуется.

Edited March 10, 2020 by denikmenik

denikmenik · March 10, 2020

Ребят, есть мысли?

denikmenik · March 11, 2020

On 3/6/2020 at 4:06 PM, AndreBA said:

Ввел также, как Вы написали, в putty. Команда отработала и вывела информацию.

Что то у Вас видать "глючит".

Сегодня вообще весь лог забит nf conntrack.

denikmenik · March 11, 2020

Спасибо всем. denikmenik Тебе особенно , всё решил .

Edited March 11, 2020 by denikmenik

martovich · September 6, 2020

On 3/11/2020 at 7:48 PM, denikmenik said:

Спасибо всем. denikmenik Тебе особенно , всё решил .

Поделись, как решил?

denikmenik · September 6, 2020

2 hours ago, martovich said:

Поделись, как решил?

Как как, интуитивно. Мне сказали куда копать , туда и полез. Хотя может быть не только это решило проблему.
Всю сеть вайршарком перервыл. Оказалось два придуря на своих компах поймали какой-то руткит\вирусню не помню. Но эта штука пыталась положить старый smb. Слава мне, что везде был аудит, и количество попыток было ограничено. Да и все политики безопасности для smbV1 были включены. И все компы были под паролями. Короч.
Она стучала порты как из локалки , так и из wan.
По закрывал все эти порты TCP на всех компах и роутере. Компы полечил от вирусней, и ещё пару политик виндовых внедрил от кривых ручек.
445(smbv2) , 137,138,139,5000,1433.
Не знаю это ли точно помогло. Потому как после того как починил всю сетку, обновил прошивку роутера.
Более не стало таких проблем.
Короч смб , особенно в1, надо уже уничтожать. Косячный он. Хотя в2 тоже не лучше. До сих пор какие-то заплатки выпускают.

Edited September 6, 2020 by denikmenik

Sign In

Core::Scgi::ThreadPool: out of memory [0xcffe01f7].

Question

Link to comment

Share on other sites

20 answers to this question

Recommended Posts

Link to comment

Share on other sites

Link to comment

Share on other sites

Link to comment

Share on other sites

Link to comment

Share on other sites

Link to comment

Share on other sites

Link to comment

Share on other sites

Link to comment

Share on other sites

Link to comment

Share on other sites

Link to comment

Share on other sites

Link to comment

Share on other sites

Link to comment

Share on other sites

Link to comment

Share on other sites

Link to comment

Share on other sites

Link to comment

Share on other sites

Link to comment

Share on other sites

Link to comment

Share on other sites

Link to comment

Share on other sites

Link to comment

Share on other sites

Link to comment

Share on other sites

Link to comment

Share on other sites

Join the conversation

Recently Browsing 0 members