Запись файла более 50гб на NTFS

[Unfaithful]

Дубль проблемы многомесячной давности.  На 3.7 alpha 5 никуда не исчезла.

При добавлении торрент файла «весом» более 50гб, роутер уходит в ребут. Файловая система NTFS.

Есть свежие новости ?

[vasek00]

В 16.02.2022 в 15:36, vst сказал:

получите версию с отключенным sparse.

Вопрос в 38A6 по ощущению опять отключено sparse или нет для NTFS и если да то какие мысли для будущего останется или нет?

 

Если для 37 журнал изменений

Скрытый текст

• NTFS: отключена поддержка sparse-файлов для предотвращения нестабильной работы системы под нагрузкой [NDM-2076]
• TSMB: исправлен сбой в работе системы при интенсивном использовании IPC$ и spoolss [SYS-487]

то для 38 журнал изменений

Скрытый текст

TSMB: исправлен сбой в работе системы при интенсивном использовании IPC$ и spoolss [SYS-487]

 

Проверка торрента на 38А6 с файлом 26GB, поведение странное для одной закачки

Скрытый текст

 

Как видно на скрине получили на одной закачки 26GB

1. 12-42:30 старт закачки в торрент качалке

2. работа sda HDD с 12-42:30 до 12-48 выделение места (загрузка его под 99% utilization)

3. 12-48 пошли данные с двух интерфейсов интернета ppp0 и eth2.9 или на общем скрине network

При повторение его второй раз все аналогично.

В верху при закачке свыше 50GB и на 38А5 выглядело во много раз лучше, т.е. потоки данных шли сразу без какого либо времени при "preallocation": 1 в настройках торрента в 38А5-38А6

 

[Unfaithful]

Много букав.

Короче будет так: на 3.7.3 всё работает как раньше, всё хорошо (почти).

На других прошивках работоспособной ntfs нет, от устройства не зависит. Планируют на релизе 3.8 новый ntfs прикрутить , какой именно - нет у меня инфы, вроде как разработчика нынешнего ждут, когда он поправит.

А почему бы, действительно, не рассмотреть paragon ?

[r777ay]

14 минуты назад, Unfaithful сказал:

на 3.7.3 всё работает как раньше, всё хорошо (почти).

+1

ЗЫ: БД DLNA ~6ТБ, сканируется в 2а раза быстрей.

[BACbKA]

45 минут назад, Unfaithful сказал:

А почему бы, действительно, не рассмотреть paragon ?

Ей богу, как дети малые... кто за это платить будет? Всё ж на самом деле очень просто... А потом возникает плач Израиля: "кинетики дорогие, почему так? Железо не топовое..."

Да потому, что хотелок овердофига. Вот почему.

Edited February 20, 2022 by BACbKA

[BACbKA]

1 минуту назад, krass сказал:

А можно, пожалуйста, аргументированно?

Когда заявляли про поддержку ntfs где-нибудь была звездочка или сноска, что поддержка частичная и с некоторыми ограничениями? Нет. Посему все вышенаписанные требования вполне справедливы!

Мои аргументы выше - парагоновский драйвер стоит других денег, чем тот, который сейчас есть. Это главный и единственный аргумент. Он же и основной. В корне всех разногласий стоит рубль.

[krass]

Только что, BACbKA сказал:

Мои аргументы выше - парагоновский драйвер стоит других денег, чем тот, который сейчас есть. Это главный и единственный аргумент. Он же и основной. В корне всех разногласий стоит рубль.

А вы проверяли сайт парагона? Даже в бесплатной версии есть рязреженные файлы!
Ознакомьтесь внимательно: https://www.paragon-software.com/ru/home/ntfs-linux-professional/

P.S. Значит прежде чем писать на коробках о функциях...кинетику нужно было проверить....чтоб не сесть  в лужу....и речь не только про ntfs....

[BACbKA]

8 минут назад, krass сказал:

А вы проверяли сайт парагона? Даже в бесплатной версии есть рязреженные файлы!
Ознакомьтесь внимательно: https://www.paragon-software.com/ru/home/ntfs-linux-professional/

P.S. Значит прежде чем писать на коробках о функциях...кинетику нужно было проверить....чтоб не сесть  в лужу....и речь не только про ntfs....

Вот эта страница гораздо информативней.... До кучи ещё и вот эта

Edited February 20, 2022 by BACbKA

[krass]

1 минуту назад, BACbKA сказал:

До кучи ещё и вот эта

Так я эту ссылку и выкладывал.
Вот вам скриншот в качестве доказательства:

Скрытый текст

 

 

[TheBB]

5 часов назад, krass сказал:

А можно, пожалуйста, аргументированно?

Когда заявляли про поддержку ntfs где-нибудь была звездочка или сноска, что поддержка частичная и с некоторыми ограничениями? Нет. Посему все вышенаписанные требования вполне справедливы!

Тут звёздочек или сносок о глючности NTFS тоже нет. На вскидку (если прошерстить интернеты, вылезет не один десяток, а ФС то родная для ОСи)...

[Unfaithful]

39 минут назад, TheBB сказал:

На вскидку

Ну хоть там починили, а тут оказывается невозможно… 14 месяцев (это только с момента обнаружения мною) прошло, а сторонних патчей как не было, так и нет. 
И тут напрашивается вопрос, либо это не лечится (хотя вроде даже сторонним лекарствам поддаётся), либо врачи не очень… 

Сторонний патч в нашем случае: выбрать другого поставщика, а не tuxera, которая вам баг с записью файлов свыше 50 гб убирала 8(!!!) месяцев. И то обосрались, угробили другое.

Edited February 20, 2022 by Unfaithful

[Vorobyev_A]

13 часа назад, TheBB сказал:

Тут звёздочек или сносок о глючности NTFS тоже нет. На вскидку (если прошерстить интернеты, вылезет не один десяток, а ФС то родная для ОСи)...

Баг Windows 10 с повреждением файловой системы NTFS исправили сторонним патчем / Хабр (habr.com)

Просветите, как это связано с Keenetic и более детально с Transmission?

[TheBB]

13 часа назад, Unfaithful сказал:

Ну хоть там починили, а тут оказывается невозможно…

и

4 минуты назад, Vorobyev_A сказал:

Просветите, как это связано с Keenetic и более детально с Transmission?

1 Ответ был на высер аффтаритетное икпердное мнение, поднятое в топ, о "звёздочках и мелком шрифте".

2 Где я написал мелким/средним/крупным (выбрать нужное) шрифтом, со звёздами и без, что не будет починено/не возможно починить/останется as is?

3 Напомните дату рождения этой ФС, и приведите статистику "безупречной работы" работы в родной для неё ОСе. Кстати, как там с поддержкой ext* в Windows? 

Если у кого-то пригорает накинуть, готовьтесь получить ответку (мой французский далёк от совершенства и отягощён полной нетолерантностью чуть менее, чем полностью)

[Vorobyev_A]

39 минут назад, TheBB сказал:

и

1 Ответ был на высер аффтаритетное икпердное мнение, поднятое в топ, о "звёздочках и мелком шрифте".

2 Где я написал мелким/средним/крупным (выбрать нужное) шрифтом, со звёздами и без, что не будет починено/не возможно починить/останется as is?

3 Напомните дату рождения этой ФС, и приведите статистику "безупречной работы" работы в родной для неё ОСе. Кстати, как там с поддержкой ext* в Windows? 

Если у кого-то пригорает накинуть, готовьтесь получить ответку (мой французский далёк от совершенства и отягощён полной нетолерантностью чуть менее, чем полностью)

С удовольствием отвечу - как только покажете связь между Windows и Keenetic.

Если плохо где-то "там" - никак не оправдание "сделаем  плохо и здесь".

Edited February 21, 2022 by Vorobyev_A

[vasek00]

3 минуты назад, Vorobyev_A сказал:

С удовольствием отвечу - как только покажете связь между Windows и Keenetic.

О какой связи идет речь, о родственной о дружеской или еще какой?

https://www.tuxera.com/

https://www.tuxera.com/blog/microsoft-and-tuxera-strengthen-partnership-through-tuxera-smb-server/

Скрытый текст

Цитата

REDMOND, Wash., and HELSINKI, Finland — Sept. 14, 2016 — On Wednesday, Microsoft Technology Licensing LLC and Tuxera Inc. announced they have expanded their collaboration to Server Message Block (SMB) technology, fueling innovation in a range of fields and enhancing business solutions for customers around the globe. The collaboration comes as Tuxera launches its new Tuxera SMB (now called Fusion File Share by Tuxera as of 2019) as a drop-in replacement for the open-source Samba and other alternative SMB/Common Internet File System (CIFS) servers, ideally suited for embedded platforms.

“All the existing SMB/CIFS servers on the market, both open source and proprietary, have years of legacy code as added weight. This makes them not optimal for embedded use due to limited CPU, memory constraints and demanding support requirements,” said Szabolcs Szakacsits, Tuxera’s president and chief technology officer.

“Microsoft has helped lead the way in developing connected technologies, and SMB is integral to our server and business solutions,” said Nick Psyhogeos, president of Microsoft Technology Licensing. “Agreements like ours with Tuxera will accelerate the pace of innovation and shape industries that depend on a near-universal language for file transfers across networks.”

и т.д.

https://www.tuxera.com/products/tuxera-ntfs-embedded/#performance

Скрытый текст

Цитата

Microsoft NTFS by Tuxera is a commercial-grade file system implementation that brings built-in, high-performance support for Windows® NTFS™-formatted USB, SD™, HDD, and SSD storage media to any device. Our proprietary NTFS embedded driver powers over a billion devices worldwide and is compatible with all the major operating systems.

Support for all NTFS versions

Version 1.0, 1.1, 1.2, 3.0 and 3.1, including XP, Vista, Windows 7, Windows 8.0, Windows 8.1, and Windows 10

и т.д.

https://www.tuxera.com/products/fusion-file-share-smb-enterprise/

Скрытый текст

Цитата

High-performance, scalable SMB server

With its modular and threaded design, our cutting-edge kernel-space deployment boosts I/O throughput, reduces CPU usage, has a low memory footprint, and enables fast, easy handling of multiple simultaneous connections to shared resources.

Extensive SMB-protocol support

Fusion File Share supports SMB 3.1.1 and previous versions (1.0, 2.0, 2.1). It works reliably with all SMB/CIFS protocols to ensure file-sharing interoperability across any network. We bring you comprehensive feature support including pre-authentication integrity, persistent handles, DFS support, VFS stacking, SMB over RDMA, SMB multichannel, shadow copy, compression, and plenty more.

и т.д.

https://gist.github.com/1Jeff1/8b9c86001d73973dc81fc8c6c72453bc

Для справки e7350-boot.log

Цитата

[    6.119220] usbcore: registered new interface driver hub
[    6.124777] usbcore: registered new device driver usb
[    6.133415] tuxera_procfs: module license 'Commercial.  For support email fs-support@tuxera.com' taints kernel.
[    6.143548] Disabling lock debugging due to kernel taint
[    6.149354] Registering Tuxera Proc FS module.
[    6.180716] Tuxera HFS+ driver 3019.8.5d
[    6.184494] Built against headers 4.4.177 #0 SMP Thu Mar 5 07:48:32 UTC 2020 mips
[    6.192177] Running on kernel 4.4.177 #0 SMP Mon Jun 8 10:48:25 UTC 2020 mips
[    6.218825] Tuxera NTFS driver 3018.6.5.3 [Flags: R/W MODULE].
[    6.224708] Built against headers 4.4.177 #0 SMP Thu Mar 5 07:48:32 UTC 2020 mips
[    6.232199] Running on kernel 4.4.177 #0 SMP Mon Jun 8 10:48:25 UTC 2020 mips
[    6.267790] Loading TSMB module version 3020.2.19.1.
[    6.272831] Built against headers 4.4.177 #0 SMP Thu Mar 5 07:48:32 UTC 2020 mips
[    6.280345] Running on kernel 4.4.177 #0 SMP Mon Jun 8 10:48:25 UTC 2020 mips
[    6.287601] TSMB module version 3020.2.19.1 loaded.

Данный dmesg уже старый но не удивлюсь если на текущий день там версия такая же как в Keenetic

[krass]

11 минуту назад, Vorobyev_A сказал:

С удовольствием отвечу - как только покажете связь между Windows и Keenetic.

Если плохо где-то "там" - никак не оправдание "сделаем  плохо и здесь".

Когда нечего сказать в своё оправдание только и остается, что переход на личности и быстрая смена темы в стиле " а вот у них там" " а вы посмотрите , что там еще хуже всё" " ты туда не ходи ты сюда ходи".....

У человека знатно пригорело и чтобы хоть как-то показать, что именно здесь он "король"....только такая риторика и остается....

[Vorobyev_A]

19 минут назад, vasek00 сказал:

О какой связи идет речь, о родственной о дружеской или еще какой?

https://www.tuxera.com/

https://www.tuxera.com/blog/microsoft-and-tuxera-strengthen-partnership-through-tuxera-smb-server/

  Показать содержимое

и т.д.

https://www.tuxera.com/products/tuxera-ntfs-embedded/#performance

  Показать содержимое

и т.д.

https://www.tuxera.com/products/fusion-file-share-smb-enterprise/

  Показать содержимое

и т.д.

https://gist.github.com/1Jeff1/8b9c86001d73973dc81fc8c6c72453bc

Для справки e7350-boot.log

Данный dmesg уже старый но не удивлюсь если на текущий день там версия такая же как в Keenetic

Мой вивази выше пытается оправдать проблемы Keenetic аргументом "А в Америке негров линчуют".

О какой связи идет речь, о родственной о дружеской или еще какой уточнить лучше у него.

[vasek00]

43 минуты назад, Vorobyev_A сказал:

Мой вивази выше пытается оправдать проблемы Keenetic аргументом "А в Америке негров линчуют".

О какой связи идет речь, о родственной о дружеской или еще какой уточнить лучше у него.

Сообщение чье которое ниже

С удовольствием отвечу - как только покажете связь между Windows и Keenetic.

 

 

22 часа назад, Unfaithful сказал:

Много букав.

Короче будет так: на 3.7.3 всё работает как раньше, всё хорошо (почти).

На других прошивках работоспособной ntfs нет, от устройства не зависит.

Без букв не куда, можно конечно и в двух словах написать - "в моем случае ПО 38 устраивает в том числе и торрент качалка с NTFS разделом" это к вопросу На других прошивках работоспособной ntfs нет

[Vorobyev_A]

11 минуту назад, vasek00 сказал:

Сообщение чье которое ниже

С удовольствием отвечу - как только покажете связь между Windows и Keenetic.

 

 

Без букв не куда, можно конечно и в двух словах написать - "в моем случае ПО 38 устраивает в том числе и торрент качалка с NTFS разделом" это к вопросу На других прошивках работоспособной ntfs нет

Пожалуйста, ознакомтесь полностью с содержимым, которое он дал в ссылках, и выведите из этого материала связь с работой NTFS в Keenetic.

От него до сих пор нет пояснений.

Может Вы найдете причинно-следственую связь?

[vasek00]

17 минут назад, Vorobyev_A сказал:

Может Вы найдете причинно-следственую связь?

Я диалог вел с вами и по вашим высказываниям - как только покажете связь между Windows и Keenetic.

И показал как я это вижу правильно/не правильно это другой вопрос, ссылками на TUXERA которая имеет отношение к NTFS для Windows и NTFS/SMB/CIFS к Keentic.  Так же пример другой компании которая использует в своих роутерах также TUXERA.

 

Edited February 21, 2022 by vasek00

[vasek00]

vst

Повторил тест на 38А6 именно на момент старта закачки в торрент сервисе файла на 68GB, все нормально, о вчерашней пробе сказать не чего не могу почему так получилась, так как сегодня сделал то что и вчера.

В итоге все ОК, раздел NTFS, версия ПО 38А6

Скрытый текст

 

Удаление данной закачки так же не вызвало каких либо проблем.

Edited February 21, 2022 by vasek00

[Vorobyev_A]

1 минуту назад, vasek00 сказал:

Я диалог вел с вами и по вашим высказываниям - как только покажете связь между Windows и Keenetic.

И показал как я это вижу правильно/не правильно это другой вопрос, ссылками на TEXURA которая имеет отношение к NTFS для Windows и NTFS/SMB/CIFS к Keentic.  Так же пример другой компании которая использует в своих роутерах также TEXURA.

 

С Вами я и не спорю.

Нюанс в том, что Вы сперва начали обсуждать мой комментарий до того, как ознакомились с текстом по его ссылкам.

Или Вы тоже считаете, что Jonas L в Твиттере: «NTFS VULNERABILITY CRITICALITY UNDERESTIMATED - There is a specially nasty vulnerability in NTFS right now. Triggerable by opening special crafted name in any folder anywhere.' The vulnerability will instant pop up complaining about yuor harddrive is corrupted when path is opened https://t.co/E0YqHQ369N» / Твиттер (twitter.com) непосредствено применима на Keenetic?

А ведь ещё нужно специально воспроизвести баг.

 

[vasek00]

1 час назад, Vorobyev_A сказал:

С Вами я и не спорю.

Нюанс в том, что Вы сперва начали обсуждать мой комментарий до того, как ознакомились с текстом по его ссылкам.

Признаюсь я их не смотрел ссылки про которые вы говорите.

Просто упоминание про TUXERA идет уже очень давно (если посмотреть поиском по данному форуму) например

 

[Unfaithful]

5 часов назад, vasek00 сказал:

В итоге все ОК, раздел NTFS, версия ПО 38А6

Вам тогда надо оказать помощь тех.поддержке, может они выяснят в чём заключаются настройки системы для успешной работы ntfs.

[vasek00]

1 час назад, Unfaithful сказал:

Вам тогда надо оказать помощь тех.поддержке, может они выяснят в чём заключаются настройки системы для успешной работы ntfs.

Так как продукт коммерч. то

1. нужно описать проблему

2. после описание проблемы на стенде разработчик пытаеться ее повторить ели да то тех.задание уйдет, в противном случае это гадание на коф.гуще

Например у вас проблема в моем случае нет, можно конечно поставить 37 чтоб как у вас и попробовать конечно, а что если так же будет все ОК.

 

Edited February 21, 2022 by vasek00

[Unfaithful]

Моя ( и не только) проблема подтверждена, пару месяцев ежедневных испытаний и всё готово. Очередь за вами, помогите нам.

[bigpu]

11 минуту назад, vasek00 сказал:

Так как продукт коммерч. то

Это с одной стороны понятно, я читал ответ разраба за способ решения этого и любого кейса, но, срок решения, конечно, это что-то. Напрашивается может то, что алгоритм решения багов оптимизировать как-то?

[vasek00]

11 час назад, Unfaithful сказал:

Моя ( и не только) проблема подтверждена, пару месяцев ежедневных испытаний и всё готово. Очередь за вами, помогите нам.

А как на счет работы того же NTFS но на сервисе qBitorrent у пользователей?

 

Моя ( и не только) проблема подтверждена - вопрос только в том что если учесть что роутер один и тот же отличие у пользователей в контроллере USB-SATA + HDD может фишка в этом.

Ниже скрин qBittorrent на той же раздаче что и выше (файл 68GB) версия ПО 38A6

Скрытый текст

1. Вход в WEN сервиса qBittorrent проверка настройки,

/dev/sda1            972028924 732034736 239994188  75% /tmp/mnt/0........0

2. где-то запуск закачки

Виден интервал времени при котором бурно работает HDD некоторое время (1мин) но видно так же что идут данные.

Некоторое время спустя

/dev/sda1            972028924 739926288 232102636  76% /tmp/mnt/0...0

Данный скрин qBittorrent можно сравнить с встроенной качалкой в ПО роутера.

Пока писал на 8:50 было скачено 21,7GB из 68GB

 

[vasek00]

12 часа назад, bigpu сказал:

 Напрашивается может то, что алгоритм решения багов оптимизировать как-то?

Ваше предложение, на то он и форум.

Или как ваш отзыв отправить в TUXERA - взял закачку 50GB она не пошла вылетело/зависло что-то и что в итоге будет.

Проблема должна быть технически описана поэтому на данном форуме

Цитата

Форум Keenetic Community поддерживается разработчиками ПО интернет-центров Keenetic (KeeneticOS). Мы активно принимаем участие в беседах на форуме, потому что лично хотим сделать наши устройства лучше, исправляя проблемы и недочеты, а также добавляя новые функции.

Подразумевается, что на нашем форуме пишут люди заинтересованные и технически подкованные, способные на минимальный анализ происходящего и готовые к нестандартным способам отладки. Если вы не ощущаете в себе сил и желания разбираться в проблеме досконально, помогать это делать нам и ждать результата — пожалуйста, не тратьте здесь время. Поручите это специальным людям — официальной поддержке help.keenetic.net.

но даже для ТП чем больше будет данных тем лучше.

Как сказал выше на стенде например при проверки двух-трех-четырех или х-з сколько BOX с HDD/SDD данную проблему нужно поймать и когда разработчики ее видят, то они конкретно так и пишут, что проблема подтверждена и ТЗ отправлено на устранение неисправности.

 

Есть так же много пользователей (отзывы на других форумах) у которых на разделе NTFS работает.

 

[vasek00]

373 - предварительная на встроенной торрент качалке и на том же диске и при параметре "preallocation": 1" при не изменение кеша диска по умолчанию 4МБ. Закачка одна (она же была выше) на 68GB файл.

При проверке данного теста закачки все стартовало и качало, естественно ждать не стал конца, загрузилось  16GB и остановил, далее удалил - проблем не заметил.

Скрытый текст

Как и скрины выше старт одной торрент закачки. На что обратил внимание до старта

/dev/sda1            972028924 732034736 239994188  75% /tmp/mnt/0....0

первая минута после старта

/dev/sda1            972028924 802536984 169491940  83% /tmp/mnt/01....0

но на диске в это время интенсивности нет, далее поток данных и запись

 

На 38А6 такого нет при старте, да и с выделением места (при контроле через df) так же при preallocation-1, например (0 = Off, 1 = Fast, 2 = Full) или

Цитата

При параметре по-умолчанию (1), цепочка файла пытается сохраниться в одном месте на HDD, забронированном под нее файловой системой. Но так как блоки поступают для записи неупорядоченно, то возникает жуткая неразбериха. Для механики HDD проблематично считать файл, блоки которого на “линейной” структуре диска идут в бесбашенно-произвольном порядке.
При preallocation=2, файл создается целиком при появлении первого скачанного блока, ему предназначенного. В этом случае создается упорядоченная область на HDD, заполненная нулями, и порядком записи в файл распоряжается сам Transmission-клиент, а не файловая система.

38A6

/opt/etc/init.d # date
Tue Feb 22 13:14:54 MSK 2022
/opt/etc/init.d # df
...
/dev/sda1            972028924 732034908 239994016  75% /tmp/mnt/0...0


данные пошли по закачке

Tue Feb 22 13:17:33 MSK 2022
/opt/etc/init.d # df
...
/dev/sda1            972028924 732863032 239165892  75% /tmp/mnt/0....0

 

Да и видна загрузка проца у которого CPU0/1 под 100% (system) не kernel

Ремарка во всех тестах - отдача равна 0.

 

Из всего проделанного мной более привлекательно использование версии 38 в отличие от 37.