Можно. Ставите Wireguard или IP-Sec, регистрируете два keendns имени. Второй роутер основной, первый клиент ну и далее 2 WAN по приоритетности.
Подключайтесь VPN не по IP провайдера, а через Keendns имя. Совсем бесшовно не будет, при переключении на основном роутере на резервный инет пройдет несколько минут, пока Keendns обновит IP на другой.