Problema Layer2 con piu router

[maxumi]

Ciao, indico subito il problema.

Mi trovo a gestire una rete MAN wifi totalmente in bridge con diversi devices collegati. circa 500. Lasciamo stare che è gia tanto che funzioni e via dicendo, per il fatto che è in bridge.
In rete ho due router posizionati entrambi nello stesso sito ma che gestiscono connettività di carrier differenti.

Internet
I I
I I
R1 R2
I I
Switch
I
I
Vari link radio tutti in bridge
I
I
Alcuni switch in giro con RSTP attivato ed altri no
I
CPE clienti

Il problema che si presenta è che in modo completamente random dal Router2 non riesco a raggiungere alcune CPE in giro per la rete. o Meglio il ping funziona quasi sempre sia da R1 che R2 verso le CPE e viceversa, invece tutto il traffico che richiede un ack delle sessioni no.

R1 R2
I I
ping ok ping ok
I I
SSH ok SSH no
I I
CPE CPE

Essendo tutto in bridge la cosa mi sembra molto strana, unico dominio di broadcast, dovrebbe arrivare tutto da pertutto!!!
Indico i device: R1 è una RB100, R2 è una CCR1036, Switch c'è un Catalyst 2960 al centro e varie RB750 etc in giro.

Avreste qualche consiglio per indicarmi dove andare a sbattere la testa per capire questo problema?

[maxumi]

il grafico si è un po spaginato, se qualcuno può darmi supporto e non è chiaro lo reinserisco.

[ppraz]

Ciao Max,
come ti dicevo in privato il problema è di difficile diagnosi, prova a disabilitare il discovery sulla wan delle CPE (almeno alcune), a verificare che STP non intervenga da nessuna parte e, se così è, disabilitalo completamente.
Non sapevo del catalyst 2960, dai un'occhiata anche lì, il comando dovrebbe essere banalmente
#show spanning-tree
Infine se ci sono link in bonding potrebbe essere un'idea disabilitarlo a entrambi gli estremi... altro adesso non mi viene in mente sorry

[maxumi]

Ora il problema si è evoluto.

Oltre a quanto indicato prima. (ovvero alcuni device rispondono al Ping ma non a sessioni tcp)
Ora ho trovato delle CPE ma anche RB varie che pingando il router 1 e 2 da loro stesse, entrambi rispondono.
Invece pingando dal Router 2 queste CPE non rispondono. Vedendo le tabelle ARP sia di CPE che Router, sono presenti le entry ARP dei rispettivi e sono anche corrette.
Invece pingando dal Router 1 risponde tutto. Inoltre pingando anche da altre RB presenti nella rete le varie CPE, sembra non ci siano problemi.
Altro dettaglio il problema si presenta sia su CPE raggiungibili con svariati hop in bridge, sia su dispositivi collegati in eth direttamente sulla CCR.

A questo punto penso sempre più sia un problema della CCR1036-12G-4s

[ppraz]

Concordo, prova un upgrade (magari in orari non critici )
Se persiste dopo l'upgrade allora potrebbe essere che nella CCR hai messo delle regole "strane" che ingenerano loop o simili...
Mi viene da pensare a spanning tree o link in bonding, altro non saprei che dirti

[maxumi]

Aggiorno con i risultati dei test:

In una CCR gemella (ma non in produzione) ho caricato la configurazione del router.
1_ Prima del caricamento funzionava tutto correttamente, dopo il caricamento presenta la stessa problematica.
2_ Ho notato che disattivando le regole di NAT in Same e SRC-Nat lasciando attive quelle di NEtmap e DST-Nat tornavo a pingare tutto correttamente.
3_ Facendo la stessa cosa sul Router in produzione, non cambiava assolutamente niente... (cioe non funzionava lo stesso)
3_ Ho effettuato upgrade a 6.10. Dopo questa operazione non raggiungevo più niente. Provando a pingare alcune CPE, 1 volta mi rispondevano e 20 no, o 40 no, o 5 no. (BHAAA totale sconforto)


Inoltre ho assodato con certezza quanto segue:
A_ Se una CPE non ha un GW allora non risponde al ping da questo Router.
(ping da GW a CPE, non va / ping da CPE a GW, risponde / ssh da GW a CPE, non va)
B_ Se la CPE ha un GW (qualunque esso sia, anche sbagliato) risponde bilateralmente al ping, ma non vanno sessione SSH.
(ping da GW a CPE, risponde / ping da CPE a GW, risponde / ssh da GW a CPE, non va)
C_ Se imposto sulla CPE come GW l'IP del Router in questione, allora funziona tutto.
(ping da GW a CPE, risponde / ping da CPE a GW, risponde / ssh da GW a CPE, funziona)

[maxumi]

Provo ad inserire uno schema della logica di come è configurata la CCR, magari ho fatto qualche errore.


http://img42.com/AkcLR+

Spero sia sufficientemente chiaro.

[ppraz]

2_ Ho notato che disattivando le regole di NAT in Same e SRC-Nat lasciando attive quelle di NEtmap e DST-Nat tornavo a pingare tutto correttamente.
3_ Facendo la stessa cosa sul Router in produzione, non cambiava assolutamente niente... (cioe non funzionava lo stesso)

Forse ci siamo: dipende dalle regole di NAT che non tengono conto dello stato della connessione ma sono "statiche" ossiamo applicate sempre e comunque (non solo sulle connessioni "new")
Il motivo per cui disabilitandole su quella in produzione non cambia nulla è perchè le sessioni rimangono attive a causa del "connection tracking"
Per vedere se sono davvero solo disabilita le nat, poi vai in ip -> firewall -> connection -> tracking = no
Le nat di fatto ti muoiono tutte e dovresti riuscire a pingare
Se così fosse devi "correggere" le regole di nat, magari fammene vedere una tipo e vediamo come si può correggere.

[maxumi]

MITICO!!! è lui. disattivando il tranking torna a fungere. (e pensare che mi sono sempre chiesto come dovevo fare per chiudere tutte le sessioni, ed ho sempre pensato che bastasse cancellare tutte le entry di connection) sei veramente un Mito, mi hai insegnato anche questa!!! :-D

[ppraz]

Ti ringrazio, ma ancora non abbiamo risolto, il fatto che un ping fra due host nello stesso broadcast domain e stessa subnet non vada è strano davvero
Lì però mi sa che il problema è da imputare alle interfacce bridge, o forse proprio ai link aggregati