Onderwerp: BGP probleem

Hallo,

Dit weekend probeerde ik een BGP sessie op te zetten om een IP range (185.77.197.0.24) te announcen bij onze nieuwe provider (Bitency in Global-E datacenter te Rijen). Op poort 1 van de Mikrotik Router (voorlopig een RB2011UiAS-2HnD-IN, dit zou later vervangen worden door een CCR) hebben we de UTP naar de provider geplaatst. Op poort 2 een simpele client (Raspberry PI met IP 185.77.197.197). Bizar punt : vanuit de Raspberry PI kunnen we de router pingen (185.77.197.1), vanuit de router kunnen we het internet pingen (8.8.8.8), maar vanuit de Raspberry PI niet. De gebruikte setup werkt overigens wel goed bij een andere provider waar we een soortgelijke setup hebben.

Ons AS : 48260
Ons IP : 37.72.96.132/29 (gateway is 37.72.96.130 of .129 als VRRP)
Remote AS : 61029
Remote IP : 37.72.96.130

PS : met VyOS op een virtuele server blijkt de verbinding wel te werken. De kans dat de fout in de configuratie van de mikrotik zit, is dus erg groot...

Iemand die een foutje ziet?

Code:

# dec/19/2014 16:08:36 by RouterOS 6.22
# software id = K6Z0-T31J
#
/interface ethernet
set [ find default-name=ether1 ] mac-address=D4:CA:6D:4A:B8:6A name=\
    "ether01 - Bitency BGP feed"
set [ find default-name=ether2 ] mac-address=D4:CA:6D:4A:B8:6B name=\
    "ether02 - Bitency Server Feed"
set [ find default-name=ether3 ] disabled=yes mac-address=D4:CA:6D:4A:B8:6C \
    master-port="ether02 - Bitency Server Feed" name=ether03
set [ find default-name=ether4 ] mac-address=D4:CA:6D:4A:B8:6D master-port=\
    "ether02 - Bitency Server Feed" name="ether04 - PFSense"
set [ find default-name=ether5 ] disabled=yes mac-address=D4:CA:6D:4A:B8:6E \
    name=ether05
set [ find default-name=ether6 ] disabled=yes mac-address=D4:CA:6D:4A:B8:6F \
    name=ether06
set [ find default-name=ether7 ] disabled=yes mac-address=D4:CA:6D:4A:B8:70 \
    name=ether07
set [ find default-name=ether8 ] disabled=yes mac-address=D4:CA:6D:4A:B8:71 \
    name=ether08
set [ find default-name=ether9 ] disabled=yes mac-address=D4:CA:6D:4A:B8:72 \
    name=ether09
set [ find default-name=ether10 ] disabled=yes mac-address=D4:CA:6D:4A:B8:73 \
    name="ether10 - Internal network"
set [ find default-name=sfp1 ] disabled=yes
/interface wireless
set [ find default-name=wlan1 ] l2mtu=2290 ssid="RTR DC Rijen"
/ip neighbor discovery
set "ether01 - Bitency BGP feed" discover=no
/interface ethernet switch port
set 5 default-vlan-id=0
set 6 default-vlan-id=0
set 7 default-vlan-id=0
set 8 default-vlan-id=0
set 9 default-vlan-id=0
set 12 default-vlan-id=0
/interface wireless security-profiles
set [ find default=yes ] supplicant-identity=MikroTik
/port
set 0 name=serial0
/routing bgp instance
set default as=48260 redistribute-connected=yes redistribute-ospf=yes \
    redistribute-other-bgp=yes redistribute-rip=yes redistribute-static=yes \
    router-id=37.72.96.132
/system logging action
set 1 disk-file-name=""
set 2 remember=yes
/tool user-manager customer
/ip address
add address=37.72.96.132/29 comment="Bitency BGP" interface=\
    "ether01 - Bitency BGP feed" network=37.72.96.128
add address=185.77.197.1/24 comment="Bitency Internet" interface=\
    "ether02 - Bitency Server Feed" network=185.77.197.0
/ip cloud
set enabled=yes
/ip dhcp-client
add default-route-distance=100 dhcp-options=hostname,clientid disabled=no \
    interface="ether10 - Internal network" use-peer-dns=no use-peer-ntp=no
/ip dns
set allow-remote-requests=yes servers=8.8.8.8,8.8.4.4
/ip service
set telnet disabled=yes
set ftp disabled=yes
set www port=8080
set ssh disabled=yes
set api disabled=yes
set api-ssl disabled=yes
/ip upnp
set allow-disable-external-interface=no
/routing bgp peer
add address-families=ip,ipv6 default-originate=if-installed hold-time=\
    infinity keepalive-time=10s name="Bitency BGP" remote-address=\
    37.72.96.130 remote-as=61029 ttl=default
/snmp
set contact=support@teleweb.network enabled=yes location="Netherlands - Rijen" \
    trap-community=public
/system clock
set time-zone-name=Europe/Amsterdam
/system identity
set name="RTR DC Rijen"
/system lcd
set contrast=0 enabled=no port=parallel type=24x4
/system lcd page
set time disabled=yes display-time=5s
set resources disabled=yes display-time=5s
set uptime disabled=yes display-time=5s
set packets disabled=yes display-time=5s
set bits disabled=yes display-time=5s
set version disabled=yes display-time=5s
set identity disabled=yes display-time=5s
set wlan1 disabled=yes display-time=5s
set sfp1 disabled=yes display-time=5s
set "ether01 - Bitency BGP feed" disabled=yes display-time=5s
set "ether02 - Bitency Server Feed" disabled=yes display-time=5s
set ether03 disabled=yes display-time=5s
set "ether04 - PFSense" disabled=yes display-time=5s
set ether05 disabled=yes display-time=5s
set ether06 disabled=yes display-time=5s
set ether07 disabled=yes display-time=5s
set ether08 disabled=yes display-time=5s
set ether09 disabled=yes display-time=5s
set "ether10 - Internal network" disabled=yes display-time=5s
/system ntp client
set enabled=yes primary-ntp=195.130.132.18 secondary-ntp=195.13.23.5
/tool graphing interface
add
/tool graphing resource
add
/tool mac-server
set [ find default=yes ] disabled=yes
add interface="ether02 - Bitency Server Feed"
add interface=ether03
add interface="ether04 - PFSense"
add interface=ether05
add interface=ether06
add interface=ether07
add interface=ether08
add interface=ether09
add interface="ether10 - Internal network"
add
/tool mac-server mac-winbox
set [ find default=yes ] disabled=yes
add interface="ether02 - Bitency Server Feed"
add interface=ether03
add interface="ether04 - PFSense"
add interface=ether05
add interface=ether06
add interface=ether07
add interface=ether08
add interface=ether09
add interface="ether10 - Internal network"

Oorspronkelijk geplaatst door IT-worX

Hallo,

Dit weekend probeerde ik een BGP sessie op te zetten om een IP range (185.77.197.0.24) te announcen bij onze nieuwe provider (Bitency in Global-E datacenter te Rijen). Op poort 1 van de Mikrotik Router (voorlopig een RB2011UiAS-2HnD-IN, dit zou later vervangen worden door een CCR) hebben we de UTP naar de provider geplaatst. Op poort 2 een simpele client (Raspberry PI met IP 185.77.197.197). Bizar punt : vanuit de Raspberry PI kunnen we de router pingen (185.77.197.1), vanuit de router kunnen we het internet pingen (8.8.8.8), maar vanuit de Raspberry PI niet. De gebruikte setup werkt overigens wel goed bij een andere provider waar we een soortgelijke setup hebben.

Ons AS : 48260
Ons IP : 37.72.96.132/29 (gateway is 37.72.96.130 of .129 als VRRP)
Remote AS : 61029
Remote IP : 37.72.96.130

PS : met VyOS op een virtuele server blijkt de verbinding wel te werken. De kans dat de fout in de configuratie van de mikrotik zit, is dus erg groot...

Iemand die een foutje ziet?

Code:

# dec/19/2014 16:08:36 by RouterOS 6.22
# software id = K6Z0-T31J
#
/interface ethernet
set [ find default-name=ether1 ] mac-address=D4:CA:6D:4A:B8:6A name=\
    "ether01 - Bitency BGP feed"
set [ find default-name=ether2 ] mac-address=D4:CA:6D:4A:B8:6B name=\
    "ether02 - Bitency Server Feed"
set [ find default-name=ether3 ] disabled=yes mac-address=D4:CA:6D:4A:B8:6C \
    master-port="ether02 - Bitency Server Feed" name=ether03
set [ find default-name=ether4 ] mac-address=D4:CA:6D:4A:B8:6D master-port=\
    "ether02 - Bitency Server Feed" name="ether04 - PFSense"
set [ find default-name=ether5 ] disabled=yes mac-address=D4:CA:6D:4A:B8:6E \
    name=ether05
set [ find default-name=ether6 ] disabled=yes mac-address=D4:CA:6D:4A:B8:6F \
    name=ether06
set [ find default-name=ether7 ] disabled=yes mac-address=D4:CA:6D:4A:B8:70 \
    name=ether07
set [ find default-name=ether8 ] disabled=yes mac-address=D4:CA:6D:4A:B8:71 \
    name=ether08
set [ find default-name=ether9 ] disabled=yes mac-address=D4:CA:6D:4A:B8:72 \
    name=ether09
set [ find default-name=ether10 ] disabled=yes mac-address=D4:CA:6D:4A:B8:73 \
    name="ether10 - Internal network"
set [ find default-name=sfp1 ] disabled=yes
/interface wireless
set [ find default-name=wlan1 ] l2mtu=2290 ssid="RTR DC Rijen"
/ip neighbor discovery
set "ether01 - Bitency BGP feed" discover=no
/interface ethernet switch port
set 5 default-vlan-id=0
set 6 default-vlan-id=0
set 7 default-vlan-id=0
set 8 default-vlan-id=0
set 9 default-vlan-id=0
set 12 default-vlan-id=0
/interface wireless security-profiles
set [ find default=yes ] supplicant-identity=MikroTik
/port
set 0 name=serial0
/routing bgp instance
set default as=48260 redistribute-connected=yes redistribute-ospf=yes \
    redistribute-other-bgp=yes redistribute-rip=yes redistribute-static=yes \
    router-id=37.72.96.132
/system logging action
set 1 disk-file-name=""
set 2 remember=yes
/tool user-manager customer
/ip address
add address=37.72.96.132/29 comment="Bitency BGP" interface=\
    "ether01 - Bitency BGP feed" network=37.72.96.128
add address=185.77.197.1/24 comment="Bitency Internet" interface=\
    "ether02 - Bitency Server Feed" network=185.77.197.0
/ip cloud
set enabled=yes
/ip dhcp-client
add default-route-distance=100 dhcp-options=hostname,clientid disabled=no \
    interface="ether10 - Internal network" use-peer-dns=no use-peer-ntp=no
/ip dns
set allow-remote-requests=yes servers=8.8.8.8,8.8.4.4
/ip service
set telnet disabled=yes
set ftp disabled=yes
set www port=8080
set ssh disabled=yes
set api disabled=yes
set api-ssl disabled=yes
/ip upnp
set allow-disable-external-interface=no
/routing bgp peer
add address-families=ip,ipv6 default-originate=if-installed hold-time=\
    infinity keepalive-time=10s name="Bitency BGP" remote-address=\
    37.72.96.130 remote-as=61029 ttl=default
/snmp
set contact=support@teleweb.network enabled=yes location="Netherlands - Rijen" \
    trap-community=public
/system clock
set time-zone-name=Europe/Amsterdam
/system identity
set name="RTR DC Rijen"
/system lcd
set contrast=0 enabled=no port=parallel type=24x4
/system lcd page
set time disabled=yes display-time=5s
set resources disabled=yes display-time=5s
set uptime disabled=yes display-time=5s
set packets disabled=yes display-time=5s
set bits disabled=yes display-time=5s
set version disabled=yes display-time=5s
set identity disabled=yes display-time=5s
set wlan1 disabled=yes display-time=5s
set sfp1 disabled=yes display-time=5s
set "ether01 - Bitency BGP feed" disabled=yes display-time=5s
set "ether02 - Bitency Server Feed" disabled=yes display-time=5s
set ether03 disabled=yes display-time=5s
set "ether04 - PFSense" disabled=yes display-time=5s
set ether05 disabled=yes display-time=5s
set ether06 disabled=yes display-time=5s
set ether07 disabled=yes display-time=5s
set ether08 disabled=yes display-time=5s
set ether09 disabled=yes display-time=5s
set "ether10 - Internal network" disabled=yes display-time=5s
/system ntp client
set enabled=yes primary-ntp=195.130.132.18 secondary-ntp=195.13.23.5
/tool graphing interface
add
/tool graphing resource
add
/tool mac-server
set [ find default=yes ] disabled=yes
add interface="ether02 - Bitency Server Feed"
add interface=ether03
add interface="ether04 - PFSense"
add interface=ether05
add interface=ether06
add interface=ether07
add interface=ether08
add interface=ether09
add interface="ether10 - Internal network"
add
/tool mac-server mac-winbox
set [ find default=yes ] disabled=yes
add interface="ether02 - Bitency Server Feed"
add interface=ether03
add interface="ether04 - PFSense"
add interface=ether05
add interface=ether06
add interface=ether07
add interface=ether08
add interface=ether09
add interface="ether10 - Internal network"

Ik weet niet wat er met vyatta gewerkt zou hebben, maar de genoemde prefix is als /24 nooit wereldwijd zichtbaar geweest. Misschien heeft vyatta je geNAT of zo iets ?

Wat ik in elk geval fout/lelijk zie is de bak met redistribute statements. Zo doe je *geen* internet BGP.
Ik ken de microtik syntax niet, maar wat je hier moet doen is gewoon een bgp network statement , waarmee de route origin 'i' wordt.
Maar goed, dat is nog niet waarom er iets mis gaat.

Verder lijkt je adres families IPv4 en IPv6 te willen gebruiken, maar heb je geen IPv6 adressen in gebruik.

Waar je naar moet kijken is eerst of de BGP sessie uberhaupt opkomt, en of je enige routes leert via BGP.
Daarna is de vraag of je jouw prefix wel adverteert. Idealiter heeft AS61029 een looking glass waarin je kunt kijken of je jouw /24 geannounced zit worden.
De eerste vraag is of je announcement je provider haalt, daarna is de vraag of je announcement ook de rest van de wereld haalt. Dat kun je zien in andere looking glasses.

Maar begin met kijken of de sessie wel opkomt.

Zonder dat zul je vast wel connectiviteit hebben, omdat het uitgaande interface IP gewoon van je provider is. Als je dan ook nog een statische default route hebt merk je amper dat je geen BGP gebruikt.

Overigens, waarom eigenlijk uberhaupt BGP , hier ? Je hebt een routertje met 1 interface binnen, en 1 interface buiten . Welke meerwaarde zie je ?

Daarnaast, hoe staat de configuratie van Bitency? Wordt daar het AS van Teleweb als remote-as opgegeven? Belangrijkste om nu te weten is of je IP connectivity hebt naar de peer, en of de BGP sessie "op" komt, zoals Visser al aangeeft (d.w.z een state Established) heeft.

Wellicht dat je router een equivalent van advertised en received-routes heeft om te kijken welke routes je binnenkrijgt over de BGP en welke je adverteert.

De sessie zien we inderdaad als "established" opkomen en we zien dat er routes verstuurd en ontvangen worden.
Op dit moment is er nog niet veel meerwaarde, behalve een interessant leerproces.

Het klopt dus volledig dat ik probeer zowel ipv4 als ipv6 te announcen, maar ik was begonnen met ipv4. De voorbereidingen voor ivp6 had ik al gedaan, maar nog geen IP's toegekend.

Overigens klopt mijn eerste bericht ook niet helemaal : via VyOS ging het ook niet helemaal perfect, maar geraakte de RPI wel al door de BGP. De route was nog niet announced via de preferred uplink van de provider (Unet). Maar we konden bvb wel al de gateway van Bitency pingen etc vanaf de RPI. Zo ver staan de nog niet met het routerboard.
@visser : bedankt voor de opmerking, ik zal de volgende keer het overbodige alvast wegdoen.

Waarschijnlijk is met betrekking tot je laatste opmerking dan niet goed gecommuniceerd naar de transits van Bitency, als ik zou moeten gokken wat daar de oorzaak van is, dan zal het waarschijnlijk zijn dat Unet een prefix-list voor de prefixen van Bitency en/of een filter op basis van AS-PATH heeft waarbij ze alleen prefixen toestaan die originaten in 61029 en niet in jouw AS, 48260. Check dat dus ook even.

Kan je aangeven wat je wel en niet kon / zag tijdens het testen ?

Was de sessie correct established ?
Stuurde je een prefix naar je upstream ?
Ontving je routes van je upstream ?
Als je geen routes ontving via bgp, heb je dan een ander default gateway ergens staan of dat je die ontvangt wellicht ?
Heb je (nog)igp synch aanstaan in je bgp setup ?

Zorg ervoor dat je feedback van je upstream krijgt mbt tot wat hun zien vanaf jou ...
Die 185.x.y.z range is origneel een /22 .. Weet je zeker dat je upstream de juiste /24 verwacht in zijn prefix filter ...

Mvg,
Erik Bais

Kris,

Waarom vraag je Dennis niet om jou te helpen ?
Weet zeker dat hij jou verder kan helpen.

@patrickekkel : Ik ben zeker dat Dennis dit topic vroeg of laat wel zal lezen. Wil hem ook niet elke 5 minuten lastig vallen (net als bij Tim ). Vandaar dat ik dit even publieklijk heb gezet.
@Rubra : Wij stuurden een prefix naar onze upstream, en kregen routes terug (Bij routing > Peers kon ik bij tabblad Peers, en daar tabblad Status zien dat er 3 updates waren verstuurd en een 5-tal ontvangen, zonder withdrawn's). Ook kregen wij zijn remote id terug (de gateway van zijn router). Dit leek me dus te werken. Ook kregen wij een gateway terug voor onze 0.0.0.0/0. We hebben die /22 range inderdaad opgedeeld in 4x een /24. De eerste /24 zou bitency voor ons announcen (185.77.196.0/24), de volgende /24 (185.77.197.0/24) willen we zelf doen. De 2 overige /24's komen in een ander datacenter. Overigens : de BGP sessie met Bitency is de enige in de router (zie de configuratie).

De Mikrotik stuurde overigens helemaal geen prefixes naar ons toe.
Ik vermoed dat de static routes ergens gezet moeten worden zonder redistributed van connected interface.

185.77.197.0/24 is met VyOS van de klant inmiddels online.

Dank voor de hulp Dennis! Het zal dus terug eens tot daar rijden zijn om verder te testen

Oorspronkelijk geplaatst door IT-worX

@patrickekkel : Ik ben zeker dat Dennis dit topic vroeg of laat wel zal lezen. Wil hem ook niet elke 5 minuten lastig vallen (net als bij Tim ). Vandaar dat ik dit even publieklijk heb gezet.
@rub a : Wij stuurden een prefix naar onze upstream, en kregen routes terug (Bij routing > Peers kon ik bij tabblad Peers, en daar tabblad Status zien dat er 3 updates waren verstuurd en een 5-tal ontvangen, zonder withdrawn's). Ook kregen wij zijn remote id terug (de gateway van zijn router). Dit leek me dus te werken. Ook kregen wij een gateway terug voor onze 0.0.0.0/0. We hebben die /22 range inderdaad opgedeeld in 4x een /24. De eerste /24 zou bitency voor ons announcen (185.77.196.0/24), de volgende /24 (185.77.197.0/24) willen we zelf doen. De 2 overige /24's komen in een ander datacenter. Overigens : de BGP sessie met Bitency is de enige in de router (zie de configuratie).

Hm.
Wat je dus wilt is een looking/route server in het AS van je provider om te zien of jouw announcement er goed uit ziet.

Next best thing is dat je een paar bestemmingen *in het AS van je provider* probeert te bereiken met een source IP uit de reeks die je announced.
Neem liever een paar hops verder dan alleen gateway router .

Op de meeste routers kun je een source interface meegeven (ipv standaard het ip van uitgaande interface).
Heb je die connectiviteit wel binnen het AS van je provider, maar niet daarbuiten, dan is het iets wat je provider moet oplossen icm hun transits. (namelijk prefix/AS filters aanpassen ).

Verder zou je trouwens zelf (ook) een prefix filter moeten gebruiken, zowel inkomend als uitgaand . Inkomend omdat ik denk dat je router een volledige bgp tabel aankan. Dat je er maar vijf krijgt van je provider betekent dat zij al filteren, maar als ze dat vergeten crash jij.
Uitgaand zet je een prefix filter om alleen de prefix die je bedoelt uit te sturen uit te sturen.
Dat helpt als 'ergens in je netwerk' opeens veel meuk in BGP gezet zou worden, dan voorkom je dat dat naar internet lekt.
Meuk zoals /30 link-subnetjes, /32 loopback interfaces, of het herdistribueren van een hele bgp tabel die je van elders krijgt.

Ook al is 'jouw netwerk' maar één router hier, wen je zelf aan goede gewoonten. (zoiets als niet zinloos als root werken op een unix).

Btw, met wat je schrijft over je plannen ga je een probleem ontdekken : je andere prefixen, als je die met hetzelfde AS stuurt, gaan op een router met dat AS onbereikbaar zijn .
Omdat BGP (bij design en terecht) prefixen met het eigen AS beschouwt als een loop en dus niet leert.

BGP heeft de aanname dat alles binnen hetzelfde AS onderling verbinding heeft . Dat is precies de definitie van een Autonomous Systeem, een netwerk met hetzelfde beheer. Op twee gescheiden locaties een router met hetzelfde AS plaatsen die elk een eigen prefix announcen past daar niet bij.

Veel routers kunnen daar wel een uitzondering op maken, maar dat moet je uitzoeken.
(cisco : neighbour allowas-in <max aantal keren as in het pad> )