PDA

Bekijk Volledige Versie : data verkeer bij houden



oostwolder
14/05/14, 16:34
beste wht mensen


ik heb wat ruimte over in een rack in een datacenter
en wou proberen om er eventueel colocatie ruimte van te maken

nu is de vraag hoe je deze dataverkeer dat deze server,s genereren het beste kunt bij houden

ik heb mensen die draaien op cacti en dat ze daar de dataverkeer bij houden alleen zie ik ook wel eens dat het op ip adres gaat
ik weet dat cacti meestal voor 95% is en dat op ip adres voor puur verbruik is

welke methode is het het beste om dit te doen en wat moet je allemaal hebben om deze systeem op te zetten van a tot z


mvg remco kolk

avanmessen
14/05/14, 16:43
Een switch die netflow ondersteunt ? Dit uitlezen en verwerken.
Of een Mikrotik switch welke IP accounting doet en presenteert
via een webpage ? Is gewoon standaard ingebouwd ...

dennis0162
14/05/14, 17:03
Dan moet iets hebben wat Netflow heeft of iets gelijks.

Wat je misschien ook kan doen, is een mirror-port op je switch naar een server met Ntop en daar het traffic per IP uitlezen.
Dat laatste nog nooit gebruikt, maar is een goedkopere oplossing dan Netflow.

TotallyHosted
15/05/14, 11:32
Wat je ook kunt doen, is met oldskool MRTG de boel uitlezen. Als je daar met een scriptje de HTML-output-files van bekijkt, zie je staan:
avin m
avout m

Oftewel, de average in / average out van de monthly.


$usage = ($avin + $avout) / 1000 * 8;
$gb = round ($usage / 8 * 60 * 60 * 24 * 30 / 1024 / 1024);

Op die manier zet je dat om naar GB's.

Bambino
15/05/14, 13:56
Switch met snmp, uitlezen via prtg of observium.


Verzonden vanaf mijn iPhone met behulp van webhostingtalk

bibawa
15/05/14, 14:40
Observium werkt goed, maar had daar bij mij het probleem mee dat hij teveel verkeer aanrekende, je wilt uiteindelijk enkel het verkeer aanrekenen dat ook effectief uit je netwerk gaat.. Is dit dan niet iets dat je beter op je router doet ?

The-BosS
15/05/14, 23:45
Observium werkt goed, maar had daar bij mij het probleem mee dat hij teveel verkeer aanrekende, je wilt uiteindelijk enkel het verkeer aanrekenen dat ook effectief uit je netwerk gaat.. Is dit dan niet iets dat je beter op je router doet ?

Was dat met de gewone poller of met de billing module?

visser
16/05/14, 00:44
Was dat met de gewone poller of met de billing module?

Maakt dat uit ? Ik interpreteer bibawa's opmerking als een followup op #5 (http://www.webhostingtalk.nl/usertag.php?do=list&action=hash&hash=5) bambino, over het met snmp uitlezen van een switchpoort.
En ik lees de opmerking ('beter op de router') als de wens om alleen verkeer te tellen wat echt het netwerk uitgaat, en dus niet verkeer meetellen wat wel door de switchpoort gaat, maar naar bijvoorbeeld een andere server in het rack.

Dat maakt het een fundamentele beperking van puur octets tellen op de switchpoort, en ik zie niet wat Observium (of welk pakket dan ook) daar nog aan kan doen.

The-BosS
16/05/14, 00:56
Maakt dat uit ?

Ja dat maakt veel uit, zonder info kan ik het probleem niet dupliceren en fixen ;). Naast het feit dat de normale poller via rrdtool gaat en de billing poller data in mysql opslaat en dus echte waarden kan weergeven en niet zoals met rrd de gemiddelden.

visser
16/05/14, 01:11
beste wht mensen


ik heb wat ruimte over in een rack in een datacenter
en wou proberen om er eventueel colocatie ruimte van te maken

nu is de vraag hoe je deze dataverkeer dat deze server,s genereren het beste kunt bij houden

ik heb mensen die draaien op cacti en dat ze daar de dataverkeer bij houden alleen zie ik ook wel eens dat het op ip adres gaat
ik weet dat cacti meestal voor 95% is en dat op ip adres voor puur verbruik is

welke methode is het het beste om dit te doen en wat moet je allemaal hebben om deze systeem op te zetten van a tot z


mvg remco kolk

De 'beste' methode verschilt per dienst die je levert.

Ga in elk geval uit van een paar randvoorwaarden :
1 - je moet je meting doen in/met componenten waarop jij het beheer doet. Als je toegang _van_ je klant nodig hebt om de rekening _voor_ die klant te kunnen bepalen heb je een probleem.
2 - Je wilt een meetmethode die valide en betrouwbaar is, technisch haalbaar is om te implementeren, en waarvan de kosten in verhouding staan tot de dienst je ermee afrekent.

Een heel rack verhuren, en dan een afrekening op volumes 'per gehost domein' moet je niet proberen aan te bieden.

Voor een shared webserver waarop jij de beheerder bent, kun je metingen best baseren op webserver logs of andere server data.
Lever je VPS dienst, dan zijn volumes per VPS wel uit de hypervisor halen.

Verhuur je volledige servers, dan is de switchpoort waar de server aanhangt je eerste meetpunt waar je bij kunt.
Verhuur je een heel rack, dan kun je meten aan de uplink naar dat rack toe.
Maar dan kijk je typiscj naar totaalvolumes van verkeer door die poort.

'Verderop' meten , maar uitsplitsen naar server(s) wordt al werk, en daarvoor heb je apparatuur nodig die daar mogelijkheden voor heeft.
Zoals bijvoorveeld Netflow support. (daar is ook een hoop over te zeggen mbt tot mogelijkheden en beperkingen ).

Kortom - bedenk wat voor dienst je wilt aanbieden. Kijk wat voor soort afrekeningen andere partijen aanbieden voor zo'n dienst, en bedenk hoe je de gegevens kunt meten in jouw setup.
Waarschijnlijk snap je dan vrij snel waarom bepaalde manieren van afrekening geboden worden bij bepaalde soorten diensten. En niet bij andere.

Denk ook aan je business model - Lever je een dienst die rendabel moet zijn omdat je veel kleinverbruikers wilt trekken, zorg dan dat je meting en tariefstructuur grootverbruik onaantrekkelijk maken.

visser
16/05/14, 01:15
Ja dat maakt veel uit, zonder info kan ik het probleem niet dupliceren en fixen ;). Naast het feit dat de normale poller via rrdtool gaat en de billing poller data in mysql opslaat en dus echte waarden kan weergeven en niet zoals met rrd de gemiddelden.

Als mijn lezing klopt, kun je dat probleem überhaupt niet oplossen. Als je alleen octet counters van de access poort in het rack hebt, en je wilt een afrekening alleen voor verkeer 'naar het internet' van die host gaat dat gewoon niet.

The-BosS
16/05/14, 01:36
Als mijn lezing klopt, kun je dat probleem überhaupt niet oplossen. Als je alleen octet counters van de access poort in het rack hebt, en je wilt een afrekening alleen voor verkeer 'naar het internet' van die host gaat dat gewoon niet.

Wie heeft het hier over verkeer naar het internet, ik wil alleen uitzoeken of er een bug (in mijn) code zit of niet ;). Of dat bibawa het over een bug had die normaal al opgelost zou moeten zijn.

visser
16/05/14, 02:01
Wie heeft het hier over verkeer naar het internet, ik wil alleen uitzoeken of er een bug (in mijn) code zit of niet ;). Of dat bibawa het over een bug had die normaal al opgelost zou moeten zijn.

Bibawa schreef in #6 (http://www.webhostingtalk.nl/usertag.php?do=list&action=hash&hash=6) "..... je wilt uiteindelijk enkel het verkeer aanrekenen dat ook effectief uit je netwerk gaat.. Is dit dan niet iets dat je beter op je router doet ?"
Ik lees dat als "alleen verkeer naar internet" , en dat hij te hoog uitkwam omdat je op een switchpoort natuurlijk ook verkeer tussen servers in het rack onderling ziet.

Nu ja, het is aan Bibawa om te verduidelijk of het om een specifieke observium bug gaat, of de designkeuze dat je op een switchpoort ook verkeer wat binnenblijft meetelt.

t.bloo
16/05/14, 11:12
Standaard werk ik met de ruwe gegevens van de switchpoort (snmp polling). Heeft een klant meerdere servers, dan kan de klant een eigen switch plaatsen om onderling verkeer uit de billing te houden.

Maakt de klant gebruik van een backupserver van mij, dan trek ik als er limieten overschreden worden dat verkeer er handmatig vanaf. Daarvoor moet je backupserver het wel per account bijhouden natuurlijk (maar dat heb ik goed geregeld).

oostwolder
17/05/14, 01:07
beste mensen bedankt voor de post,s hier

beste visser

ik ga zoals het nu lijkt een rack huren en daar wil ik shared colo in zetten

waar ik nu bij zit met mijn eigen colo,s , doet het op ip basis en dan zie je ok bij hun in het control panel de genoemde ip die ik bij hun afneem
met de hoeveel heid data verkeer wat ik gebruik dus zoals hier boven besproken wordt zou het dus beteken dat als ik er bijvoorbeeld nog 1 server bij hang dat ik dus ook betaal voor onderling verkeer anders zouden ze niet op ip basis gaan werken


graag iemand die wat oplossingen/ideen heeft om op ip basis te werken en eventueel de programma die dan wordt gebruikt wordt en dat er evntueel
connectie gemaakt kan worden met whmcs voor betaling


nu heb ik een test op stelling met cacti alleen vind ik het persoonlijk nog al een pittige klus om snmp in te stellen
nu draait deze cacti al alleen om dan contact te maken met een switch om dan daar per poort de gegevens te krijgen en goed te hebben dat vind ik pittig


mvg remco

vDong
18/05/14, 21:17
Heb je een mogelijkheid tot mirror poorten?
Ben je bereid om een machine dedicated in te zetten voor het per ip meten van traffic?

Netflow is normaal gesproken het antwoord bij veel grotere netwerken en duurdere netwerkapparatuur. (m.a.w. veel meer colocatie dan 1 rack)

visser
19/05/14, 01:24
beste mensen bedankt voor de post,s hier

beste visser

ik ga zoals het nu lijkt een rack huren en daar wil ik shared colo in zetten

waar ik nu bij zit met mijn eigen colo,s , doet het op ip basis en dan zie je ok bij hun in het control panel de genoemde ip die ik bij hun afneem
met de hoeveel heid data verkeer wat ik gebruik dus zoals hier boven besproken wordt zou het dus beteken dat als ik er bijvoorbeeld nog 1 server bij hang dat ik dus ook betaal voor onderling verkeer anders zouden ze niet op ip basis gaan werken


Dat hoeft nog niet - weet je zeker dat echt verkeer van en met dat IP geteld wordt, of is het IP adres een makkelijke en unieke index om een bepaalde server aan te duiden ?
Of heb je bijvoorbeeld meerdere IPs op een server, en krijg je echt verkeer per IP geteld ?

Het punt is dat totaal verkeer door een switchpoort tellen makkelijk is, en verkeer uit een dikke pijp per-IP tellen een stuk lastiger.
Zoals vDong verderop zegt, dan kijk je naar het plaatsen van een dedicated meetserver aan een mirrorport, of netwerk apparatuur met netflow support , die een klasse hoger zit dan de gewone L2/L3 switches die je normaal inzet.
(en met forse caveats als het om high-speed routers gaat, want dan krijg je vaak sampled netflow )

Ik zie (google, geen ervaring) dat er ook SNMP of APIs zijn om verkeer te tellen in de virtuele switch van een hypervisor.
Als dat maar een beetje werkt, zou dat mijn eerste keuze zijn om verkeer per VPS/vnic te tellen.



graag iemand die wat oplossingen/ideen heeft om op ip basis te werken en eventueel de programma die dan wordt gebruikt wordt en dat er evntueel
connectie gemaakt kan worden met whmcs voor betaling

nu heb ik een test op stelling met cacti alleen vind ik het persoonlijk nog al een pittige klus om snmp in te stellen
nu draait deze cacti al alleen om dan contact te maken met een switch om dan daar per poort de gegevens te krijgen en goed te hebben dat vind ik pittig

mvg remco

Ik zou zeggen, oefen nog even verder met cacti en snmp als je echt zelf diensten wilt gaan leveren.
Voor allerhande (netwerk) monitoring en reporting kom je daar toch wel heel vaak op uit.