Bekijk Volledige Versie : Advies gevraagd - hardware VM hosting
sandermoors
13/09/16, 13:21
Ik wil een goedkope oplossing om een aantal VM's zelf te gaan hosten op servers die ik daarna zelf in een datacenter zal hosten.
Hiervoor heb ik ondertussen het volgende:
4x DELL R710 servers met voldoende ram en elk een intel X520 10Gb kaart.
1x 24x 2.5" enclosure. http://www.benl.ebay.be/itm/222098751322?euid=2ebc81bb42814860951b4dd65e3d606f&bu=43609480785&cp=1&sojTags=bu=bu
Ik zou 1x R710 willen configureren als shared storage. Dus deze zal een LSI 9200-8E kaart krijgen en een extra X520-DA2 kaart.
De server kan dan met 2x SFF 8088 verbonden worden met de disk enclosure en de 3 andere R710 servers kunnen elk op een 10Gbe poort verbonden worden. In de enclosure zal ik om te beginnen 12 SSD's van 480Gb stoppen.
Wat denken jullie hiervan? Ziet dat er oké uit, of is bijvoorbeeld die LSI 9200-8E echt geen goed idee i.c.m. SSD's ofzo?
Ik dacht zelf ook aan ZFS, maar ik geloof dat ZFS geen TRIM commando's kan sturen naar SSD's? Dus dat is dan eigenlijk ook geen oplossing want dat komt de SSD's niet ten goede.
Hoe doen jullie VM hosting? Gewoon op ext4? of LVM2?
Zouden jullie kiezen voor RAID10 of is het bij SSD's ook goed om voor RAID5+spare ofzo te kiezen?
Ik vraag me ook af of 2x SFF 8088 wel voldoende snel is als ik toch voor ZFS zou kunnen kiezen. Want gaat een ZFS scrub dan niet véél trager werken ofzo?
Ik hoor graag wat jullie ervan denken. Alle advies is meer dan welkom.
Indien je voor een SSD only ZFS array gaat zou ik wel SSD's van 2 verschillende merken kopen en in je keuze voor Mirrors/Raidz1/2/3) goed rekening houden dat je data altijd op 2 verschillende merken SSD staat. Kies daarnaast geen TLC SSDs en let goed op de endurance rating (TBW/PBW).
sandermoors
14/09/16, 08:46
Ik dacht de Kingston Savage SSD's van 480Gb te gebruiken. Die hebben een TBW van 480Tb en ik kan niets groter vinden tussen consumer SSD's.
Enterprise SSD's zijn momenteel echt te duur voor mij.
Ik zat de denken aan de helft Samsung 850 PRO 512Gb en de andere helft Kingston 480Gb en daarover een raid10 (of zfs?) waarbij de mirror altijd over twee type SSD zou staan.
Maar is ZFS mogelijk met SSD's? Het heeft toch geen TRIM ondersteuning?
Hoe slaan jullie je VM's op?
Mogelijk is mdadm + ext4 de betere keuze?
Wat ik zou bouwen is een Ceph cluster met Proxmox. Moet je wel even schuiven met je hardware. maar het kan wel.
Ik heb er hier over geblogd: https://www.ispam.nl/bijdragen/een-private-cluster-bouwen-dat-kan-eenvoudiger-en-goedkoper/
Dat gaat je een hoop hardware en storage gezeur schelen. De colocatiekosten worden ook nog eens lager.
Kies bij de keuze van SSD's altijd voor enterprise versies. Deze zijn veel uitgebreider getest en hebben vaak een garantie van minimaal 5 jaar. Ik persoonlijk zal ver wegblijven van Proxmox en Ceph, er zijn betere pakketten beschikbaar. RAID 10 is over het algemeen sneller bij lezen en schrijven, maar is dit minder van belang dan kan RAID 5 + spare een kosteneffectieve oplossing zijn. Kijk voor het virtualisatie OS eens naar XenServer 7 eventueel in combinatie met XenOrchestra.
Het is vaak beter om de storage machines dubbel uit te voeren (High Availability) i.p.v. alleen maar HD's dubbel uitvoeren. Power supplies, moederborden en geheugen willen het bij oudere machines wel eens eerdere begeven, dan de gemiddelde harde schijf. Dit is natuurlijk alleen van belang als uptime belangrijk is. Ik maak voor mijn storage gebruik van Synology RackServer, omdat deze goed integreren met veel gangbare omgevingen. Daarnaast biedt het allerlei extra mogelijkheden en controles op de hardware. Dit moet bij veel andere systemen toch handmatig worden ingericht.
Van die SSD's is een goede. Wij zijn uiteindelijk op de PM series van Samsung uitgekomen.
Die PRO's van Samsung moet je echt vermijden. Afhankelijk van je storageoplossing kan je performance slecht worden. Zeker wanneer de caching op de disk niet gebruikt wordt door je storage oplossing. Vooral het geval wanneer je ze als journaling gebruikt.
De PM's zijn ietsje duurder maar altijd goed.
Ik weet natuurlijk niet of je Ceph en Proxmox een goed idee vind/vond en of je dat beheerst.
Maar als je daarmee zou rekenen:
Je hebt 4 x R710
In iedere R710 kunnen 6 disken? (correct me if i'm wrong)
2 voor OS gebruiken en dan hou je 4 sloten over.
Dat betekent dat je in iedere 4x 940Gb SSD kan zetten = 15 Tb. Tegen Ceph zeg je dat hij het 2x moet bewaren = ongeveer 7,5 Tb Netto storage.
Max. Je hoeft niet gelijk al die sloten vol te duwen natuurlijk. je kunt beginnen met 1 SSD per server waardoor je dan 1,4Tb netto hebt.
Alle voordelen op een rij:
- Schaalbare storage. Of disken erbij of een node erbij als de disksloten vol zitten.
- Redundante storage. Van Ceph mag er een disk of een hele node uitvallen
- HA cluster voor virtualisatie
- Geen licentiekosten
- De storage server heb je niet meer nodig.
- Colocatie kosten zijn lager.
Onderschat de colocatie kosten niet. Meer HE = duurder. Meer apparatuur = meer stroom.
sandermoors
20/09/16, 12:52
Tuxis_IE dit lijkt me wel een mooie oplossing.
Als er dan 1 node uitvalt (stuk gaat bijvoorbeeld) , dan gaan de VM wel even offline maar kunnen ze gewoon op een van de andere nodes weer opgestart worden. Dat klopt?
Ik heb nog nooit met Ceph gewerkt maar zo te horen kan het dus alle data twee maal bewaren (of meer) en zorgt het dus voor een soort van raid verdeeld over meerdere servers. Dus ik gok dat dit dan zo moet geconfigureerd worden dat het altijd de tweede kopie op een andere node zet (en dus nooit op een andere disk in dezelfde node want dat zou nogal nutteloos zijn dan).
De R710's hebben 8x 2.5" en ik zou 2x pci-e ssd kaart erin kunnen steken voor het OS. Dus zou ik er in principe wel 8 SSD's in krijgen voor storage.
Maar heb ik dan wel 4 servers nodig. Kan Ceph niet gewoon met 2 servers of 3 servers werken?
En hoe ziet dat achteraf. Stel ik zet in 2 servers 4x SSD's. Kan ik dan achteraf eenvoudig SSD's toevoegen en de ceph storage vergroten?
En als de servers vol zitten, kan ik dan een 3de server erbij zetten met SSD's en ceph vragen om te herorganiseren? Zodat die extra server+ssd's als extra storage gebruikt kunnen worden?
Als er dan 1 node uitvalt (stuk gaat bijvoorbeeld) , dan gaan de VM wel even offline maar kunnen ze gewoon op een van de andere nodes weer opgestart worden. Dat klopt?
Klopt. Dit kan zelfs automatisch.
De R710's hebben 8x 2.5" en ik zou 2x pci-e ssd kaart erin kunnen steken voor het OS. Dus zou ik er in principe wel 8 SSD's in krijgen voor storage.
Maar heb ik dan wel 4 servers nodig. Kan Ceph niet gewoon met 2 servers of 3 servers werken?
Ceph en Proxmox kunnen prima op drie servers werken. Op twee niet. Dan is het geen cluster meer.
Dus de 4e hoef je niet perse in te zetten.
En hoe ziet dat achteraf. Stel ik zet in 2 servers 4x SSD's. Kan ik dan achteraf eenvoudig SSD's toevoegen en de ceph storage vergroten?
Dat kan inderdaad. Heel klein beetje afhankelijk of de hardware extra disken als jbod ziet kan dat zelfs zonder een node down te halen. Het kan altijd zonder downtime van je VM's
En als de servers vol zitten, kan ik dan een 3de server erbij zetten met SSD's en ceph vragen om te herorganiseren? Zodat die extra server+ssd's als extra storage gebruikt kunnen worden?
Klopt. Aangezien je wel met drie moet beginnen zou je dus de 4e server erbij zetten. Tegen Ceph vertel je (met een crush map) dat er een vierde server bij is gekomen. De rest gaat vanzelf. Je ziet dan gelijk dat je storage gegroeid is.
Tuxis_IE Hoe zit het met de Monitors en metadata servers?
"@Tuxis_IE Hoe zit het met de Monitors en metadata servers?"
Wat voor een probleem verwacht je? Kun je iets specifieker zijn?
"@Tuxis_IE Hoe zit het met de Monitors en metadata servers?"
Wat voor een probleem verwacht je? Kun je iets specifieker zijn?
Is het niet zo dat je naast je OSD's ook servers moet deployen voor monitoring en metadata? Ik heb het dan over fysieke bakken. Stel, ik wil mijn data op 3 nodes hebben, dan heb ik 3x OSD, 1-3x monitoring 1-3x metadata (kan zijn dat ik het verkeerd begrijp), dus in totaal zo'n 9 servers?
sandermoors
20/09/16, 19:21
Tuxis_IE
Ik lees dat Ceph monitors veel logs schrijven en hier en daar lees ik dat daarvoor SSD's het beste zijn.
Schrijft dat dan niet enorm veel data weg en zijn daardoor de SSD's sneller versleten?
Of valt dat nog goed mee , die hoeveelheid logs?
En nog een SSD voor de Ceph Journal las ik net... is Ceph op zich dan iets erg write intensive?
mgielissen
20/09/16, 19:57
Ik dacht de Kingston Savage SSD's van 480Gb te gebruiken. Die hebben een TBW van 480Tb en ik kan niets groter vinden tussen consumer SSD's.
Enterprise SSD's zijn momenteel echt te duur voor mij.
Ik zat de denken aan de helft Samsung 850 PRO 512Gb en de andere helft Kingston 480Gb en daarover een raid10 (of zfs?) waarbij de mirror altijd over twee type SSD zou staan.
Maar is ZFS mogelijk met SSD's? Het heeft toch geen TRIM ondersteuning?
Hoe slaan jullie je VM's op?
Mogelijk is mdadm + ext4 de betere keuze?
Kingston KC400 als alternatief? Deze heeft stroomverliesbescherming https://tweakers.net/pricewatch/480489/kingston-ssdnow-kc400-256gb/specificaties/
sandermoors
20/09/16, 20:35
En 800TBW blijkbaar. Goede tip!
Monitor en OSD kunnen gecombineerd worden.
Monitors schrijven. Dat is niet echt intensief. Dat doen ze naar de OS disk overigens.
Metadata is voor CephFS. Dat gebruik je nu niet.,
Dus met 3 servers met daarin 2 SSD OS disken en dan minstens 1 storage disk per server heb je alles wat je nodig hebt.
Je hebt daarnaast niets anders nodig.
CharlieRoot
21/09/16, 09:27
Tuxis_IE
Ik lees dat Ceph monitors veel logs schrijven en hier en daar lees ik dat daarvoor SSD's het beste zijn.
Schrijft dat dan niet enorm veel data weg en zijn daardoor de SSD's sneller versleten?
Of valt dat nog goed mee , die hoeveelheid logs?
En nog een SSD voor de Ceph Journal las ik net... is Ceph op zich dan iets erg write intensive?
Wij draaien een productie cluster ceph op een server met SD kaart (voor boot en ceph logs). Onze configuratie is per server 2x SSD en 10x SATA 7200rpm. Door SSD als cache te gebruiken zie je op de SATA disken véél minder IO en behaal je toch belachelijke performance. Ik zit nu te kijken op de server en zie 80MB/s write, 160MB/s read en de logs doen maar 200kb/s dus dat valt allemaal mee... geen SSD voor nodig :)
CharlieRoot
21/09/16, 09:28
Monitor en OSD kunnen gecombineerd worden.
Monitors schrijven. Dat is niet echt intensief. Dat doen ze naar de OS disk overigens.
Metadata is voor CephFS. Dat gebruik je nu niet.,
Dus met 3 servers met daarin 2 SSD OS disken en dan minstens 1 storage disk per server heb je alles wat je nodig hebt.
Je hebt daarnaast niets anders nodig.
Ik zou niet adviseren om één grote disk per server te doen dan is de impact bij uitval van de disk meteen vrij groot. Ik zou 2x SSD toen en minimaal 2x een SATA disk van (bijv) 1TB. Bij uitval is het maar een zesde ipv een derde van je data en dus minder kritische.
Ik zou niet adviseren om één grote disk per server te doen dan is de impact bij uitval van de disk meteen vrij groot. Ik zou 2x SSD toen en minimaal 2x een SATA disk van (bijv) 1TB. Bij uitval is het maar een zesde ipv een derde van je data en dus minder kritische.
In het geval van drie nodes maakt het niet zo veel uit.
Uitval van een node heeft nl dezelfde inpakt als de uitval van een disk wanneer je 1 disk in een node stopt. Beide kunnen afgevangen worden door Ceph. Het is een afweging.
Als je niet zo veel terabytes nodig hebt, dan zou ik alleen SSD's doen. Want heel veel terabytes per node met weinig nodes is ook niet handig.
Wij hebben snelheden van grofweg 1 Gbyte/s (je leest het goed) gehaald. Was het wel met 10 Gbit gekoppeld. Drie nodes. SSD storage. Verder geen spannende hardware.
De "instap" clusters die we uitrollen hebben per node 2x 1 Gbit/s en er wordt begonnen met 1 a 2 storage SSD's.
Uitval van een node heeft nauwelijks impact op het cluster. Natuurlijk gaat Ceph even aan de slag maar in de praktijk merk je daar weinig van. Ceph doet dat erg goed. Het word hooguit even wat slugish, maar nooit echt traag.
Er is wel een grens natuurlijk.
Als je 10 Terbayte in drie nodes stopt en al die T's ga je druk gebruiken door het vol te duwen met VM's die allemaal flink wat IOPs doen moet je netwerk aan de achterkant wel wat sneller worden. Dat zal geleidelijk gebeuren een een mooie upgrade voor later. Je ziet het dus aankomen.
CharlieRoot
21/09/16, 11:16
In het geval van drie nodes maakt het niet zo veel uit.
Uitval van een node heeft nl dezelfde inpakt als de uitval van een disk wanneer je 1 disk in een node stopt. Beide kunnen afgevangen worden door Ceph. Het is een afweging.
Als je niet zo veel terabytes nodig hebt, dan zou ik alleen SSD's doen. Want heel veel terabytes per node met weinig nodes is ook niet handig.
Wij hebben snelheden van grofweg 1 Gbyte/s (je leest het goed) gehaald. Was het wel met 10 Gbit gekoppeld. Drie nodes. SSD storage. Verder geen spannende hardware.
Het is de vraag of SSD's nodig zijn want wij halen ook 1Gbit/s met SATA disken en SSD cache. Het is sterk afhankelijk van hoe je het gebruikt en wat er precies op komt te draaien. Wij draaien er bijv Windows servers op (terminal servers) die veel IO doen, hiervoor hebben we SSD cache. De rest van de servers doet eigenlijk niet heel veel speciaals (dus waarom zou ik dan tig SSD's kopen).
Meten is weten. Advies aan de TS, maak een testopstelling en speel er mee. Daarna weet je wat je nodig hebt. Regel is: meer disken, meer snelheid en minder snelheid per disk nodig.
Het is de vraag of SSD's nodig zijn want wij halen ook 1Gbit/s met SATA disken en SSD cache
1 Gbyte/s niet 1 Gbit/s.
En uiteraard is het afhankelijk van waarvoor je het gebruikt. Hoeveel storage je nodig hebt. Basicly de prijs per Gbyte en de gewenste snelheid.
SSD caching werkt zeker erg goed. We hebben die opstelling ook in productie draaien voor een klant. SSD cache en spinning disken en veel Terabytes storage en goede performance. Weet even niet hoe hard dat ging maar ook hard in ieder gevan :-)
Het is ook wat kort door de bocht van mij om zomaar te stellen wat ideaal is.
Mijn redenering is:
Maar wanneer je 1,2 of 3 T nodig hebt is het niet de moeite om SSD cache te gaan doen met normale disken. Zeker ook omdat de 1 Tb SSD's redelijk betaalbaar zijn en de snelheid toch wel erg lekker is. Net wat lekkerder dan met SSD cache. SSD cache is wel voordeliger ongeacht het aantal Tb's dat je nodig hebt.
Voor de oorspronkelijke vraag kun je dus uit de voeten met 3 nodes met in totaal 3 SSD's van pakweg € 450,00 het stuk voor de storage.
Anders heb je 3 SSD's nodig voor de cache (die overigens ook uit kunnen vallen) van pakweg € 80,00 en 3 disken die ook € 100,00 het stuk zijn. Maar dat is dat niet zo ideaal. Je zou dan liever 6 disken hebben zodat, wanneer iets niet uit de SSD cache komt, het toch wel crispy blijft.
Dus 1,5 Tb netto storage met SSD kost € 1350,00 aan disken
1,5 Tb met SSD cache en spinning disks kost € 540,00 aan disken (1 spinning disk van 1 Tb WD Red) Als je 2 Tb disken pakt is spinning disks per Tb natuurlijk veel goedkoper.
Neem groei mee. DIe 1 TB SSD's kosten volgend jaar nog maar de helft. Dus als je NU aan 1,5 Tb genoeg hebt..
En ja, testen, testen, testen..
CharlieRoot
22/09/16, 17:16
Voor de oorspronkelijke vraag kun je dus uit de voeten met 3 nodes met in totaal 3 SSD's van pakweg € 450,00 het stuk voor de storage.
Anders heb je 3 SSD's nodig voor de cache (die overigens ook uit kunnen vallen) van pakweg € 80,00 en 3 disken die ook € 100,00 het stuk zijn. Maar dat is dat niet zo ideaal. Je zou dan liever 6 disken hebben zodat, wanneer iets niet uit de SSD cache komt, het toch wel crispy blijft.
1 = geen. Zeker als je met Ceph gaat werken is het onverstandig om te werken met, zoals ik al eerder zijn, 1 disk per server. Het is in dat geval veel logischer om 2x SSD en 2x SATA in een server te zetten. Bij uitval van 1 disk is het 1/6e van je data die kwijt is (niet 1/3e, wat veel meer tijd kost om weer te levelen). Dit staat los van of je persee alleen met SSD wilt werken, ik kan niet zien wat het budget van de TS is.
Als je veel opslag wilt maar toch de performance wilt behouden (zonder direct tien duizenden euro's kwijt te zijn) is SSD cache de way to go. 7200rpm disken (die mogen stuk, kosten geen fluit) voor de echte TB's en SSD voor je write cache en extra performance.
En vergeet netwerk niet... niets is belangrijker dan lage latency (10gb/s glas) om de performance echt te kunnen halen.
1 = geen. Zeker als je met Ceph gaat werken is het onverstandig om te werken met, zoals ik al eerder zijn, 1 disk per server.
Je denkt wat te groot :-)
We zijn het niet helemaal oneens. Jouw aanpak gebruiken we ook zeker bij een bepaald vraag. De oorspronkelijke vraag gaat niet over Terabytes maar over de manier om een cluster op te zetten met 3 of 4 nodes en een paar Tb storage. Dan heb je echt aan 1 a 2 Gbit/s aan de achterkant genoeg. En dat is ervaring, geen gok.
Als je disk uitvalt in een node met 1 disk is de situatie qua syncen gelijk aan wanneer die hele node uitvalt. M.a.w. je kun 100 disken in een node stoppen. Als je dan 3 nodes hebt en de node valt uit mis je nog steeds 1/3 van je cluster. Daarbij is het zo dat als 1 disk uitvalt dat Ceph helemaal gaat rebalancen en dus niet alleen die data van die defecte disk gaat "restoren". Dus zelfs daarmee win je niet zo veel.
Los daarvan, volgens mij past het niet in de bestaande servers die hierboven genoemd worden..
10 Gbit is vooral in dat geval wel handig maar echt niet noodzakelijk. Alleen als je vele Terabytes erop hebt staan. En zelfs dan zou je kunnen accepteren dat uitval van een node dan even wat traagheid veroorzaakt.
Wij hebben er verschillende draaien met 2 Gbit/s getrunkt. Tijdens productie geen probleem. Het haalt gewoon de snelheden die je ook haalt wanneer je aparte storage zou bouwen. Tijdens uitval van een Node zelfs ook geen problemen. Alles blijft up. Het wordt wat slugisch.
En natuurlijk duurt het rebalancen langer maar je blijft up. En alles met SSD maakt ook een hoop goed.
sandermoors
25/09/16, 12:38
Ik heb ondertussen 6x 960GB SSD's van Samsung gekocht. De SM863 enterprise versie. Daarnaast zit er in iedere server een 10G (X520-DA2 kaart) verbinding. Elke server krijgt dus 2x 960Gb SSD's.
Ik wacht momenteel nog op H700 controllers om de Perc6I te vervangen die er nu in zit. Want die Perc6I is maar sata 3Gb/s. Niet voldoende snel dus om de SSD's optimaal te kunnen benutten.
Alle 3 servers krijgen ook 192Gb RAM, 2x L5640 CPU's en een PCI-e SSD als boot device voor proxmox.
Nu ben ik wat aan het lezen over hoe Ceph precies werkt maar klopt het dat Ceph standaard 3 kopies maakt van alle data en dat ik dus maar 6*960/3=1920Gb aan totale ruimte over heb? Is het veilig om dit terug te schroeven naar 2 kopies? Dat was blijkbaar bij Ceph vroeger de standaard. Dan zou ik 6*960/2 = 2880Gb aan ruimte hebben.
Hierop moet dus Proxmox komen met Ceph en dan zou ik toch een mini cluster moeten hebben waarop ik wat VM's kan draaien met goede performance. Toch?
Ik vroeg me trouwens ook af of ik 4x 512Gb Samsung 850 PRO + 2x 480Gb Intel 730 SSD disks ook zou gebruiken? Ik zou er in elke server zo nog 2 extra kunnen zetten, voor extra storage. Maar is dat wel verstandig want het zijn geen enterprise SSD's? .. Die enterprise ssd's zijn nu echt wat te kostelijk om er nog eens 3 extra aan te kunnen schaffen :(
Of kan ik met die 6x consumer SSD's een 2de ceph filesystem aanmaken voor VM's die niet zo write intensief zijn bijvoorbeeld?
Ik heb een HP Switch met 4x 10G SFP+ poorten. Deze wou ik gebruiken om de 3 servers met elkaar te verbinden. Moet alleen nog SFP+ modules en kabels bestellen.
Een cluster van 3 is nu echt wel de minimum. Ik zou er eventueel nog een 4de server aan kunnen toevoegen, maar dan gaan de hosting kosten en stroom alleen maar stijgen zonder echt een voordeel eruit te halen denk ik? En voor die 4de server heb ik dan ook minstens 2x 960GB enterprise SSD extra nodig?
sandermoors
25/09/16, 16:27
En wat zouden jullie aanraden voor backups? Zou ik een extra server zetten met daar disks in om de backups op te zetten? Maar die staat dan ook 24/7 aan en kost ook stroom.
Of is er een beter alternatief? .. tape is niet meer van deze tijd denk ik?
Proxmox heeft een prima backup methode voor lokaal backup. En r1soft voor de offside backup
Is het veilig om dit terug te schroeven naar 2 kopies?
Nee, want Ceph wil graag minimaal 3 servers in z'n cluster. Dan is er altijd een meerderheid als er iets gebeurt, zoals een defecte verbinding of server. Zou je een netwerkprobleem hebben met twee servers, dan kun je een split-brain situatie krijgen. En dat wil je echt niet, want dan lopen de datasets uit elkaar..
Je mag Ceph zeker zo instellen dat je 2 kopietjes bewaard.
Van een 4e server wordt het in principe sneller. Ik weet niet precies hoeveel je gaat doen natuurlijk. Maar qua storage zal je er niet zo veel mee opschieten. Zoals je het nu aan het bouwen bent gaat het al "Ram hard".
Die PRO's van Samsung gaan het niet goed doen. Die kakken in qua snelheid zoals eerder vermeld.
En met Proxmox en Ceph op drie servers heb je een prima cluster.
Disken mengen is voor Ceph geen probleem. Dus als je nog wat SSD's hebt liggen, stop ze erbij.
Qua backup.
Proxmox kan images maken maar doet dat wat onhandig. Daarvoor hebben we PMRB geschreven.
https://www.tuxis.nl/blog/rolling-back-ups-van-vms-met-proxmox-20140128/
En files doen we vaak met urbackup in combinatie met diskbayonline.nl (het is snel veel data)
Dan heb je altijd een image van de server die niet ouder is dan 1 week.
Files zet je terug met urBackup.
Als alles helemaal knalt kun je dus snel je images herstellen en recente data terug zetten.
sandermoors
29/09/16, 12:19
Ok. De ene zegt dat het niet goed is om met slechts 2 kopies te werken terwijl de andere zegt dat het wel mag :-/
:)
Wat is precies een split-brain situatie? En kan dat dan met 3 kopies ook voorvallen als bijvoorbeeld de switch stuk gaat?
Ja, eigenlijk vraag ik me wel af hoe Ceph zal reageren stel dat een switch defect gaat? Of als er een server down gaat en daarna terug wordt herstart. Zal Ceph dan de server gewoon terug aanvaarden en terug syncen, of wat zal er dan gebeuren?
Ik zal het proberen toe te lichten met het voorbeeld van drie nodes en beperk het even tot het gedrag van Ceph.
Stel je sluit 3 nodes aan op 1 switch. Switcht stuk = cluster stuk. Niets nieuws voor zover (hoop ik :-) )
Als we dan kijken wat er gebeurt als één node uitvalt.
In het geval van 1 duplicaat zorgt Ceph ervoor dat het duplicaat altijd op een andere plek staat. Dat bepaal je in de crushmap. Dus datacenter, server, disk.
Dan is 1 duplicaat dus al een betere situatie dan RAID 1 (mirror). Want in dat geval is storing aan een controller al een probleem.
In het geval van Ceph betekent uitval van 1 node een degredatie van de redundantie maar nooit verlies van data. Ceph gaat rebalancen, dus zorgen dat er weer 1 duplicaat is.
Wanneer de node weer op komt, gaat hij weer rebalancen.
Natuurlijk mag je aangeven dat hij 2 duplicaten moet maken. In dat geval zou op iedere node alle data staan. Dan gaat hij alsnog rebalancen als er een node uitvalt en het dan zorgen dat data niet 2x op dezelfde disk staat (want met 2 nodes en data 3x hebben ga je data dubbel op een node hebben staan).
En dat maakt het tevens een beetje onzinnig naar mijn idee. Je vangt er op zijn best nog een uitval van een disk mee af op het moment dat er een node stuk is.
Dus node stuk en daarna een disk stuk in een node net voor hij klaar is met rebalancen...
Iets met kansberekening.
Split brain komt bij Ceph niet voor. Ceph stopt altijd met werken als hij de monitors niet meer ziet.
Het komt voor wanneer je iets bouwt met 2 nodes of locaties en je die twee onderling laat kijken of ze live zijn.
Laten we uitgaan van 2 nodes.
De gedachte is: Iedere node kijkt of hij de andere nog kan zien. Als hij dat niet kan maar hij ziet de rest van de wereld wel (het internet) dan is hij de baas. Er zijn echter situaties denkbaar waarbij beide nodes de andere node niet ziet maar wel internet hebt.
Dan heb je dus twee nodes die beide live zijn. En als dan de helft van de klanten in een database zitten te klikken op een VM op de ene node en de andere helft van je klanten in dezelfde database zitten te klikken op "dezelfde" VM in de andere node ben je de sjaak.
Je hebt twee delen die beide de baas denken te zijn. Twee slimme systemen... split brain.
De oplossing is simpel: 3 nodes (of een ander oneven aantal). Ziet een andere node nog 1 andere node dan weet hij dat ze met zijn tweetjes zijn en die ene weg is en zij met zijn tweetjes actief zijn. Ziet hij geen andere node, dan weet hij dat hij alleen is en niets mag doen.
Zie ook: https://en.wikipedia.org/wiki/Split-brain_(computing)
Soms wordt er als 3e node een monitor in de lucht gebracht in plaats van een hele node.
sandermoors
29/09/16, 14:54
Bedankt voor de uitgebreide uitleg! Dat maakt veel duidelijk.
Alleen schrijf je nu switch stuk = cluster stuk. Ik begrijp dat op dat moment alles down zal zijn want de switch is dood.
Maar wat zal Ceph doen als de switch wordt vervangen en alle nodes weer met elkaar kunnen communiceren?
Kan Ceph daar mee overweg en gaat hij weer aan het syncen, of zal hij dan alle data kwijt zijn?
sandermoors
29/09/16, 15:09
Nog een bijkomende vraag:
Als er 3 nodes in het cluster zijn en ze hebben elk 2x960Gb SSD's. Dan heb ik in totaal 6x960Gb=5760Gb opslagruimte.
Als er van alle data een kopie gemaakt wordt (size=2) blijft er de helft effectief over om VM's op te zetten. Correct? dus ongeveer 2880Gb.
Stel nu dat hier 85% van vol staat. Dat zou dan ongeveer 2300Gb zijn. En stel dat er nu een node uitvalt.
Dan zou Ceph gaan rebalancen maar op de 2 nodes heeft hij in totaal maar 4x960Gb = 3840Gb ruimte. Met size=2 maar 1920Gb effectief.
Daar kan hij toch geen 2300Gb aan data op zetten dan?
Hoe lost Ceph zoiets dan op? Want door het uitvallen van een volledige node heeft hij dan niet meer genoeg opslagruimte om te rebalancen.
Moet er dan op gelet worden om nooit x % van de opslagruimte te gebruiken ? Of gaat Ceph zowiezo die ruimte beperken om te kunnen garanderen dat hij achteraf kan rebalancen ofzo?
Bedankt voor de uitgebreide uitleg! Dat maakt veel duidelijk.
Alleen schrijf je nu switch stuk = cluster stuk. Ik begrijp dat op dat moment alles down zal zijn want de switch is dood.
Maar wat zal Ceph doen als de switch wordt vervangen en alle nodes weer met elkaar kunnen communiceren?
Kan Ceph daar mee overweg en gaat hij weer aan het syncen, of zal hij dan alle data kwijt zijn?
Zonder ook maar iets te doen op de servers gaat Ceph gewoon weer werken en je bent geen data kwijt. Sterker nog, veel VM's zullen gewoon braaf blijven wachten tot de storage er weer is. Dus zelfs in zo een VM ben je niets kwijt.
Voorbeeld met defecte node: De server is uitgevallen omdat de voeding stuk is. Nieuwe voeding erin, aanzetten, even wachten en het cluster is weer klaar zonder iets te klikken of te tiepen.
Je mag natuurlijk meerdere switches gebruiken zodat je hele setup niet afhankelijk is van één switch.
Wij hebben Ceph nog niet stuk gekregen en we hebben echt ons best gedaan.
Nog een bijkomende vraag:
Als er 3 nodes in het cluster zijn en ze hebben elk 2x960Gb SSD's. Dan heb ik in totaal 6x960Gb=5760Gb opslagruimte.
Als er van alle data een kopie gemaakt wordt (size=2) blijft er de helft effectief over om VM's op te zetten. Correct? dus ongeveer 2880Gb.
Dat klopt
Stel nu dat hier 85% van vol staat. Dat zou dan ongeveer 2300Gb zijn. En stel dat er nu een node uitvalt.
Dan zou Ceph gaan rebalancen maar op de 2 nodes heeft hij in totaal maar 4x960Gb = 3840Gb ruimte. Met size=2 maar 1920Gb effectief.
Daar kan hij toch geen 2300Gb aan data op zetten dan?
Goed punt. Het is verstandig om dan inderdaad niet meer dan 1920 Gb te gebruiken. Met meer nodes wordt dat probleem natuurlijk kleiner.
Hoe lost Ceph zoiets dan op? Want door het uitvallen van een volledige node heeft hij dan niet meer genoeg opslagruimte om te rebalancen.
Ceph gaat op een gegeven moment ook wel mekkeren dat er te weinig vrije ruimte is. Het advies is dan ook wel: Zoek niet de limieten op. Ceph lost het verder dan ook niet op. Je moet daar dus niet overheen gaan.
Moet er dan op gelet worden om nooit x % van de opslagruimte te gebruiken ? Of gaat Ceph zowiezo die ruimte beperken om te kunnen garanderen dat hij achteraf kan rebalancen ofzo?
Als regel kun je aanhouden dat bij uitval van 1 node, de overige nodes samen genoeg ruimte hebben om alle data dubbel te kunnen houden.
Ceph gaat proberen het dubbel te houden. Ik weet niet hoe hard het knalt als er geen ruimte is.
sandermoors
29/09/16, 16:00
Oké. Maar in dat geval is size=3 de betere keuze denk ik?
Want dan heb ik ook 1920Gb ruimte, maar zo staat de data gewoon op elke node.
960*6/3 = 1920 Gb
sandermoors
29/09/16, 17:01
Ik denk dat de performance met 3 nodes wel meer dan voldoende gaat zijn maar je schreef ook "Van een 4e server wordt het in principe sneller.".
Waarom gaat het sneller vanaf een 4de node?
Zijn er belangrijke voordelen aan een 4de server? Want ik kan wel een 4de server voorzien. Alleen gaat het dan weer wat kostelijker worden want enkel de extra enterprise SSD's zijn al aardig duur :(
CharlieRoot
30/09/16, 09:28
Ik denk dat de performance met 3 nodes wel meer dan voldoende gaat zijn maar je schreef ook "Van een 4e server wordt het in principe sneller.".
Waarom gaat het sneller vanaf een 4de node?
Zijn er belangrijke voordelen aan een 4de server? Want ik kan wel een 4de server voorzien. Alleen gaat het dan weer wat kostelijker worden want enkel de extra enterprise SSD's zijn al aardig duur :(
Het principe van ceph is: meer = sneller. Hoe meer servers hoe meer verspreid de data staat en hoe meer resources dus kunnen worden gebruikt.
Oké. Maar in dat geval is size=3 de betere keuze denk ik?
Want dan heb ik ook 1920Gb ruimte, maar zo staat de data gewoon op elke node.
960*6/3 = 1920 Gb
Maar als er 1 node uitvalt moet je op 2 nodes dus genoeg ruimte hebben om de data 3x te bewaren waardoor je dus meer ruimte vrij moet houden.
Met 1 duplicaat heb je al een veel betere situatie dan je "vroeger" met RAID 1, 5 e.d. had.
Je kunt het nog beter doen door hem op 3 te zetten maar je kunt beter goede back-ups maken. Die worden hoe dan ook nooit overbodig.
-
sandermoors
03/10/16, 15:03
Okay. Het zal Ceph met 1 kopie worden dan. En dan een monitor scriptje dat waarschuwing stuurt als de disks te vol komen te staan want we weten niet precies wat ceph zal doen in zo'n geval.
Ivm backups:
Ik kan een Dell PowerVault 124T met LTO4 tapes goedkoop krijgen (100 euro) van een kennis. Nieuwe tapes heeft hij ook nog en kan ik hebben aan 11 euro per stuk. Zou dit een goede oplossing zijn voor backups? of zien jullie hier serieuze problemen mee?
Er kunnen 16x LTO4 tapes in, dus 16x800Gb = 12.8Tb aan raw storage. Compressed zou het meer moeten zijn.
Zo'n LTO4 tape zou 120mb/s halen las ik, dan lijkt me dit wel een goedkope backup uplossing voor de VM's?
En wat het stroomverbruik betreft zal tape volgens mij ook minder verbruiken dan een server vol met disks die 24/7 staan te draaien?
Pas in ieder geval op met je backups in hetzelfde rack. Met een beetje brand heb je dan en je productiedata niet en je backups niet.
Tapes..
Schrijven gaat prima. Testen of je het nog kunt lezen is het punt.
Hij is 2U hoog.
Dan wil je het waarschijnlijk in een ander datacenter hebben.
Colocatie kosten en stroom en dataverkeer moet je tellen.
Tik ergens een 1U doosje op de kop en steek daar 4 disken in. Dan kun je erin stoppen wat je wil.
Scheelt ook wat colocatiekosten.
Hele andere insteek is diskbayonline.nl. Dan zou je 3 disken in RAID5 kunnen zetten en heb je 12T storage. Na de aanschaf van de disken betaal je € 25,00 per maand per disk (3 disken = € 75,00).
CharlieRoot
03/10/16, 17:22
Okay. Het zal Ceph met 1 kopie worden dan. En dan een monitor scriptje dat waarschuwing stuurt als de disks te vol komen te staan want we weten niet precies wat ceph zal doen in zo'n geval.
Ivm backups:
Ik kan een Dell PowerVault 124T met LTO4 tapes goedkoop krijgen (100 euro) van een kennis. Nieuwe tapes heeft hij ook nog en kan ik hebben aan 11 euro per stuk. Zou dit een goede oplossing zijn voor backups? of zien jullie hier serieuze problemen mee?
Er kunnen 16x LTO4 tapes in, dus 16x800Gb = 12.8Tb aan raw storage. Compressed zou het meer moeten zijn.
Zo'n LTO4 tape zou 120mb/s halen las ik, dan lijkt me dit wel een goedkope backup uplossing voor de VM's?
En wat het stroomverbruik betreft zal tape volgens mij ook minder verbruiken dan een server vol met disks die 24/7 staan te draaien?
Ceph geeft een melding als een OSD meer dan 80% vol is. Ceph is dus redelijk berekend op het feit dat er een node (of meerdere) uit kunnen vallen en waarschuwt je dus op voorhand al. Hang als het mogelijk is bijv 2x Ceph is rack A en 2x Ceph in rack B. Op die manier heb je altijd failover bij uitval/brand. Backup zelf is een must natuurlijk, maak die niet naar het zelfde cpeh cluster ;-)
CharlieRoot
03/10/16, 17:24
Okay. Het zal Ceph met 1 kopie worden dan. En dan een monitor scriptje dat waarschuwing stuurt als de disks te vol komen te staan want we weten niet precies wat ceph zal doen in zo'n geval.
Ivm backups:
Ik kan een Dell PowerVault 124T met LTO4 tapes goedkoop krijgen (100 euro) van een kennis. Nieuwe tapes heeft hij ook nog en kan ik hebben aan 11 euro per stuk. Zou dit een goede oplossing zijn voor backups? of zien jullie hier serieuze problemen mee?
Er kunnen 16x LTO4 tapes in, dus 16x800Gb = 12.8Tb aan raw storage. Compressed zou het meer moeten zijn.
Zo'n LTO4 tape zou 120mb/s halen las ik, dan lijkt me dit wel een goedkope backup uplossing voor de VM's?
En wat het stroomverbruik betreft zal tape volgens mij ook minder verbruiken dan een server vol met disks die 24/7 staan te draaien?
Ik zou geen tape gebruiken. Die dingen zijn écht traag. Koop dan liever een 2e hands HP MSA ofzo, iets waar je snel op kunt bij calamiteiten.
sandermoors
03/10/16, 23:53
Ok. Dus geen tape. Maar als ze bij LTO4 zetten 120mb/s, kan hij dan geen 120mb/s wegschrijven?
Hele tape doorzoeken zou minder dan een minuut zijn. Dus een VM image is in minder dan een minuut gevonden en kan dan aan 120mb/s weer gerestored worden als ik het goed begrijp. Voor mij is dat snel genoeg.
Maar ik ga zeker eens kijken naar HP MSA
Ok. Dus geen tape. Maar als ze bij LTO4 zetten 120mb/s, kan hij dan geen 120mb/s wegschrijven?
Hele tape doorzoeken zou minder dan een minuut zijn. Dus een VM image is in minder dan een minuut gevonden en kan dan aan 120mb/s weer gerestored worden als ik het goed begrijp. Voor mij is dat snel genoeg.
Maar ik ga zeker eens kijken naar HP MSA
120mb/s is maar 15MB/s, dan is een usb stick nog vlugger.
sandermoors
04/10/16, 11:38
Ik bedoel 120MB/s. Kon je wel zelf bedenken :)
CharlieRoot
04/10/16, 12:18
120mb/s is maar 15MB/s, dan is een usb stick nog vlugger.
Hier nog wat nadelen:
- Kosten. Hoewel ooit aangeprezen als de meest voordelige back-up methode per gigabyte aan gegevens, tape drives en media zijn nu aanzienlijk duurder dan harde schijven of netwerk back-up.
- Tape degradatie. Magnetische media is onderworpen aan degradatie door warmte, vocht, stof, mishandelen, elektromagnetische krachten, en de gewone slijtage.
- Onzekerheid van data-integriteit. Tenzij een volledige controle van elke back-up wordt uitgevoerd (die zo lang als de backup zelf duurt), is er geen manier om zeker te weten of uw back-up is betrouwbaar.
- Omslachtig voor niet-volledig restore. Tapes zijn sequentiële-toegang apparaten en zijn het best geschikt voor full-systeem herstelt. Vinden en herstellen van individuele documenten kunnen lange, langzame en moeizame procedures zijn.
Voor het herstel van individuele documenten of bestanden zijn tape drives veel minder geschikt, zowel vanwege de sequentiële-toegang en omdat meestal tape back-ups incrementeel of differentieel zijn gedaan.
En als je moet restoren vind je net altijd die ene tape niet terug ... echt een hel vind ik het !
CharlieRoot
05/10/16, 09:22
En als je moet restoren vind je net altijd die ene tape niet terug ... echt een hel vind ik het !
Oh god, echt? Is dat je overkomen? Waarom label je ze dan niet met dagnummer :-)
sandermoors
05/10/16, 13:50
In die dell 124T kunnen 16 tapes dus ze zouden er gewoon in blijven zitten en dagelijks een backup naartoe trekken.
De tape zit dus gewoon steeds in het toestel en moet niet gezocht worden. Gewoon de juiste tape (automatisch) laten kiezen voor de backups.
Ik dacht dat het voor VM's wel interessant zou zijn, maar zo te horen zijn tapes dus echt niet goed kwa betrouwbaarheid?
Dat wist ik niet. Ik dacht dat zo'n LTO tape wel goed te vertrouwen was :(
sandermoors
05/10/16, 22:59
Voor LTO tapes schrijft men trouwens ook "LTO uses an automatic verify-after-write technology to immediately check the data as it is being written". En bit error rates liggen ver onder die van moderne disks. Ik weet niet zeker of de hierboven geschreven negatieve punten voor tape wel correct zijn voor modernere tapes?
Voor LTO tapes schrijft men trouwens ook "LTO uses an automatic verify-after-write technology to immediately check the data as it is being written". En bit error rates liggen ver onder die van moderne disks. Ik weet niet zeker of de hierboven geschreven negatieve punten voor tape wel correct zijn voor modernere tapes?
Wat je wel vergeet is dat de tape robot die jij noemt enkel rechtstreeks aan te spreken is en niet over netwerk, dus dan zou je er ook nog een dedicated server moeten voor zetten om die via netwerk toegankelijk te maken (in hoeverre dat al mogelijk is) . Als je er dan toch een server moet voor zetten kun je net zo goed een 1U server met harddisks (bvb: 4x 8TB) gebruiken en daar later een jbod ofzo aan hangen (of de tape robot voor archiving).
Tapes hebben zeker nog een nut voor archiving, echter moet je je hier wel even de vraag stellen of je effectief wilt archiven of een medium wilt hebben waar klanten zelf backups kunnen nemen en recoveren. Want een tape robot kan maar 1 ding tegelijk in tegenstelling tot een harddisk (ssd) dus dan zou je al een systeem moeten hebben dat een queue kan aanmaken met backup dit dan dit en vervolgens dit, dan recoveren we even deze backup en doen we terug verder met backup x en y en z.
sandermoors
06/10/16, 14:55
Ik dacht gewoon een pci-e kaartje in 1 van de proxmox/ceph nodes en via daar backups naar tape. Maar het zal inderdaad beter zijn om een apart systeem te nemen met wat disks voor backups van bijvoorbeeld een paar dagen oud.
Dan over dag zou ik backups op tape kunnen zetten voor het geval er ooit een klant vraagt naar oudere backups. Zo moeten er minder disks in die server, minder disks die 24/7 staan te draaien voor een archief van oudere backups.
Het zou uiteindelijk 204 euro worden, verzending inclusief, voor die Dell 124T met tapes en cleaning cartridge. Dat is toch niet veel hé?
CharlieRoot
06/10/16, 15:49
Ik dacht gewoon een pci-e kaartje in 1 van de proxmox/ceph nodes en via daar backups naar tape. Maar het zal inderdaad beter zijn om een apart systeem te nemen met wat disks voor backups van bijvoorbeeld een paar dagen oud.
Dan over dag zou ik backups op tape kunnen zetten voor het geval er ooit een klant vraagt naar oudere backups. Zo moeten er minder disks in die server, minder disks die 24/7 staan te draaien voor een archief van oudere backups.
Het zou uiteindelijk 204 euro worden, verzending inclusief, voor die Dell 124T met tapes en cleaning cartridge. Dat is toch niet veel hé?
Goedkoop is duurkoop. Ik zou het niet doen. Server met 4 disken is een stuk flexibeler en je moet ook nog software hebben voor het backuppen naar tape.
sandermoors
06/10/16, 16:05
Zoals voor alles is er wel een opensource software pakket. Voor tape is er Bacula.
sandermoors
06/10/16, 22:21
Om nu even terug on-topic te komen. Ik zit te denken om toch ook een tweede ceph storage pool te maken met HDD's.
Dus 3 servers met elk 2x 960Gb SSD's. Goed voor 1940Gb opslag voor VM's die meer i/o vereisen.
Daarnaast zou ik in elke server nog eens 2x of 3x Seagate Savvio 900Gb 10.6K SAS disks stoppen voor VM's die vooral idle zijn of niet veel i/o nodig hebben.
Die Seagate Savvio 10.6K 900Gb HDD's, zijn die een goede keuze? Ik zou ze nemen omdat ik er een leuke prijs voor te horen kreeg, maar als ze niet zo goed zijn, wat zou je dan aanraden?
Nog meer van die SSD's is gewoon te duur voor nu.
sandermoors
14/10/16, 09:43
Een HP MSA60 is goedkoop en kan 12x 3.5" disks aan maar als ik het goed heb is dat maar 3Gb/s en geen 6Gb/s?
Maakt dat een verschil voor gewone SATA HDD's? Het moet dienen voor backups. Ik denk dat de meeste sata hdd's niet boven 3Gb/s komen?
Maar hoe werkt dat nu preices? Het heeft een external 3Gb/s poort maar dat is toch multi lane? dus 4x3Gb/s, juist?
In totaal zou het dus 12Gb/s moeten aankunnen als ik het goed heb.
Als ik een software raid over de disks maak, ga ik dan ook een mooie snelheid kunnen halen, of zal het toch tegenvallen?
Ik had toch graag minstens 200-300mb/s gehaald met 12x 2TB disks. Dat zou toch moeten lukken, niet?
CharlieRoot
14/10/16, 09:54
Een HP MSA60 is goedkoop en kan 12x 3.5" disks aan maar als ik het goed heb is dat maar 3Gb/s en geen 6Gb/s?
Maakt dat een verschil voor gewone SATA HDD's? Het moet dienen voor backups. Ik denk dat de meeste sata hdd's niet boven 3Gb/s komen?
Maar hoe werkt dat nu preices? Het heeft een external 3Gb/s poort maar dat is toch multi lane? dus 4x3Gb/s, juist?
In totaal zou het dus 12Gb/s moeten aankunnen als ik het goed heb.
Als ik een software raid over de disks maak, ga ik dan ook een mooie snelheid kunnen halen, of zal het toch tegenvallen?
Ik had toch graag minstens 200-300mb/s gehaald met 12x 2TB disks. Dat zou toch moeten lukken, niet?
Ik denk dat je hier even moet beginnen
http://docs.ceph.com/docs/jewel/start/hardware-recommendations/
sandermoors
14/10/16, 10:03
Ik denk dat je hier even moet beginnen
http://docs.ceph.com/docs/jewel/start/hardware-recommendations/
Hoezo? Het gaat om een backup ruimte.
Ik zou één MSA60 kunnen aansluiten op 1 van de proxmox/ceph nodes en daar dan backups op zetten. Maar is het dan wel zinvol om daar Ceph voor te gebruiken? Ik zou gewoon software raid + ext4 ofzo gebruiken. Het is maar om backups te hebben voor als het Ceph filesystem zou crashen.
Is wellicht Storpool ook een optie voor je? Levert betere resultaten dan Ceph op distributed storage omgevingen
Is wellicht Storpool ook een optie voor je? Levert betere resultaten dan Ceph op distributed storage omgevingen
Zonder de roepen dat het niet waar is, want ik heb geen idee of het niet waar is, maar heb je enige technische onderbouwing waarom dat zo zou zijn?
Storpool is niet bepaald gratis namelijk en met Ceph halen we ook 1 Gbyte (dus 1024Mbyte) per seconde waarbij de belemmering het netwerk is (1 Gbyte/s lijkt verdacht veel op 10 Gbit )
CharlieRoot
16/11/16, 10:32
Zonder de roepen dat het niet waar is, want ik heb geen idee of het niet waar is, maar heb je enige technische onderbouwing waarom dat zo zou zijn?
Storpool is niet bepaald gratis namelijk en met Ceph halen we ook 1 Gbyte (dus 1024Mbyte) per seconde waarbij de belemmering het netwerk is (1 Gbyte/s lijkt verdacht veel op 10 Gbit )
Voor alleen backups lijkt storpool me niet handig (minimaal 3 servers) en een dure oplossing.