Onderwerp: Backup Space en Fileserving Filesystem

ik ben bezig voor mijn client met het fabriceren van een FS waarbij men op categorie zijnde files kan posten op een server. Op basis van een type word er gekozen iets redundant weggeschreven moet worden naar meerdere servers op verschillende locaties in verschillende dc's waardoor het mogelijk is, je backups ten alle tijden op te halen - of om het enkel te houden (bijv thumbnails). De ruimte is eeuwig uitbreidbaar zolang er maar genoeg rackspace is voor additionele machines. Meerdere copyen kunnen overigens ook perfermence gain opleveren.

Nou is mijn vraag, is er vraag naar backup ruimte en of een actieve fileserver van ongeveer 500 GB en groter. Client wil namelijk het als storage en als actie Fileserving gaan gebruiken -> het draait nu ook al. Echter komt de vraag op, is er wel vraag naar.

Het uploaden van files gaat per www-post of scp / ftp. De bestanden worden direct gemirrord/gechunked en redundant weggeschreven op een aantal locaties welke dusdanig zijn bepaald dat er altijd minimaal 1 spare copy is tenzij men aangeeft maar 1 kopie van het bestand te willen hebben. Het aantal kopieen is gelimiteerd tot het aantal hardeschijven in alle systemen zitten. Daarnaast kan men kan kiezen uit 2 trackers. Elke tracker kan bij zijn eigen files komen en geeft deze bestanden direct door. De maximale doorvoer per downloader ligt op 1000Mbit. En is net zo modulair uitbreidbaar voor de clienten indien gewenst. Het kan dus als dedicated ip draaien zonder dat ooit iemand doorheeft waar het vandaan komt. Ook ssh tunnels zijn gewoon mogelijk.

Het is de bedoeling in eerste instantie dat er een AMS-IX port hiervoor komt om de kosten zo laag mogelijk te houden voor iedereen. Voor de fileserving zal uiteraard ook transit geleverd moeten worden.

Denkt iemand interresse te hebben in een oneindig uitbreidbaar systeem, en zou eventueel in GB of TB willen afnemen als het eenmaal goed draait.

TIs een beetje vaag omschreven, maar anders verklap ik helemaal wat het is

Afhankelijk van de prijs en de mogelijkheden heb ik zeker interesse.

Wij gebruiken oplossingen van coraid hiervoor, in onze suite in Berlijn hebben we inmiddels rond de 150 TB aan data opslag voor corporate clients.

Voor opslag voor webhosting en dergelijke gebruiken we oplossingen van Netapp, dit is echter te duur voor simpel 'fileserving, dataopslag'

Hieronder stukje over Coraid oplossingen

"Coraid EtherDrive® Storage Products connect to the network using standard Ethernet. With EtherDrive Storage you can create a shared storage system from a few Terabytes to multiple Petabytes for under $1.25 per Gigabyte.

EtherDrive® Storage Products use the open ATA-over-Ethernet (AoE) storage protocol. AoE is a simple, non-routable protocol designed specifically to transport disk commands over Ethernet. EtherDrive products offer internal RAID (0, 1, 5, 10), hot-swappable disks, and support all SATA I and SATA II drives."

Het zal puur op basis van traffic + machine kosten zijn in feite. Traffic zal initieel erg laag zijn. Het grootste voordeel is dat je bijvoorbeeld met een SSH tunnel, niet bekend hoeft te maken waar de data zich bevind. Daarnaast hoef je ook helemaal geen gebruik hiervan te maken. We gaan het binnenkort benchmarken als fotosysteem, waarna we vervolgens de grote files van 100GB etc willen gaan testen. Het mooie van het systeem is, is dat je ook rententie implementaties zou kunnen maken. Dit is echter nog een idee maar verder nog niet uitgewerkt. Maar het kan echter wel.

@swiftway, het gaat ons om cheap space dus onder de 1,25 per GB. eerder 0,25 per GB en de gebruiker betaalt per 100GB traffic iets van 10 euro ofzo of indien we het hier hebben om private ams-ix een stukje peering wat het natuurlijk een stuk goedkoper kan maken. En de software matige keuze hoeveel backups je wilt en hoeveel mirroring eraan vast zit. Op den duur willen we ook worldwide mirroring gaan doen. Maar dan moet het systeem wel dusdanig secure zijn dat dit het ook mogelijk maakt.

Leuk initiatief, maar 0,25 Euro per GB ga je erg moeilijk halen, denk aan aanstuur apparatuur, OS beheerders, netwerk (switches ed.) en de opslag zelf.

Daarentegen kun je, als je puur peering only wil gaan aanbieden, wel leuke prijzen maken. Als je AMS-IX connectie neemt, moet je echter nog wel even alle peerings verzamelen, veel grotere providers verwachten dat je al veel verkeer doet voordat ze met je gaan peeren, dus je zit een beetje met een kip/ei verhaal.

Samenwerken met een bestaande partij is dus zeker aan te raden. Maar ik zou het business model eens goed door rekenen als ik jullie was

Ter vergelijking, wij rekenen in Duitsland Euro 11,50 per gigabyte opslag / maand, echter dit is wel redundante opslag (dus eigenlijk 2 gigabyte capaciteit reserveren) . Klanten kunnen ook nog als extra service hun data op tape of dvd laten zetten (tegen meerprijs).

Dit model loopt in midden Europa erg goed, dus wellicht komt jou idee ook van de grond, het proberen waard

Het kostmodel ligt extreem laag. En is gebalanceerd over 3 jaar. Het gaat om aantallen servers en niet om de hoeveelheid data die het bevat. Door zeer veel kleine servers te gaan gebruiken verkleinen we de kans op grote data verlies.

Vooral in het begin zal het grote opslag gedeelte wat lastig zijn. Maar naarmate het vordert zal ook dit steeds lager worden. Wat ons heel specifiek opvalt is dat de hardeschijf fabrikanten erg vrijwillig zijn in het onderzoek hierna, en ook zeer veel initieel wilden helpen in de vorm van hardware. Nou was de hoofdpersoon maxtor, maar om persoonlijke redenen heb ik die bedankt als je ervan uit gaat dat ik maar 3 maand met een maxtor schijf doe.

Ja ik weet dat het peering verhaal wat lastig is..... Maar idd een extra partij is daarvoor handig, en binnenkort word daar ook actief naar gezocht. In de eerste tijd > kleiner dan 20TB zal het al helemaal niet rendabel zijn. Maar daarna, wel. De benodigde netwerkapparatuur hebben we reeds in ons bezit. Het zit hem alleen nog in tijd en zin om het bij te gaan houden. Wat betreft man uren ben ik het helemaal met je eens hoor. Daar moet zeer nouw lettend naar gekeken worden. Maar ook dat achten we zeer laag. Je hebt namelijk niet zoveel man nodig tot de eerst 200TB voor het geen wat we hebben uitgedokterd. Daarna word het echter wel lastig. En ook zodra we op meerdere locaties het willen gaan doen. Dan zullen departementen op gezet moeten worden bwv.

Je kunt zeker met harde schijf fabrikanten leuke deals maken als je veel schijven nodig hebt. Weliswaar kunnen we samen wat leukers regelen, voor een project (in samenwerking met paar NL partijen) hebben we op korte termijn 250 - 300 TB opslag capaciteit nodig in Nederland. Weliswaar kunnen we dus samen de schijven inkopen en nog leukere kortingen bedingen.

btw dat systeem coraid, is daar ook een brochure over? niet dat ik het princiepe wil gebruiken ofzo we gebruiken namelijk iets heel anders.