Colocatie? Thuis? Wat zijn de beste/goedkopere opties voor grote hoeveelheden data?

[WebKit]

Hallo,

Qua expertise rijkt mijn kennis zich voornamelijk tot webdesign en het beheren van websites an sich (CMS-admin, DirectAdmin, cPanel). Directe voorkennis op het gebied van het daadwerkelijk installeren van een webserver of co-locatie (hoewel ex-IT'er) -denk aan BeOS- valt niet onder mijn portfolio.

Momenteel zit ik er, voor 1 van mijn klanten, toch aan te denken om mijn kennis wat bij te spijkeren, zodat we kunnen gaan inzetten op colocatie. Althans, dat leek mij op dit moment de beste oplossing voor zijn situatie:

Fotograaf met een behoorlijk archief (dan hebben we het over 200GB aan foto's) welke zich zal blijven uitbreiden en draait op een Joomla-CMS-systeem, wat tot op heden (via niet al te dure VPS-aanbieders) geen bijster hoge resultaten heeft opgeleverd. Hij zal minstens het dubbele aan ruimte moeten hebben om normaal te kunnen back-uppen, etc. Daarom stelde ik voor om een eigen server samen te stellen, zodat hij deze eens in de zoveel tijd zelf kan upgraden (waar nodig).

Thuis een desktop neerzetten is een optie, maar volgens mij niet direct een aanrader, zodoende ik zat te denken aan colocatie. Zelf een systeem bouwen en onderbrengen of een server huren. Hoewel dat laatste dan wederom restricties met zich meebrengt.

Zou iemand mij kort kunnen adviseren wat het meest praktische is om te doen? De site dient gewoon op een snel systeem te draaien, gezien huidige hosters her en der voor problemen zorgden ivm de ruimte/kracht/verbruik, etc.

Dank alvast!

[Thijzzz]

Denk aan een VPS, waarbij je de backup van het data gedeelte naar een pc'tje thuis regelt.
als je niet dagelijks een full abackup maakt, kan dit proma in een goedkoop data abbo bij je VPS.

als de fotograaf al zijn foto's online bewaart,
dan is Joomla alleen handig als deze zeer strak gepatched wordt, omdat er nogal wat mis mee is,
zeker als je er allerhande plugins in stopt.

een eigen fysieke server is ook leuk,
maar die gaan nog wel eens stuk midden in de nacht, dat probleem heb je bij een VPS niet.

Wat is het budget per 3 jaar?

[SF-Jeroen]

Ik zou nou niet meteen voor colocatie gaan. Het nadeel hiervan is dat (afhankelijk van het contract met je klant natuurlijk) jij 24/7 bij storingen aan de slag mag (en mogelijk zelfs naar het DC mag). Ook in je vakanties. Ook 's nachts. Daarnaast zal je dus ook nog ergens 200GB back-upruimte moeten afnemen in geval de server stuk gaat (RAID is geen back-up). De grotere hosters hier hebben gewoon teams van technici die dergelijke storingsdiensten draaien. De kosten van dergelijke managed diensten zijn uiteraard wel iets hoger.

Er zijn overigens ook genoeg cloudhosters die hun zaakjes wel goed op orde hebben en zelfs veel (redundante) storage aanbieden. Kijk bijvoorbeeld eens bij Joyent (ook in NL), Amazon of iets goedkoper; CloudVPS. Voordeel is dan dat je het onderhoud altijd remote kan doen en niet zelf voor hardwarematige problemen hoeft op te draven.

[WebKit]

Dank voor jullie reactie.
@Thijzzz :

Ik heb de site momenteel draaien via een VPS, maar ik merk dat zelfs daar niet alles even soepel draait. Of dat nu komt door werkgeheugen of wat dan ook; het loopt niet lekker. Het zijn dan ook grote hoeveelheden foto's en thumbs die constant worden gegenereerd (watermerk, cache). Zodoende het idee om alles wat meer zelf in de hand te kunnen houden (voor een -op jaarbasis gezien- lager tarief, wanneer er slechts 1x een systeem wordt samengesteld met de juiste hardware).

Het Joomla-systeem bevat slechts een aangepast fotoarchief/verkoop-systeem en een back-up component. Joomla heeft in dat opzicht (met die grote hoeveelheden foto's) redelijk wat te verduren, maar het is niet zo dat de site heeft te makken met teveel nutteloze extensies. Het back-up component biedt wel mogelijkheden om extern te back-uppen, maar het gaat er meer om dat er eens per maand een back-up gemaakt kan worden. Na 4 back-ups wordt de eerste verwijderd, enz. Eens per twee/drie maanden wordt er dan een back-up naar zijn eigen pc toe gedownload.

Joomla wordt ook bijgehouden qua patches, waar mogelijk. Niet iedere update wordt (nog) meegenomen, gezien er een hoop core-bestanden zijn aangepast op het foto-systeem. Dat zijn dingen die nog komen, maar voor nu geen prioriteit hebben. Het wordt geen site die dagelijks tientallen duizenden bezoekers ontvangt. Het is meer een gericht foto-systeem/archief waar klanten foto's kunnen vinden en kunnen kopen.

Er gebeurt, wanneer alles gewoon naar behoren draait, zodoende ook niet veel meer aan het systeem waardoor deze voor problemen zou kunnen zorgen. Zodoende zat ik dus ook te denken aan een fysieke thuisserver/desktop. Een die 24/7 naast zijn andere pc draait en waar verder niets op wordt gedaan. Hij heeft zakelijk internet, dus in dat opzicht heeft ie redelijk stabiel internet.

Budget per 3 jaar durf ik niet te zeggen. Ik denk dat je uit moet gaan van 2000-2500. Incl. bouw server en onderbrengen van server bij een colocatie. Indien dat het wordt.

@SF-Jeroen :

Ik verwacht persoonlijk geen hele grote storingen. Wat ik hier boven al omschreef; wanneer het eenmaal draait, zal er niet veel geknutseld hoeven te worden. In principe heeft ie gewoon een site welke doorgaans op een vrij simpele hosting gehost kan worden, maar het zit 'm echt in de grootte en de laadtijd (bij sommige hosters, gezien de kracht die er voor nodig schijnt te zijn) dat we nu besloten zelf iets op te zetten.

Daarnaast komen er in zijn geval nog een paar sub-sites aan, die dan vanaf dezelfde server kunnen draaien. Sites, die puur en alleen uit een paar losse pagina's bestaan. Geen grote hoeveelheden foto's. Zou op zich niet heel veel moeten vreten. Het zou het wel allemaal mooi onder kunnen brengen onder dezelfde server.

Mocht er een keer iets fysieks gedaan moeten worden aan de server; so be it. Of de server dan bij een colocatie staat of bij hem thuis. Wordt dat bij een colocatie niet dusdanig geregeld dat je via hun systeem jouw systeem kunt rebooten? Dat kan ik nu ook bij de VPS Cloud-hoster waar we bij zitten.

Het foto-systeem wordt aangevuld dmv zip-batch-bestanden. Een zip met daarin meerdere foto's die reeds voorzien zijn van de juiste META-data etc. Die zip-bestanden bewaart hij. Mocht hij dus eens per 2 maanden een back-up downloaden en er gaat iets mis, hoeft hij slechts een aantal van die zips terug te uploaden om de site weer bij te werken. Dat bespaart (in mijn ogen) weer op die 200GB elders reserveren. En is RAID-1 niet een 1-op-1 schrijf systeem?

Wat uiteindelijk ook de uitkomst wordt; het idee is wel om zelf een systeem samen te stellen, en niet om ergens een server te moeten gebruiken. Daarna is het dus de vraag; wat is het beste om met deze server te doen. Ik ken alleen de mogelijkheid tot colocatie (data centers) en thuis de server neer planten.

Dien je, indien je kiest voor colocatie (en om zelf te bouwen), de server racks van de betreffende aanbieder te gebruiken? Oftewel; heeft het nut om een desktop te bouwen of om elders een serverrack te bouwen? Desktops worden nergens geaccepteerd, denk ik?

Dank!

[systemdeveloper]

Eerst uitzoeken waarom het niet lekker loopt. Anders heb je straks een desktop/server/whatever die wellicht ook niet lekker loopt.
Wat wij als hosters (nou ja, de goede hosters als ik zo arrogant mag zijn) in het dc hebben staan is over het algemeen duur enterprise spul in geoptimaliseerde omgevingen. Daar ga je met een desktop thuis nooit tegenop boksen natuurlijk. Wat jij als budget aangeeft, dat geeft een hoster al uit aan een handvol ssdtjes.

Wat je overigens wel eens kunt proberen, aangenomen dat het het systeem niet voor elke bezoeker opnieuw elke pic gaat resizen en watermerken, is een cdn zoals cloudflare gebruiken. Met name als je veel statische pics hebt kan dat je vps behoorlijk offloaden. Cloudflare kun je gratis gebruiken (de kleinste versie) maar dat kan al een goed verschil maken.

Overigens hebben wij ook ergens een site die zijn data (xmls en pics) via honderden zip bestanden per dag aangelevert krijgt. Daar merkt de site niks van. Dus wellicht kun je ook eens kijken of je wat extra cpu cores/ram aan je vps kunt toevoegen. (een unzip proces trekt gewoon 100% van je cpu-core tenslotte). Dat is over het algemeen toch wel goedkoper dan alleen al de colokosten, excl. de pc/server.

[Thijzzz]

Hmmm...
Als je fotograaf de site regelmatig voed met nieuwe foto's, maar het hele zooitje ook nog thuis heeft liggen, en heel de site teruggebouwd kan worden door een lege site te plaatsen, en die dan te voeden met alle zip bestanden...

Maake een backupje van de lege site, en thuis een van alle zipfiles (op een externe disk die je goed geconserveerd buitenshuis bewaart, in een luchtdicht broodtromeltje in de schuur bijvoorbeeld, als diefstal geen issue is)

stop met het dynamisch genereren van thumbs als je VPS daar over klaagt, maar genereer ze gewoon in een keer allemaal. Kost een paar honderd MB, ben je klaar.
Dan heb je geen backup meer nodig van je VPS, ook niet dattie zichzelf op zichzelf backupt. En als jij knutselt aan de custom Joomla, doe je dat op een testmachine, VMmetje op je thuis pc of zo, waarna je de site van die nieuwste versie voorziet, en alle foto's laat staan. (denk aan versiebeheer thuis)

In de nog goedkopere versie host je thuis een ftp server, en connect je die als share aan je online cloud VPS, zodat een bezoeker de foto's by proxy geleverd krijgt. VPS storage is erg duur, maar een ienie minie webservertje zonder al te veel storage of backup kun je al vor 50,- per maand hebben.

[TotallyHosted]

Ik vermoed dat het probleem er meer in zit dat Joomla niet bedoeld is voor dit soort werk.

Wellicht kun je even contact opnemen met info@chamidmedia.nl - Wij hebben een script voor fotografen waar o.a. www.sportfotografie.nl op draait (inclusief backups van het fotoarchief)

[WebKit]

Om even kort reactie te geven:

@ systemdeveloper: Cloudflare zal ik eens bekijken. Alle afbeeldingen worden inderdaad opgeslagen in het cache op de server. Echter heb ik het idee dat de database gewoon dusdanig vol zit en gelinkt is aan dusdanig veel afbeeldingen, dat het rekenwerk van de huidige VPS te zwak is om alles (op een 100% juiste wijze) bij te benen.

Er wordt nu zo'n 80 euro per maand neergeteld, en dat was voor hetgeen hij nu heeft globaal gezien de goedkoopste optie. Daar wil hij niet bovenuit komen. Zodoende het besluit tot een eigen rack/server.

@ Thijzzz: Je begrijpt me denk ik verkeerd. Ik doelde erop, dat zodra de server mocht crashen, hij dan altijd nog een gedownloade backup heeft liggen, niet ouder dan 2 maanden. Hij bewaart zijn zips ook lokaal ter back-up. Dan hoeft hij hoogstens 2 maanden te uploaden. Dit was even globaal gezien. Het liefst uiteraard maandelijkse back-ups (wekelijks teveel, gezien het geen miljoenen-database betreft).

Het is nu zo, dat alleen custom Joomla + custom/aangepast component hoeven te worden geinstalleerd, waarna back-up (foto's/database) eroverheen kunnen worden geplaatst. Alles is gelinkt en custom naar de klants wens aangepast. Momenteel staat er een nieuw geupdate versie (zowel Joomla/fotosysteem) klaar om te vervangen. Deze zal pas worden toegepast bij de overgang naar een nieuwe methode (server).

Daarmee is het idee van TotallyHosted ook geen optie. Hij is namelijk juist afgestapt van kant en klare scripts, gezien deze minder naar wens zijn aan te passen en daarbij speelt vormgeving een rol. Dit archief/verkoopsysteem is onderdeel van andere, nog in ontwikkeling staande sub-sites. Daarbij staan er zo nog 5 andere fotografen in de rij die momenteel af willen stappen van kant en klare scrpits, gezien die systemen (naar hun zeggen) geen ideaal en stabiel middel blijken. Dat zijn niet de minste fotografen. Niet dat ik ze overigens Joomla (of uberhaubt iets) aanraad, maar in dit specifieke geval wist ik dat er meerdere dochter-sites moesten worden ontwikkeld en daarbij bood Joomla de meeste opties/meest geschikte componenten/modules.

Dus nogmaals (niet om koppig te willen klinken); het idee is sowieso om een eigen fysieke server te kunnen neerzetten. Waar (thuis/datacenter) is de vraag. In welke vorm, etc. Dat zou ook het idee zijn, mocht het nu aan Joomla blijken te liggen (naar mijn mening dus aan de hardware, maar dat terzijde), en Joomla (en dus de sloomheid soms, vooral in de backend) gefikst wordt. Ik kan overigens niet geloven dat de sloomheid veroorzaakt wordt door de custom aanpassingen aan beide zijden. Dit zijn voornamelijk aanpassingen, gericht op de vormgeving en bijvoorbeeld het zoek-systeem. Ook zonder zoek-systeem ingeschakeld blijft 't hetzelfde.

Daarbij zit er nu al dusdanig veel werk in voor de fotograaf zelf, dat opnieuw overschakelen naar een ander systeem, waarin hij opnieuw alles moet inrichten, een no go is. De fysieke server heeft voor hem dus als voordeel dat ie relatief goedkoop zelf hardware kan uitbreiden (harde schijven vooral), en vooral ook naar eigen inzicht. Tevens wil hij er meerdere sites op kunnen installeren (de rest dus allemaal vrij klein, gezien voornamelijk informatie pagina's/formulieren). Ook zal de server dienen als back-up buitenshuis (mocht er brand uit breken, inbraak, noem het maar op...).

Lage kosten (over bijvoorbeeld 3 jaar gezien), zelf het meeste in beheer, geen grootschalige praktijken nodig om foto's opnieuw in te richten op een ander systeem. De foto's zijn weliswaar voorzien van allerlei META-data, maar dan nog gaat het om heel veel submappen per jaar (sinds 2006), categorie, etc. 70K aan foto's.

Het begon ooit verkeerd, doordat ie op een normale shared webhosting begon. Daarna overgestapt naar Cloud VPS. Nu 300GB aan HD-ruimte.

[t.bloo]

Professionele servers horen in een datacentrum en niet thuis in de meterkast. Je kunt prima je eigen rackserver aanschaffen (1U hoog bijvoorbeeld) en die middels colocatie in een datacentrum bij je in de buurt onderbrengen. Zet er wel RAID-1 in, dat geeft wat tijd bij een disk storing. Zet een tweede ongeveer zelfde systeem op voor op kantoor om mee te oefenen en als reserve systeem.

[avanmessen]

Je vindt hier trouwens regelmatig prima tweedehands servers voor een prikje !

[TotallyHosted]

Daarmee is het idee van TotallyHosted ook geen optie. Hij is namelijk juist afgestapt van kant en klare scripts, gezien deze minder naar wens zijn aan te passen en daarbij speelt vormgeving een rol. Dit archief/verkoopsysteem is onderdeel van andere, nog in ontwikkeling staande sub-sites. Daarbij staan er zo nog 5 andere fotografen in de rij die momenteel af willen stappen van kant en klare scrpits, gezien die systemen (naar hun zeggen) geen ideaal en stabiel middel blijken. Dat zijn niet de minste fotografen. Niet dat ik ze overigens Joomla (of uberhaubt iets) aanraad, maar in dit specifieke geval wist ik dat er meerdere dochter-sites moesten worden ontwikkeld en daarbij bood Joomla de meeste opties/meest geschikte componenten/modules.

Het systeem waar ik het over heb, bestaat uit een zelf ontwikkeld systeem dat op maat gemaakt wordt per fotograaf. Het is dan ook niet goedkoop, maar ook niet onbetaalbaar. Zeker niet als je kijkt naar het verbruik van sommige fotografen, het feit dat er dagelijks backups gemaakt worden (sommmige fotografen verbruiken meer dan 500 GB verdeeld over 400.000 foto's), etc.

O.a. http://database.sportview.nl/ www.petersmulders.nl www.albertdenisegerfotografie.nl en www.denieuwsfoto.nl en www.fotoleovogelzang.nl draaien er ook op. Net als nog diverse anderen. Zoals je wellicht ziet wijken die alweer sterk af van sportfotografie.nl. Er is in elk geval nauwelijks iets kant-en-klaars aan, alleen het zoeksysteem zelf (wat ook nog op maat aangepast kan worden).
Een USB-harddisk aanleveren met foto's die we automatisch importeren behoort tot de opties, inclusief het importeren van de EXIF-data. Wellicht toch een idee om even te kijken of we iets voor je kunnen betekenen? Er is meer mogelijk dan je denkt.