Bekijk Volledige Versie : Server met Grafische kaart
Even een bijzondere vraag, ik ben o.a. werkzaam voor een logistiek bedrijf, waar ik diverse algoritmes en applicaties ontwikkel om het magazijn te optimaliseren.
Dit is rekenintensief werk. Het bedrijf maakt een overstap van de cloud naar eigen hardware in meerdere datacenters, gezien we ontevreden zijn over de cloud-omgeving.
Nu is de applicatie die ik heb geschreven erg zwaar voor de CPU, en zodra ik de berekeningen doe op de GPU, zijn deze vele malen sneller klaar. Op dit moment is de applicatie nog in ontwikkelfase, maar ik wil toch bedenken of het niet handig is om dit op de GPU te blijven berekenen.
Komt het veel voor dat er servers in het datacenter hangen, waar grafische kaarten in zitten? Standaard kom ik dit niet veel tegen en de interne systeembeheerder vond het ook nogal een raar verzoek. Nu zie ik wel dat Dell o.a. GPU Accelerators aanbied in de hardware.
Zien jullie dit soort verzoeken veel voorbij komen? Zijn er nog speciale dingen waar we rekening mee moeten houden?
virtuality
14/01/17, 18:59
Dell, en de meeste andere vendoren hebben standaard grafische kaarten voor in de servers. Het zijn wel vaak de wat krachtigere servers dus het is geen goedkope oplossing. We komen het vaker tegen in combinatie met Terminal Server oplossingen en grafische applicaties die daarin moeten draaien.
Je kunt in de meeste servers zelf een insteekkaart zetten. Let wel op dat die dingen veel stroom kunnen trekken en dus meer maandelijkse kosten.
Het zal gaan om de wat meer high-end kaarten gaan, de standaard GPU's hebben niet genoeg cores. De kaart waar ik op test heeft uit mijn hoofd 500+ cores (+/- €250,- aanschaf) en bij voorkeur komt er 1 of 2 nog krachtigere kaarten in de server.
Wat betreft kosten hoeft men zich geen zorgen om te maken. Huidige berekeningen geven aan dat we 30-40% minder uren kwijt zijn aan magazijnwerk, dus het zal redelijk snel terugverdient zijn.
Het lijkt mij geen probleem om een 2u server te plaatsen met een videokaart erin, maar die dingen kunnen nogal warm worden, vooral als ze minimaal 20 uur per dag worden gebruikt. Zal dit een groot probleem vormen?
systemdeveloper
14/01/17, 22:36
Iets in deze trant zou wel leuk zijn dan: http://www.nor-tech.com/solutions/hybrid-gpu-solutions-from-nor-tech/8-gpu-server/
Is dit wellicht iets? https://www.steigerdynamics.com/products-infinitum-server-features
Wanneer je voldoende fans hebt en in een degelijk datacenter zit, moet koeling geen probleem zijn.
Kijk! Dat is wat ik zocht.
Het is eigenlijk mooi om te zien dat het alsnog wel vaker gebeurd. Ik zie nog wel een kleine uitdaging qua voeding en koeling, maar dat zullen we echt moeten uitproberen. Dit zal wel flink wat servers schelen eigenlijk en uiteindelijk een hoop manuele kracht. We gaan eens proberen de interne systeembeheerder te overtuigen :)
Dat Infinitum is leuk, maar het is zeker geen enterprise product. Zou dat ten sterkste afraden.
Gebruik je CUDA of OpenCL trouwens?
Maar ik kan je verzekeren dat als Dell/HP de mogelijkheid bieden om GPU Accelerators te plaatsen dat je je niet druk hoeft te maken over koeling e.g. Mocht je je daar prettiger bij voelen, Supermicro heeft een aparte pagina met GPU-optimized servers: https://www.supermicro.com/products/nfo/gpu.cfm
Ik gebruik CUDA inderdaad.
De Dell servers vond ik eigenlijk ook pas nadat ik dit topic had geopend. Ik denk dat het in het begin ook geen enterprise product gaat worden, gezien het nog puur als test draait, maar eigenlijk draait het al boven verwachting, dus wie weet. De systeembeheerder is eigenlijk een Dell-fan en de gehele infrastructuur bestaat uit Dell/Equalogic hardware, dus ik denk toch wel dat het Dell hardware gaat worden.
Ramon Fincken
17/01/17, 09:53
is AWS niet iets voor je?
We zijn juist aan het wegverhuizen van de cloud naar een eigen platform, gezien we erg ontevreden zijn. AWS en Azure valt naar onze mening erg tegen qua snelheid.
Waar we vooral tegen aan liepen was de support, die meestal erg lastig deed over de werktijden. (06:00 - 02:00 uur per dag, 6 dagen in de week, binnenkort 7 dagen in de week.) Hoe dit daadwerkelijk is bij AWS of Azure durf ik niet te zeggen, gezien we alleen de snelheid hebben getest. Maar uiteindelijk is de keuze gemaakt om naar eigen hardware over te stappen.
Heb je het dan over snelheid mbt netwerk latency ? Of GPU power ?
Ik ken een bedrijf die 3D modellen mbt 3D printing renderen in AWS en dat gaat prima. Maar wel met een directe AWS koppeling. (Welke wij je mee kunnen helpen )
Als je het zelf wil bouwen, dan kan je ook kijken naar Supermicro met GPU nodes ... als je in een overtoom setup ( zelfbouw rack met midi towers ) wil bouwen, dan kan je voor low cost wel heel veel power bouwen. Zeker als je meer ruimte kan gebruiken en je puur naar gpu cycles kijkt.
De reden waarom we hebben gekozen voor eigen hardware, is als ik het goed heb vooral omdat de CPU snelheid en IO tegenvalt. En dat merken we o.a. erg in de database.
Het project waarvoor we de GPU nodig hebben is nieuw. Het gaat echt om de GPU power, qua netwerk zal het verkeer niet al te groot zijn wat betreft deze applicatie. Het gaat om een neural network die de huidige database transacties zal binnen krijgen en die een set met regels uitrekent en uitpoept.
Grote kans dat het een twee-tal Dell servers gaat worden met GPU's. 1 in elke locatie. Elke server zal zijn eigen berekeningen uitvoeren, maar alleen de beste regels delen.