Likes Likes:  0
Resultaten 1 tot 7 van de 7
  1. #1
    VMWare ESXi slechte write performance via NFS // ISCSI
    Betalert
    177 Berichten
    Ingeschreven
    17/07/07

    Locatie
    Noordwijk (Z-H)

    Post Thanks / Like
    Mentioned
    0 Post(s)
    Tagged
    0 Thread(s)
    0 Berichten zijn liked


    Registrar SIDN: nvt
    KvK nummer: nvt
    Ondernemingsnummer: nvt

    Thread Starter

    VMWare ESXi slechte write performance via NFS // ISCSI

    Onderstaande vraag heb ik gepost op tweakers aangezien het niet echt met hosting te maken heeft (kloot bakje voor thuis) maar wegens uitblijven reactie ga ik het toch maar hier even proberen omdat er hier hopelijk meer mensen met ervaring zitten.

    Ik ervaar een (in mijn ogen) té lage write wanneer ik een VM maak die opgeslagen staat op een filesystem gemount als NFS of ISCSI share via FreeNAS.

    Setup:
    VMWare ESXi met daarop 1VM met FreeNAS (via VT-d de sata controller)
    Virtuale vmware switch voor "storage" network (10gbit switch)
    Pool voor VM's is mirror (2x 1tb) met lz4 compressie (en noatime)

    Wat is nou het probleem:


    Dit is dus in een VM waarvan zijn virtuele disk op de NFS store staat. Dit betreft trouwens een "eager zeroed" file dus best-case qua performance.

    Via iSCSI is het niet veel beter:


    De grap is echter wanneer ik op mijn pc dezelfde image mount via VirtualBox (over samba) dan krijg ik dit te zien:


    De leessnelheid van 500mb/s+ lijkt me incorrect (allicht gecached) maar een writespeed van ~8mb/s is gewoon echt traag. De VM zelf voelt ook traag aan.

    Aangezien mijn pc het via smb mount en het daar wel snel is verwacht ik niet dat dit aan FreeNAS ligt maar helemaal zeker ben ik er niet van. Iemand suggesties?

    O, trouwens ik heb het ook getest via het "normale" netwerk om de virtuele switch van VMWare uit te sluiten.

    edit:
    Vanaf de VM een file kopieren naar de VM storage via samba gaat met ~50mb/s

  2. #2
    VMWare ESXi slechte write performance via NFS // ISCSI
    geregistreerd gebruiker
    1.892 Berichten
    Ingeschreven
    17/08/05

    Locatie
    Amsterdam

    Post Thanks / Like
    Mentioned
    34 Post(s)
    Tagged
    0 Thread(s)
    35 Berichten zijn liked


    Naam: Wieger Bontekoe
    Bedrijf: Skynet ICT B.V.
    Functie: CEO
    URL: skynet-ict.nl
    Registrar SIDN: Nee
    View wbontekoe's profile on LinkedIn

    --edit
    Sorry net wakker :P

    Wat voor disken zijn het ? 2x 1TB raid1 maar wat voor disken precies?
    Skynet ICT B.V. - The cause of the problem is: the printer thinks its a router.

  3. #3
    VMWare ESXi slechte write performance via NFS // ISCSI
    Betalert
    177 Berichten
    Ingeschreven
    17/07/07

    Locatie
    Noordwijk (Z-H)

    Post Thanks / Like
    Mentioned
    0 Post(s)
    Tagged
    0 Thread(s)
    0 Berichten zijn liked


    Registrar SIDN: nvt
    KvK nummer: nvt
    Ondernemingsnummer: nvt

    Thread Starter
    Het zijn 2 standaard 1tb 7200RPM disks, weet zo uit mn hoofd niet exact welke het zijn.
    Raid is idd "raid1" (maar van van ZFS http://www.zfsbuild.com/2010/05/26/zfs-raid-levels/)

    Het kan alleen eigenlijk niet aan de "file host" zelf liggen aangezien ik vanaf een andere pc wél 'normale' snelheden haal.

  4. #4
    VMWare ESXi slechte write performance via NFS // ISCSI
    geregistreerd gebruiker
    282 Berichten
    Ingeschreven
    24/07/13

    Post Thanks / Like
    Mentioned
    11 Post(s)
    Tagged
    0 Thread(s)
    38 Berichten zijn liked


    Naam: -

    Wat voor nic heb je in die ESX bak zitten? Ik heb ooit in een test setup een nic gehad in mijn ESXi doos die iscsi verkeer kon verwerken en TCP offloading deed. ik gebruikte die functies niet, resultaat performance was om te huilen.

    andere nic (andere type): prima resultaten

    toch maar eens met tcp offloading aan de slag gegaan, super resultaat.

  5. #5
    VMWare ESXi slechte write performance via NFS // ISCSI
    geregistreerd gebruiker
    11 Berichten
    Ingeschreven
    07/11/03

    Locatie
    Tegelen

    Post Thanks / Like
    Mentioned
    1 Post(s)
    Tagged
    0 Thread(s)
    0 Berichten zijn liked


    Naam: Jeroen
    Bedrijf: Web2All B.V.
    URL: www.web2all.nl
    Registrar SIDN: JA
    KvK nummer: 12062400
    Ondernemingsnummer: nvt

    In consumenten mode denkende zou ik pas naar lokale disk performance optimalisatie gaan kijken zodra je last krijgt van een hobbeltrein (hikken door blocking read en write IO in verband vol lopen write cache).

    Helemaal geen write performance betekend dat er geen write cache is waar uncommited data bewaard kan blijven. ESXi doet zelf (terecht) niet aan write caching. Staan de NFS exports wel in async mode? De veiligere sync mode gaat namelijk niet performen zonder dat er op hardware niveau write caching aanwezig is. NFS in async en wat extra geheugen toewijzen aan de freeNAS VM (voor write cache) zou genoeg moeten zijn voor het lichtere write IO werk.

    Of het hebben van unprotected uncommited write cache veilig voor je data is....? Daar kun je alleen zelf antwoord op geven. Er zijn mensen die zelfs de write cache op de fysieke harddisks zelf aanzetten en er gelukkig mee zijn...

  6. #6
    VMWare ESXi slechte write performance via NFS // ISCSI
    geregistreerd gebruiker
    376 Berichten
    Ingeschreven
    17/12/10

    Locatie
    Eindhoven

    Post Thanks / Like
    Mentioned
    9 Post(s)
    Tagged
    0 Thread(s)
    31 Berichten zijn liked


    Naam: Wil
    Registrar SIDN: nee
    KvK nummer: nvt
    Ondernemingsnummer: nvt

    @bonza heeft gelijk qua NFS.

    Dit is trouwens een bekend probleem tussen freeNAS en ESXi, staat zelfs in de documentatie:
    http://doc.freenas.org/9.10/freenas_...ml#vmware-esxi
    hetgeen dan meteen verwijst naar deze post op hun forum:
    https://forums.freenas.org/index.php...-faster.12506/

    Oh dear, ik zie nu pas dat je freeNAS als VM draait en via VT-d rechtstreeks de disks aanspreekt, dat is ook niet echt een ondersteunde config.
    Dat maakt het troubleshooten niet makkelijker. Heeft freeNAS wel genoeg RAM?

    Wat heb je als virtuele NICs gekozen binnen je virtuele freeNAS? Als het intel e1000 is, probeer dan eens de e1000e in plaats daarvan.
    Laatst gewijzigd door wila; 15/07/16 om 13:04.

  7. #7
    VMWare ESXi slechte write performance via NFS // ISCSI
    Betalert
    177 Berichten
    Ingeschreven
    17/07/07

    Locatie
    Noordwijk (Z-H)

    Post Thanks / Like
    Mentioned
    0 Post(s)
    Tagged
    0 Thread(s)
    0 Berichten zijn liked


    Registrar SIDN: nvt
    KvK nummer: nvt
    Ondernemingsnummer: nvt

    Thread Starter
    Citaat Oorspronkelijk geplaatst door Boskoop Bekijk Berichten
    Wat voor nic heb je in die ESX bak zitten? Ik heb ooit in een test setup een nic gehad in mijn ESXi doos die iscsi verkeer kon verwerken en TCP offloading deed. ik gebruikte die functies niet, resultaat performance was om te huilen.

    andere nic (andere type): prima resultaten

    toch maar eens met tcp offloading aan de slag gegaan, super resultaat.
    Ik denk niet dat de NIC zelf relevant is aangezien de nfs/iscsi storage over een VMWare "virtuele" nic loopt. Alle 3 de varianten daarvan heb ik getest. TCP offloading zal ik even moeten kijken of ik daar iets over kan vinden.

    Citaat Oorspronkelijk geplaatst door bonza Bekijk Berichten
    In consumenten mode denkende zou ik pas naar lokale disk performance optimalisatie gaan kijken zodra je last krijgt van een hobbeltrein (hikken door blocking read en write IO in verband vol lopen write cache).

    Helemaal geen write performance betekend dat er geen write cache is waar uncommited data bewaard kan blijven. ESXi doet zelf (terecht) niet aan write caching. Staan de NFS exports wel in async mode? De veiligere sync mode gaat namelijk niet performen zonder dat er op hardware niveau write caching aanwezig is. NFS in async en wat extra geheugen toewijzen aan de freeNAS VM (voor write cache) zou genoeg moeten zijn voor het lichtere write IO werk.

    Of het hebben van unprotected uncommited write cache veilig voor je data is....? Daar kun je alleen zelf antwoord op geven. Er zijn mensen die zelfs de write cache op de fysieke harddisks zelf aanzetten en er gelukkig mee zijn...
    Mja het vreemde vind ik dat vanaf mijn PC diezelfde VM gemount over samba wél snel is. Allicht dat hij dan wel iets naar een eigen cache schrijft durf ik niet te zeggen zou zomaar kijken. Async mode zal ik even controleren, voor mijn thuis setup zou dat prima zijn zonder unprotected cache

    Citaat Oorspronkelijk geplaatst door wila Bekijk Berichten
    @bonza heeft gelijk qua NFS.

    Dit is trouwens een bekend probleem tussen freeNAS en ESXi, staat zelfs in de documentatie:
    http://doc.freenas.org/9.10/freenas_...ml#vmware-esxi
    hetgeen dan meteen verwijst naar deze post op hun forum:
    https://forums.freenas.org/index.php...-faster.12506/

    Oh dear, ik zie nu pas dat je freeNAS als VM draait en via VT-d rechtstreeks de disks aanspreekt, dat is ook niet echt een ondersteunde config.
    Dat maakt het troubleshooten niet makkelijker. Heeft freeNAS wel genoeg RAM?

    Wat heb je als virtuele NICs gekozen binnen je virtuele freeNAS? Als het intel e1000 is, probeer dan eens de e1000e in plaats daarvan.
    Maar ook via iSCSI is het té traag (wel sneller dan NFS). Ik zou wel even kunnen kijken met een SSD'tje er aan wat dat gaat doen.

    En ja ik ben met je eens dat het niet écht supported is, daarintegen zijn ze er tegenwoordig wel wat op teruggekomen zie o.a. deze post http://www.freenas.org/blog/yes-you-...alize-freenas/.

    De FreeNAS VM heeft 16GB ram. Ik heb ook alle 3 de verschillende NIC's.

    Thx all voor de suggesties in elk geval, ik heb weer wat te doen het weekend



Labels voor dit Bericht

Webhostingtalk.nl

Contact

  • Rokin 113-115
  • 1012 KP, Amsterdam
  • Nederland
  • Contact
© Copyright 2001-2021 Webhostingtalk.nl.
Web Statistics