Onderwerp: FTP upload

Hoi,

ben voor een vriend zijn webshop aan her restoren, de backup vanuit de webserver gedownload.

Nu is er bijna 880.000 bestandjes kleine foto die geuplaod moeten worden, via ftp gaat dat eorm lang duren, omdat die ook telkens checkt,

is er een softweare waarmee het veel sneller gaat ?>

gr

Als je op beide servers SSH toegang hebt kun je het met SFTP doen. Anders toch FTP

Of eerst heel de boel tarren of zippen, overpompen, en weer uitpakken.

FTP met meerdere gelijktijdige overdrachten is mogelijk nog een idee als sftp geen optie is. Inpakken + uploaden + uitpakken verwacht ik overigens niet direct veel tijdswinst van.

SCP van de ene naar de andere server?

rsync

Oorspronkelijk geplaatst door Mark17

FTP met meerdere gelijktijdige overdrachten is mogelijk nog een idee als sftp geen optie is. Inpakken + uploaden + uitpakken verwacht ik overigens niet direct veel tijdswinst van.

Ik verwacht een enorm verschil.
Alles staat telkens te wachten op het opzoeken /ophalen en daarna aanmaken van enorm veel kleine filetjes.
Ik vermoed ook dat TCP amper op snelheid komt als je telkens een blokje data, stilte en weer een blokje data stuurt.

Een archief maken, als geheel oversturen en weer uitpakken gaat hier heel veel winst opleveren.

Oorspronkelijk geplaatst door visser

Ik verwacht een enorm verschil.
Alles staat telkens te wachten op het opzoeken /ophalen en daarna aanmaken van enorm veel kleine filetjes.
Ik vermoed ook dat TCP amper op snelheid komt als je telkens een blokje data, stilte en weer een blokje data stuurt.

Een archief maken, als geheel oversturen en weer uitpakken gaat hier heel veel winst opleveren.

Met genoeg gelijktijdige sessies kun je dit effect grotendeels opvangen. Het inpakken en uitpakken kan echter ook redelijk wat tijd kosten bij dit soort aantallen. Natuurlijk kun je het nog in delen inpakken en overzetten zodat je wat meer parallel gaat werken en dat is mogelijk nog iets sneller.