Onderwerp: Versnellen PHP FTP.

Beste allemaal,

Op dit moment ben ik bezig met een project, waarbij duizenden kleine bestanden (rond de 15kb) gedownload moeten worden van een FTP server. Nu gebruik ik hiervoor o.a.:

ftp_open(); voor het openen van een FTP verbinding.
ftp_get(); voor het downloaden van het bestand via FTP.
ftp_nlist(); om een recursieve functie te ontwikkelen om alle bestanden uit de onderliggende folders te downloaden.

Nu is mijn ervaring (ook met FTP applicaties als WS_FTP), dat het downloaden van VEEL kleine bestanden, vele malen langer duurt als downloaden van een paar hele grote bestanden.
Nu wordt dat binnen dit project bijna ondoenlijk... het duurt echt gewoon veel te lang.

Ik kan aan de kant met de bestanden niets aanpassen (dus zippen o.i.d.)... dus een eventuele snelheidswinst zou uit de verbinding moeten komen.

Heeft iemand hier een idee hoe je dit verkeer zou kunnen versnellen?

Bedankt!

Misschien kan je bij je script zorgen dat als je bezoekers de bestanden hebben gekozen deze via een GZIP / Tar functie in 1 groot bestand worden bewaard en dan dat ze dat downloaden. De meeste linux installaties hebben gzip/tar.
http://nl2.php.net/zlib

De originele bestanden zijn dan in de zip file.

Sorry Edit.
Ik lees net dat je de bestanden NIET kan aanpassen (Had gelezen juist wel aanpassen).

Zonder zippen/rarren etc is de enige performancewinst te behalen in timeouts en wait-times en eventueel kijken of je meerdere connecties tegelijk kan maken zodat je bijv 4 files tegelijk binnenhaalt. Daar valt nog wat tijdswinst te pakken.

De FTP-server waar je heen connect doet wellicht een DNS lookup of ident request. Dat kan lang duren. Probeer het eens vanaf de prompt op je machine en je zult waarschijnlijk zien dat 't ook lang duurt (dus niet aan PHP ligt).

Als je die FTP-server onder controle hebt, probeer DNS en ident lookups dan eens uit te zetten.

Gokje op basis van ervaring.

Ik kan helaas niets op de FTP server wijzigen, is echt van een derde...
En het zal inderdaad iets zijn wat hij elke keer uitvoert bij een nieuw bestand o.i.d. waardoor de FTP erg traag wordt bij veel kleine bestanden.

Ik moet gewoon enkele seconden wachten per bestandje en dat maal 10.000 o.i.d... is niet echt werkzaam, al gaat het om een cronjob.

Als die verificatie inderdaad het probleem zou zijn, dan kan ik er verder dus vanaf "de download" kant helemaal niets meer aan doen?

Bedankt!

Zou het openen van meerdere threads dit enigszins kunnen verbeteren? Is het technisch überhaubt mogelijk? (Passive FTP o.i.d.?)

Heb je al wget geprobeerd? Zie je dat wget ook echt pauzeert bij elke file?

Nog niet geprobeerd. Het vind ook plaats op een andermans server, dus ik moet kijken of ik applicaties kan uitvoeren via PHP daar.

Als jij een shared of reseller bent kan je wel op de volgende manier maar of het mag zou ik niet weten.:
Alles rarren en dan uploude naar je FTP. De eigenaar/hosting moet het dan uitpakken via een SSH user meestal root of als je zelf toegang hebt...

Gaat het niet sneller met SCP?

Oorspronkelijk geplaatst door WE-Create!

Zonder zippen/rarren etc is de enige performancewinst te behalen in timeouts en wait-times en eventueel kijken of je meerdere connecties tegelijk kan maken zodat je bijv 4 files tegelijk binnenhaalt. Daar valt nog wat tijdswinst te pakken.

Lijkt mij ook de beste oplossing,

Het zou kunnen zijn dat ftp_get checkt of het bestand bestaat.
Deze check vertraagd nogal bij deze hoeveelheden bestandjes.
Misschien is het beter om alles zelf te schrijven mbv fsockopen of iets dergelijks.

Oorspronkelijk geplaatst door BlueLagoon

Ik kan helaas niets op de FTP server wijzigen, is echt van een derde...
En het zal inderdaad iets zijn wat hij elke keer uitvoert bij een nieuw bestand o.i.d. waardoor de FTP erg traag wordt bij veel kleine bestanden.

Ik moet gewoon enkele seconden wachten per bestandje en dat maal 10.000 o.i.d... is niet echt werkzaam, al gaat het om een cronjob.

Als die verificatie inderdaad het probleem zou zijn, dan kan ik er verder dus vanaf "de download" kant helemaal niets meer aan doen?

Bedankt!

Zou het openen van meerdere threads dit enigszins kunnen verbeteren? Is het technisch überhaubt mogelijk? (Passive FTP o.i.d.?)

is mogelijk, als je deze recursie aanpast, dat hij zeg maar zichzelf (de phpfile) aanroept om die map dan te downloaden. ipv weer de functie ana te roepen.
Weet niet of er een maximaal aantal connectie op die server draaid.

Oorspronkelijk geplaatst door almar

Gaat het niet sneller met SCP?

Lijkt mij niet, gaat hier meestal juist langzamer, zou wel zijn omdat het ook nog gecodeerd wordt.

Gebruik je active of passive ftp ?

Als je dit draai op een Linux of *BSD doos dan kan je met een beetje perl en mget de hele zooi ophalen.. Moet je het in een DB hebben kan je er daarna altijd nog een keer over de directory wandelen..
Over FTP, netrc en mget is meer dan genoeg online te vinden..