Onderwerp: Hoe controleren of een bestand volledig is?

Vraagje, ik heb een folder waar middels ftp vaak bestanden naar worden geupload. Deze bestanden verschijnen echter al met de volledige bestandsnaam in de folder, ook al is de overdracht nog niet voltooid.

Nu heb ik een ander proces wat de bestanden uit deze folder verplaatst, echter kan ik niet zien of een bestand volledig is of niet. Hoe is dit op te lossen?

Dat kan je niet weten zolang je niet de checksum hebt danwel de uiteindelijke grootte van een file.

Oplossing is om eerst naar een temp folder te uploaden en daarna een move te doen.

Kan je dat niet doen met een lsof met een grep o.i.d.?

Gewoon een gedachten spinsel : Check de bestandsgrootte zet dat weg in een file, check die na 60 seconden nogmaals. Als deze gelijk is verplaats je, als hij ongelijk is wacht je weer 1 min oid. Kun je afstemmen met hoevaak je proces draait.

@Wido, aan een move heb ik ook gedacht, maar ik heb geen controle over de partij die de bestanden stuurt. Ik dacht er ook aan om alleen bestanden te verplaatsen die ouder zijn dan 1 minuut, aangezien het allemaal om bestandjes van +/- 300kb gaat.... geen 100% garantie, maar voor nu prima. Op het moment dat 300kb niet binnen een minuut kan worden verstuurd gaan er andere alarmen af .

Iemand die een slim mv command voor mij kan en wil opstellen?

Of je gebruikt een feature van de ftp server. Proftpd configuratie vind je op proftpd.org/ docs/directives/linked/config_ref_HiddenStores.html .

Inderdaad, veel FTP servers hebben de optie dat men eerst upload naar een hidden-file, waarna deze de goede naam krijgt.
Sommige FTP-clients zelf hebben ook zo'n systeem zitten, maar ik zou hier naar de opties van de gebruikte FTP-server kijken zodat het direct voor alle klanten werkt.

Je zou met behulp van fuser kunnen controleren of het bestand dat je wilt verplaatsen, nog door een proces in gebruik is; zo niet, dan kan hij veilig verplaatst worden; zo wel, probeer het dan later nog eens. Een andere optie is inotify, bijvoorbeeld met behulp van incron: werkt net als cron, maar houdt file changes binnen een opgegeven map in de gaten, en voert een bepaalde taak uit (bv. rsync, mv) als er daar iets (waar jij naar op zoek bent) verandert, zoals IN_CLOSE_WRITE (geopend bestand is na het schrijven weer gesloten). Als je daar een rsync commando aan koppelt, kun je die uit laten voeren op elk moment dat een bestand aan de map wordt toegevoegd. Dit heb ik echter nooit in combinatie met FTP transfers geprobeerd, dus misschien niet waterdicht.

Bedankt voor de reacties zover, wij maken gebruik van vsftpd op deze server. Het liefst stap ik niet over naar een andere ftp software, het werkt nu immers zoals dat het moet doen. Ik zie (weliswaar een artikel uit 2008) dat vsftpd hidden stores niet ondersteund: http://ubuntuforums.org/showthread.php?t=1007302

Voor een alternatief kan je de comments lezen op stackoverflow.com /questions/5826890/php-how-do-i-avoid-reading-partial-files-that-are-pushed-to-me-with-ftp .

Wat Kiezo zegt is gewoon een goede oplossing. Die gebruiken wij ook voor partijen die gezipte datafeeds aanleveren op wazige momenten gedurende de dag.
Als je ftpserver dat niet ondersteund ben je een beetje gebonden aan een gescripte oplossing (bv. met lsof gewoon elke seconde kijken of het bestand nog open is en if not -> renamen naar een bestand dat je gaat verwerken).
Er is trouwens niks mis mee om een andere ftp server, die het wel ondersteund, te installeren. Dat noemen ze 'systeembeheer'.

Je zou eens naar inotify kunnen kijken, die kun je als daemon laten draaien en acties uit laten voeren na een change in je filesystem.