Onderwerp: wget 404 negeren

Is het mogelijk om 404 (image not found) te negeren bij het gebruiken van het wget commando? Op het moment dat we een site downloaden die ook maar 1 image/css/html bevat die niet meer bestaat, knalt wget er ineens uit; en dit is niet de bedoeling.

Ik vind echter geen manier om deze niet-gevonden bestanden te negeren?

je kunt dan beter curl gebruiken. daar kan je meer opties instellen zoals het negeren van url-doorsturen. een oplossing voor wget weet ik niet zo 123.

Het moet echter wget zijn, omdat deze dan weer andere voordelen heeft t.o.v. curl: links herschrijven, etc.

Het lijkt er toch op dat dit instelbaar moet zijn, aangezien ik me niet kan voorstellen dat het proces er bij de minste 404 mee ophoudt.

Wat ik doe is kijken met een scriptje naar de bestandsgrootte. Als het een groot bestand is, heb je de goede te pakken. Anders is het een 404.

Voor elke file apart? We willen wget namelijk inzetten om volledige websites te downloaden, en dan is het een beetje dom om voor elke URL apart een download te doen?

Kan je al even vermelden welk commando je precies uitvoert, want als ik "wget -m <url>" doe dan neemt die gewoon alle bestanden mee en slaat de 404 over of download ze gewoon als 404 mee (hangt van extentie af).

wget -r -k -nv -nc -l inf -R dmg,zip,tgz,exe -o crawl.log http://sitename.com