Onderwerp: Je domste fout op een server

Ik had voor het eerst een server gecolocate. Wat dingetjes veranderd dmv ssh en wilde de netwerkverbinding opnieuw opstarten: ifdown eth0. ifup eth0 werkte niet meer .

Nu gelukkig al veel wijzer :P

Hmm ik heb ook wel eens per ongelijk bijna 80% van alle bestanden op de server gechowned naar xxxx.xxxx.

En wat natuurlijk ook wel dom was is een server in het dc uit zetten vergeten aan te zetten. stonden toen nog in a'dam en konden na aankomst in r'dam weer terug kachelen.

Bijna ernstigste hier... hdd vol laten lopen door ene log (die ik later gewoon heb uitgezet) van 50gb... en dat DirectAdmin vervolgens de config-files herschrijfde...

ALLES WEG
Gelukkig had ik backups! Helaas wel 2 dagen oud...
Toch wel jammer dat dit kan bij DirectAdmin...
Zoveel mogelijk (als je geen backups hebt en volle hdd) kwijt door config-rewrite...

Valt me mee dat 'plesk updaten' er nog niet bij staat

Poeh, moeilijk om te bedenken, er zijn natuurlijk heel veel kleine dingetjes (verkeerde file editen enzo), ik denk dat ik veel uit m'n geheugen heb geblokkeerd maar ik ben toch al 10 jaar op unixsystemen aan het klooien. Deze kan ik me iig de volgende herinneren:

- De eth0 interface ifconfiggen... Oeps, ik was remote op die machine ingelogd via die interface en nu is de default route weg.. Dat werd bellen voor een reboot!

- Een FreeBSD 4.0 systeem dat ik beheerde voor een universiteit ver in den lande *draaiend* proberen te upgraden naar FreeBSD 4.1... Resultaat: alle services crashen vanwege problemen met libraries, ssh-en naar de machine werkte niet meer.. Ik had nog 1 ssh-terminal open staan die het nog deed en daarmee kon ik nog de oude libraries weer terugzetten... Eindstand na een slapeloze nacht om 7:30 's ochtends draaide alles weer. De bak was wel weer gewoon stabiel en heeft een recorduptime van 550 dagen gehaald want ik durfde 'm echt niet meer te rebooten of upgraden

- Een newsletter mailinglist (10.000 leden) voor een klant verplaatsen naar een nieuwe server, maar blijkbaar was hierdoor de "moderated" setting gereset, dit dacht ik getest te hebben maar blijkbaar niet... Een paar uur in de kroeg gezeten en toen ik terug kwam waren er 25 mails naar de list van "Please unsubscribe me" ... "WTF why am I getting this? shut up" ... "get your shit sorted" ... "STOP SPAMMING ME WITH ALL THESE EMAILS"... De klant stond zwaar voor gek en was not amused... Sindsdien ben ik paranoide voor mailinglists

- kldload ipfw (dag verbinding)

- fsck op een gemounte disk... De server was door een gecrashte disk al aan het overlijden, dit was een laatste poging, maar het was geen goed idee...

- Tijdens een debugsessie in een php-functie een aantal echo "a"; echo "b";'s gesprinkeld om te zien waar de functie mis ging... Ai! Ik had de cron scripts niet uitgezet, en deze functie werd nog elders gebruikt, namelijk voor het aanmaken van virtual hosting accounts... Toen ik mailtjes begon te krijgen gelijk het script afgebroken maar een stuk of 100 klanten hadden al de loginmailtjes ontvangen voor hun nieuwe website adadadadhundomein.nl (dit was bij transip )

- Me eerst afvragen waarom ik een week lang thuis geen telefoon krijg en iedereen me mobiel belt (zwaar irritant), en vervolgens erachter komen dat ik asterisk had gekilld en niet meer upgebracht.

Verder niet van mijzelf gelukkig:

- /etc/shadow.passwd gedownload, met Notepad op een Windows-systeem geedit en weer geupload (in Windows textformaat)... Kortom, niemand kon meer inloggen en dus mocht er iemand naar de colo, ik werkte er toen gelukkig niet meer

- Een shell user aanmaken voor een collega met z'n loginnaam als password... Binnen enkele dagen de server natuurlijk vol met IRC bots!

Etc etc

op een server??

meschien er wel met een server


1u kast als boeke steun
later deze maand is ding naar onder gekomen

Weliswaar niet mijn domste, maar wel een lastig te ontdekken fout:

chown user:nogwat / of
chmod 700 /

Duurde voor mij erg lang om hier achter te komen!

Ik heb ooit SSH verwijderd. Kon ik helemaal naar het DC om even SSH te yummen :\

Ook ooit een keer de bekende SSH fout. Updaten en met certificaten klooien zonder voor de tijd even telnet open te zetten. SSH dood en geen alternatief. Gelukkig was de PHP van die bak zo brak geprogrammeerd dat via allerhande exec/system-functies de boel toch weer up kwam zonder een ritje DC.
Denk dat velen deze fout wel eens gemaakt hebben. Heb dan hier wel het geluk dat er binnen 5 minuut iemand bij de server staat, maar goed. Het blijft lame.

Wilde een keer mijn testserver thuis uitzetten, maar log per vergissing in op de server in het DC... "halt"... Gelukkig was er de APC en had ik het bios zo ingesteld dat na het uitvallen van de spanning de server direct weer moest booten.

# ifconfig eth0 0
Dan ben je blij met een remote kvm

#shutdown -h now
ipv een -r.. dan ben je blij met een apc (of een wakeuponlan)

Aangezien wij over 2 verschillende IP ranges beschikken heb ik ooit eens een foutieve gateway ingesteld in de config files van de netwerkkaart & na een reboot kon ik server niet meer bereiken. Was ff nadenken voor ik het door had

Oorspronkelijk geplaatst door bakkerl

#shutdown -h now
ipv een -r.. dan ben je blij met een apc (of een wakeuponlan)

Ipv exit halt typen
Niet door mij, maar door andere admin
En dan volgende dag maar afvragen waarom de server down was.

Met het idee om alle oude backups weg te gooien:
# cd /home/backup/datum
# cd ..

Toen niet helemaal wakker en nogmaals
# cd ..

Tot nog toe niet zo bijzonder, tot
# rm -rf *

Weg useraccounts, weg quota files. Gelukkig hadden we de foto's, nouja, backups nog.

rm -rf / php (Met spatie dus...)

Gelukkig geen lopende server...