Onderwerp: Hoe doen jullie een update van jullie servers?

Beste WHT'ers,

De laatste maanden merk ik op dat we het ene security issue achter het andere hebben. NTP, SSH, en vandaag Glibc om er maar een paar te noemen. Steeds opnieuw zijn er een vrij snel patches zodat een update vrij snel kan gebeuren. Makkelijk als je één server hebt of een handje vol, maar hoe doen jullie dat met honderden/duizenden vps'en en servers?

Afhankelijk van je situatie, maar je zou daar bijvoorbeeld puppet voor kunnen gebruiken.

Ik gebruik SaltStack, een update uitrollen zoals glibc o.i.d. is met 1 commando gebeurd! Puppet kan inderdaad ook.

Ik gebruik Ansible (command line) op mijn servers. Werkt erg fijn en snel.

Wij gebruiken ook Puppet (en Ansible voor een paar externe servers)

Ik heb daar een scriptje voor gemaakt waarbij ik 1 keer aangeef wat moet gebeuren en dat vervolgens een update voor elke server genereert. 'screen' starten en launch & forget. (Nou ja, in theorie 'forget' want stiekum open ik toch wel een shell met 'tail update.log', in geval er iets fout mocht gaan).

ClusterSSH zodat we zaken batch gewijs uit kunnen voeren.


Sent from my iPhone using webhostingtalk mobile app

Oorspronkelijk geplaatst door SF-Jeroen

Wij gebruiken ook Puppet (en Ansible voor een paar externe servers)

Vanwaar Puppet EN Ansible ?

Ik zat ook iets te bedenken, maar achteraf gezien bleek dit niet zo veilig te zijn...
- Scriptje maken en op server zetten
- via cronjob haalt server elke x uur/dag/... het scriptje af
- via cronjob juiste rechten toekennen
- via cronjob uitvoeren

In het scriptje zet je gewoon niks. Wil je al je servers even updaten, dan open je het scriptje op die ene server, zet daar het commando in (bvb yum update ntp) en binnen x tijd (afhankelijk van je cron) zijn al je servers up to date. Simpel en doeltreffend denk ik. Echter wees iemand mij er toen op dat dit ook makkelijk kan misbruikt worden : als een kwaadaardig figuur plots toegang zou hebben tot de server waar het script op staat en daar in typt "rm -fr /" dan heb ik plots geen data meer op mijn servers, om maar een voorbeeld te geven. Dus veilig is het zeker niet...

Via onder andere expect scripting

Oorspronkelijk geplaatst door Peter Bin

Vanwaar Puppet EN Ansible ?

Waarschijnlijk omdat je niet altijd Puppet kan installeren. Bijvoorbeeld op servers van klanten waarbij je het beheer deelt, maar zo zijn er nog wel wat situaties te bedenken.

Op dit moment een CI oplossing die met 1 druk op de knop een forced command uitvoert op alle servers van ee bepaald type (losse knoppen voor centos/debian/ubuntu) Op somige plekken een aparte reboot job, waar volgorde van reboot belangrijk is (incl checks onderweg)
Voordeel is dat ik weken/maanden/jaren terug kan kijken wat er gebeurde bij elke update, ook als de server zelf die data niet meer heeft.

Forced commands zorgen ervoor dat er geen andere commandos mogelijk zijn via die weg.

Wij maken gebruik van puppet in combinatie met een nachtelijke update cron voor de repository pakketten en in ons geval DirectAdmin

Bij ons doet Puppet de initiële installatie van de server (vlak na de base-install), zorgt dat Debian pakketten up-to-date blijven, zorgt dat de configuratie overal gelijk is, en dat alle services draaien. In principe commit je een wijziging naar Github, gaat die wijziging automatisch langs Jenkins en door de teststraat. Wanneer alles goedgekeurd is kan Puppet het uitrollen (heel simpel gezegd).

Via een eigen oplossing die we hebben ontwikkeld enkele jaren terug. Inmiddels zijn we aan het kijken naar enkele aanpassingen om het nog wat simpeler in gebruik te maken. Over 1 uur verdeeld starten alle updates, vervolgens krijgen we een terug koppeling en vinken we af wat er gestart is en af is. Wat na een bepaalde periode (afhankelijk van de update) na de start nog niet is afgerond loggen we even op in om de status te controleren. Dit systeem geeft ons ondanks veel maatwerk/verschillende configs toch de vrijheid en het gemak om bepaalde updates snel uit te rollen over meerdere systemen.