Groot probleem

[Rui Lopes]

Ik heb een facebook page van 4,5 miljoen likes waar ik dagelijks enkele links postte van mijn eigen websites. Tot begin augustus was het goed tot ik mijn forum van software veranderde. Mybb naar Xenforo.
Daarna als ik zo een link zet op facebook waar meteen veel mensen naar mijn website afkomen kan ik de page nauwelijks zien maar alles verder werkt goed. de server load stijgt soms hoger dan 100 en de httpd zijn gebruiken 16GB van de RAM. Probeer ik de Max clients te verhogen dan stijgt de verbruik van de RAM met zich mee. Ik heb Max clients op 400. Ik heb al alles geporobeerd. Zelfs sites verwijderd van de server en nog steeds hetzelfde probleem! Ik heb zelfs al van server veranderd en dat lost niks op!

Zo ziet mijn httpd op direct admin uit:

httpd httpd (pid 519 11813 11816 11876 11883 11898 11908 11911 11918 11928 11929 11963 11965 11966 11968 11969 11970 11971 11972 11973 11975 11976 11977 11978 11979 11980 11981 11983 11984 11985 11986 11987 11988 11989 11990 11992 11993 11994 11995 11996 11997 11998 11999 12000 12001 12002 12003 12004 12005 12006 12007 12008 12010 12011 12012 12013 12014 12015 12016 12017 12018 12019 12020 12021 12022 12023 12024 12025 12026 12027 12028 12029 12030 12031 12032 12033 12035 12036 12038 12039 12040 12041 12042 12043 12044 12045 12047 12048 12049 12050 12051 12052 12053 12054 12055 12056 12057 12058 12059 12064 12065 12066 12067 12068 12069 12070 12071 12072 12073 12074 12075 12077 12078 12079 12080 12081 12082 12084 12086 12087 12088 12089 12090 12091 12092 12093 12094 12095 12098 12099 12100 12101 12102 12103 12104 12105 12106 12107 12108 12109 12110 12111 12112 12113 12114 12115 12116 12117 12118 12119 12121 12122 12123 12124 12125 12126 12127 12128 12129 12135 12136 12137 12138 12139 12140 12141 12142 12143 12144 12145 12146 12147 12148 12149 12150 12151 12152 12153 12154 12155 12156 12157 12158 12159 12160 12161 12162 12163 12164 12165 12166 12173 12174 12175 12176 12179 12180 12181 12182 12183 12184 12185 12187 12188 12189 12190 12191 12192 12194 12195 12196 12197 12198 12199 12200 12201 12202 12203 12217 12218 12219 12220 12221 12222 12223 12224 12225 12226 12227 12228 12229 12230 12231 12233 12234 12237 12239 12240 12241 12242 12243 12244 12245 12246 12247 12248 12347 12370 12454 12465 12466 12478 12479 12480 12481 12494 12495 12496 12497 12498 12499 12500 12501 12515 12516 12517 12518 12519 12520 12521 12522 12524 12525 12526 12527 12528 12529 12530 12543 12544 12545 12546 12547 12548 12549 12550 12551 12552 12553 12554 12555 12556 12557 12558 12559 12560 12561 12562 12563 12564 12566 12567 12568 12569 12570 12571 12572 12573 12574 12586 12587 12588 12589 12590 12591 12592 12593 12594 12595 12596 12597 12598 12599 12600 12601 12602 12603 12604 12605 12606 12607 12608 12609 12610 12611 12612 12613 12614 12615 1261 16.78 GB Start Stop Restart Reload

[SF-Jeroen]

Heb je ook een top / htop output erbij?

Sent from my GT-I9001 using webhostingtalk mobile app

[systemdeveloper]

Paar schotjes voor open doel: beter cachen, snellere disks, mysql optimaliseren.

[Boyke]

Ik zou gaan voor caching, lijkt me het meest effectief met zoveel potentiële bezoekers.

[Yourwebhoster]

Wat veel interessanter is is de output van server-status met extended info. In DirectAdmin dit aanpassen:
nano /etc/httpd/conf/extra/httpd-info.conf

En server-status voor je eigen IP aanzetten en extended aan. Apache herstarten en dan in de browser http://ip/server-status openen. Even wachten wellicht en refreshen en dan zie je wat die processen aan het doen zijn. Het is goed mogelijk dat je slachtoffer bent van een aanval. Maar dat zou je aan server-status kunnen zien (bijv één IP die veel verbindingen maakt met je server).

[Rui Lopes]

Allereerst wil ik iedereen bedanken voor het antwoord. Ik ben zeer nieuw in dit gebied dus ik weet niet hoe ik het beste mijn server kan cachen!
Ik denk dat MYSQL niet echt een probleem is als ik naar het aantal verbruikte RAM kijk.
Omdat mijn server nu even gewoon normaal is, heeft het geen zin om op dit moment de command top te laten zien, ik zal het doen wanneer ik de problemen weer krijg!
Yourwebhoster ik heb alles gedaan wat jij zei maar ik moet het kijken wanneer ik weer het probleem heb. Waar moet ik vooral opletten?

[Rui Lopes]

Ik wil ook graag weten hoe ik ips blokkeer. Met Cpanel ik kon ervoor zorgen dat ik alleen thuis toegang had. Is dat ook mogelijk met directadmin?

[DiederikL]

Dit doe je in de firewall. Binnen Directadmin is 1 van de opties om het te doen via CSF (Config Server Firewall). Deze heeft een grafische interface binnen da. Maar wij kunnen niet ruiken of CSF bij jou server is geïnstalleerd.

Ik vraag me af of je niet beter af bent om een managed server af te nemen.

[Rui Lopes]

Het is te duur ik heb minimaal 32 GB RAM nodig, 50 TB traffic

[CT0]

Het is te duur ik heb minimaal 32 GB RAM nodig, 50 TB traffic

Wat is er te duur? CSF is gratis...

Je kunt beter optimaliseren dan een bak extra resources er tegenaan gooien.

[chielsen]

Met zulke pieken zou ik toch in de hoek van varnish gaan kijken.

[davinci]

is het static content? waarom dan niet gewoon op s3/cloudfront publiceren?

[joriz]

Of gewoon Nginx (http://wiki.nginx.org/Main) installeren het vereist misschien een klein beetje tuning maar als je het voor Apache plaatst kan je al een hoop druk van de server afhalen door alle statische bestanden direct door Nginx te laten afhandelen.
Daarnaast kan je met Nginx tegenwoordig ook Microcaching gebruiken. Dat betekend dat Nginx een dynamische pagina voor gasten enkele seconden onthoudt en dus bij pieken bij de volgende gast dezelfde pagina serveert zonder dat Apache en PHP iets hoeven doen.

[Rui Lopes]

Ik heb een dedicated server bij Worldstream. Ik heb gisteren een bericht gekregen dat mijn ip geblokkeerd is vanwegens Ddos aanval!

[Bart L]

Tijd om wat meer geld te reserveren, en een partij in de hand te nemen die hier ervaring mee heeft. Op het aanbieding gevraagd forum kun je een bericht plaatsen en dan ben ik er van overtuigd dat er diverse partijen je kunnen helpen.

[Apoc]

Je hebt een Facebook pagina met 4,5 miljoen likes (die je berichten schijnbaar ook lezen, anders zou je server niet over z'n nek gaan), en kunt geen managed server veroorloven?

Dat klinkt alsof je commercieel gezien iets niet helemaal goed doet. Ik zou eens beginnen door na te denken over een manier om wat inkomsten te genereren. Met 4,5 miljoen Facebook likes, is het niet heel moeilijk om advertentie inkomsten te genereren waarmee je makkelijk een goede managed server kunt bekostigen.

[Dreas]

Kijk eventueel ook eens naar cloudflare.com .. is gratis.

[phreak]

Ik zou naar Varnish kijken als oplossing.

[Apoc]

Ik zou naar Varnish kijken als oplossing.

Dat is afhankelijk van de specifieke situatie. Wanneer het om bezoekers gaat die lid zijn van het betreffende forum, heb je aan enkel Varnish niet heel erg veel. Punt is dan vooral dat de pagina voor iedere ingelogde bezoeker uniek is (en dus afzonderlijk gecached worden - en de eerste pageload van iedere bezoeker dus nog niet gecached is). Als je dus bijvoorbeeld 10.000 (ingelogde) leden van een forum in 1 keer op bezoek krijgt, helpt Varnish niet veel. In zo'n geval zul je (eventueel naast Varnish) ook dieper moeten duiken in zaken als OPcache, query caching en memcached (of soortgelijk).

Wanneer het vooral niet-ingelogde bezoekers gaat die bij een Facebook post op het forum komen, dan helpt Varnish natuurlijk juist wel erg veel.

Hoe dan ook; het is geen overbodige luxe om in een situatie als deze een geoptimaliseerde omgeving op te laten bouwen, specifiek voor de behoeften van de betreffende site. Maar daar is natuurlijk wel een beetje budget voor nodig (geen bakken met geld, maar uiteraard wel meer dan een unmanaged budget server). Ik zou TS dus aanraden om eerst eens een verdienmodel uit te denken.

[phreak]

Dat is afhankelijk van de specifieke situatie. Wanneer het om bezoekers gaat die lid zijn van het betreffende forum, heb je aan enkel Varnish niet heel erg veel. Punt is dan vooral dat de pagina voor iedere ingelogde bezoeker uniek is (en dus afzonderlijk gecached worden - en de eerste pageload van iedere bezoeker dus nog niet gecached is). Als je dus bijvoorbeeld 10.000 (ingelogde) leden van een forum in 1 keer op bezoek krijgt, helpt Varnish niet veel. In zo'n geval zul je (eventueel naast Varnish) ook dieper moeten duiken in zaken als OPcache, query caching en memcached (of soortgelijk).

Wanneer het vooral niet-ingelogde bezoekers gaat die bij een Facebook post op het forum komen, dan helpt Varnish natuurlijk juist wel erg veel.

Hoe dan ook; het is geen overbodige luxe om in een situatie als deze een geoptimaliseerde omgeving op te laten bouwen, specifiek voor de behoeften van de betreffende site. Maar daar is natuurlijk wel een beetje budget voor nodig (geen bakken met geld, maar uiteraard wel meer dan een unmanaged budget server). Ik zou TS dus aanraden om eerst eens een verdienmodel uit te denken.

Er was al eerder gevraagd of TS veelal static content serveerde, indien ja, dan is varnish zeker interessant. Overigens ben ik eens met je standpunt over het feit dat als er 4,5 miljoen "likes" zijn op fb en veel gelinked wordt naar zijn eigen site, er best een verdienmodel aan zit en dus ook betere apparatuur/vm's kan huren/aanschaffen.

[cyrano]

Was er geen issue met Xenforo, FB en redirects?

Zowel Chrome 28, IE10 als FF weetikveel of later geven dan problemen. Ze bouwen verbindingen op die nooit voltooien. Apache logs uitvlooien?

[Apoc]

Er was al eerder gevraagd of TS veelal static content serveerde, indien ja, dan is varnish zeker interessant.

Ja ik zag het. Maar juist omdat hij aangaf dat het een forum betreft, zal dat waarschijnlijk niet het geval zijn. Je kunt een forum natuurlijk wel "semi statisch" maken door korte caching periodes in te bouwen (eventueel enkel voor niet-ingelogde bezoekers, zodat ingelogde bezoekers geen vertraagde updates van pagina's te zien krijgen), of door nog een stap verder te gaan met bijvoorbeeld Edge Side Includes. Maar in beide gevallen zal er dan nog wel meer bij komen kijken dan simpelweg Varnish installeren "en klaar is kees". Waar ik dus eigenlijk op doelde, is dat TS daar waarschijnlijk niet op eigen houtje uit zal komen.

[phreak]

Ah, daar had ik overheen gelezen dan..