Onderwerp: Varnish cache static content

We hebben Varnish nu al een tijdje voor Apache draaien, maar ik zie m.i. toch teveel requests in de Apache logfiles naar js, css enzovoorts bestanden. Deze horen 20 minuten ge-cached te worden door Varnish en toch worden ze vaak aan Apache opgevraagd. Nu heb ik het vermoeden dat dit te maken heeft met de browser instellingen van de bezoeker, te vergelijken met CTRL + F5 (hard refresh). Dit heeft dan weer te maken met de req.http.Cache-Control in Varnish volgens mij, maar is het verstandig deze te allen tijde te negeren? Hoe gaan jullie hiermee om?

Zijn het niet "gewoon" SSL requests die om Varnish heen gaan?

Deze staat o.a. wel in je VCL?

sub vcl_recv {
if (req.url ~ "\.(html|gif|jpg|jpeg|png|js|css)$") {
unset req.http.cookie;
return(lookup);
}

Oorspronkelijk geplaatst door Bart L

Zijn het niet "gewoon" SSL requests die om Varnish heen gaan?

Deze staat o.a. wel in je VCL?

sub vcl_recv {
if (req.url ~ "\.(html|gif|jpg|jpeg|png|js|css)$") {
unset req.http.cookie;
return(lookup);
}

1. Nee, geen SSL
2. Ja, in zowel vcl_recv als vcl_fetch worden de cookies "verwijderd"

Kijk anders even naar varnishstat of je wel een goeie hitrate hebt om te beginnen.
Als dat al bagger is dan is er meer mis...

Oorspronkelijk geplaatst door cyberbootje

Kijk anders even naar varnishstat of je wel een goeie hitrate hebt om te beginnen.
Als dat al bagger is dan is er meer mis...

Volgens Varnish zijn er toch aardig wat HITS geweest. De MISSES zijn voornamelijk van een website die we excluded hebben van Varnish.

Handel je ook de user-agent en bijhorende accept-encoding af ? Als je dat niet doet, dan is elke user-agent en encoding een apart object.

Indien je daar geen rekening mee houd, raad ik je aan user-agent te strippen, en de encoding in 3 of 4 soorten op te splitsen, daarmee verhoog je direct je hitrate, en verlaag je de back-end calls. Je hebt per item een maximum van 3 / of 4 calls, afhankelijk wat de lifetime van je cache is uiteraard !

Oorspronkelijk geplaatst door Mikey

Handel je ook de user-agent en bijhorende accept-encoding af ? Als je dat niet doet, dan is elke user-agent en encoding een apart object.

Indien je daar geen rekening mee houd, raad ik je aan user-agent te strippen, en de encoding in 3 of 4 soorten op te splitsen, daarmee verhoog je direct je hitrate, en verlaag je de back-end calls. Je hebt per item een maximum van 3 / of 4 calls, afhankelijk wat de lifetime van je cache is uiteraard !

Mikey heb je daar een voorbeeld van?

Aan vcl_recv heb ik toegevoegd:

if (req.http.Accept-Encoding) {
if (req.url ~ "\.(jpg|jpeg|png|gif|gz|tgz|bz2|tbz|mp3|ogg|swf|ic o|woff|ttf|eot|svg)$") {
# No point in compressing these
remove req.http.Accept-Encoding;
} elsif (req.http.Accept-Encoding ~ "gzip") {
set req.http.Accept-Encoding = "gzip";
} elsif (req.http.Accept-Encoding ~ "deflate") {
set req.http.Accept-Encoding = "deflate";
} else {
# unkown algorithm
remove req.http.Accept-Encoding;
}
}

Aan vcl_fetch heb ik toegevoegd:

if (beresp.http.Vary ~ "User-Agent") {
set beresp.http.Vary = regsub(req.http.Vary, ",? *User-Agent *", "");
set beresp.http.Vary = regsub(req.http.Vary, "^, *", "");
if (beresp.http.Vary == "") {
remove beresp.http.Vary;
}
}

Dit lijkt wel te werken maar nog niet direct mijn hitrate te verhogen.

Vergeet de cookies niet (en GET requests met ? en & )

Oorspronkelijk geplaatst door Mikey

Handel je ook de user-agent en bijhorende accept-encoding af ? Als je dat niet doet, dan is elke user-agent en encoding een apart object.

Indien je daar geen rekening mee houd, raad ik je aan user-agent te strippen, en de encoding in 3 of 4 soorten op te splitsen, daarmee verhoog je direct je hitrate, en verlaag je de back-end calls. Je hebt per item een maximum van 3 / of 4 calls, afhankelijk wat de lifetime van je cache is uiteraard !

Hi Mike,

heb je hier documentatie van? Ik kan het nergens vinden dat dat by default (VCL 3.x) apart gaat.
kon wel wat vinden om het juist apart te maken: https://www.varnish-cache.org/docs/3...detection.html

Oorspronkelijk geplaatst door Boyke

Mikey heb je daar een voorbeeld van?

Aan vcl_recv heb ik toegevoegd:

if (req.http.Accept-Encoding) {
if (req.url ~ "\.(jpg|jpeg|png|gif|gz|tgz|bz2|tbz|mp3|ogg|swf|ic o|woff|ttf|eot|svg)$") {
# No point in compressing these
remove req.http.Accept-Encoding;
} elsif (req.http.Accept-Encoding ~ "gzip") {
set req.http.Accept-Encoding = "gzip";
} elsif (req.http.Accept-Encoding ~ "deflate") {
set req.http.Accept-Encoding = "deflate";
} else {
# unkown algorithm
remove req.http.Accept-Encoding;
}
}

Aan vcl_fetch heb ik toegevoegd:

if (beresp.http.Vary ~ "User-Agent") {
set beresp.http.Vary = regsub(req.http.Vary, ",? *User-Agent *", "");
set beresp.http.Vary = regsub(req.http.Vary, "^, *", "");
if (beresp.http.Vary == "") {
remove beresp.http.Vary;
}
}

Dit lijkt wel te werken maar nog niet direct mijn hitrate te verhogen.

Hiermee moet je heel eind komen, comment deze line in je apache config ook eens:
Header append Vary User-Agent env=!dont-vary

Oorspronkelijk geplaatst door Ramon Fincken

Hi Mike,

heb je hier documentatie van? Ik kan het nergens vinden dat dat by default (VCL 3.x) apart gaat.
kon wel wat vinden om het juist apart te maken: https://www.varnish-cache.org/docs/3...detection.html

Geen idee of er documentatie van is, je kan de behavior ervan zien als je varnish monitored en daar de user agents en encoding eruit gaat halen. Dan moet je niet schrikken als er duizenden verschillende zijn, en deze dus ook allemaal eigen cache objects hebben. Met een beetje pech heb je een cache object die maar door een paar bezoekers gebruikt wordt, dat terwijl het idee dat een image of andere output juist door heel veel gebruikt wordt en eventueel in een paar verschillende objects geplaatst wordt. Als je dit in lijnen zet is de request naar de backend per file /url maar een handvol keer ipv per useragent en encoding.

succes !

Net idd even een user agent testje gedaan en oeps
Goeie tip!

Oorspronkelijk geplaatst door Ramon Fincken

Net idd even een user agent testje gedaan en oeps
Goeie tip!

En nu dus zorgen dat alles in grote lijnen in groepen bij elkaar komt. En daar zijn verschillende wegen naar rome voor Als je dat doet, heb je qua basis al een kick-ass hitrate !

Oorspronkelijk geplaatst door Mikey

En nu dus zorgen dat alles in grote lijnen in groepen bij elkaar komt. En daar zijn verschillende wegen naar rome voor Als je dat doet, heb je qua basis al een kick-ass hitrate !

We hebben meerdere varnish VM's draaien met verschillende truckjes, maar deze gaat er zeker bij komen. Helaas kan het niet altijd ivm " mobiele thema's ", maar voor de hosted sites kan het prima

En aangezien ik geen zin heb in een nieuw topic ervoor te maken. Voor wie met php 5.5.9 werkt met esi tags en sessions. Er is een bug in php dat zorgt ervoor voor een dubbele session file waarbij er maar een opgeruimd wordt. Bij sites met veel unieke bezoekers per maand zorgt dit uiteindelijk ervoor dat je garbage collector gek wordt.