Domein badware list voor hosters?

[Japje]

Mede hosters,

Zoals waarschijnlijk jullie ook al gemerkt hebben is het de laatste tijd flink raak met virussen/trojans/mallware/badware die de sites (accounts) van klanten infecteren om zo nog meer infecties te veroorzaken.

Tegen virussen en trojans is nog wel te boksen met een een virusscanner in je ftpd, of regelmatig je klanten data te scannen en deze te quarantainen/je klanten te informeren. Helaas kom ik steeds vaker accounts tegen die de besmette files zelf niet bevat en daardoor aan de serverkant zo goed als niet te detecteren zijn.

Sites als http://www.stopbadware.org geven wel de mogelijkheid om een site tegen een lijstje aan te spiegelen die ook door FF en Chrome gebruikt word om de mooie rode pagina te laten zien met een waarschuwing.

Heb al een beetje rond zitten kijken maar kan helaas geen goede (eventueel betaalde) oplossing vinden om onze IP-ranges, AS, domeinen tegen een lijst aan te spiegelen en te horen of deze besmet zijn en daardoor de mogelijkheid hebben snel te reageren door (eventueel zelf) de infectie te stoppen en de klant te informeren.

Er is wel een google safe browsing api, maar die heeft zo ver ik kon zien zware limits liggen op het aantal checks wat je kon doen (je checkt op domeinnaam basis).

Iemand hier die weet of zulke lijsten opvraagbaar zijn op de manier zoals ik bedoel? Dus uit het hoster perspectief om zo actief met besmettingen om te gaan?

[Mikey]

weboftrust geen oplossing hiervoor ?

[maxnet]

Er is wel een google safe browsing api, maar die heeft zo ver ik kon zien zware limits liggen op het aantal checks wat je kon doen (je checkt op domeinnaam basis).


Je kan ook de complete lijst met MD5 hashes van "foute" domeinen ophalen en lokaal checken.
Heb daar ooit iets voor geschreven, zal eens kijken of ik dat nog heb liggen.

[Japje]

Je kan ook de complete lijst met MD5 hashes van "foute" domeinen ophalen en lokaal checken.
Heb daar ooit iets voor geschreven, zal eens kijken of ik dat nog heb liggen.

Ja die heb ik gevonden en ook werkend gekregen, en ben ik nu naar aan het kijken. Maar was benieuwd of er alternatieven waren.

Vond persoonlijk die lijst nogal klein:
18280 goog-black-hash
287863 goog-malware-hash
306143 total


@Mikey zo ver ik kan zien is dat ook alleen een site waar je enkele domeintjes kan invullen?

[maxnet]

Ja die heb ik gevonden en ook werkend gekregen, en ben ik nu naar aan het kijken. Maar was benieuwd of er alternatieven waren.

Vond persoonlijk die lijst nogal klein:


Er zijn commerciele alternatieven zoals Netcraft.

Maar vraag me af of die daadwerkelijk een veel grotere lijst hebben.
Uit marketingsoogpunt vermelden dergelijke partijen vaak alleen hoeveel miljoen sites ooit op hun zwarte lijst hebben gestaan. Niet hoeveel er op dit moment op staan ;)

[Japje]

Er zijn commerciele alternatieven zoals Netcraft.

Maar vraag me af of die daadwerkelijk een veel grotere lijst hebben.
Uit marketingsoogpunt vermelden dergelijke partijen vaak alleen hoeveel miljoen sites ooit op hun zwarte lijst hebben gestaan. Niet hoeveel er op dit moment op staan ;)

Heb net netcraft maar eens een mailtje gestuurd voor informatie en eventuele kosten.

Die lijst van google (die van 300k) heeft niets opgeleverd.. en ik geloof nooit dat die lijst maar 300k is die gebruikt word in FF/Chrome..

Dus ik blijf even zoeken :) Tips/ideeen blijven welkom!

[maxnet]

H
Die lijst van google (die van 300k) heeft niets opgeleverd.. en ik geloof nooit dat die lijst maar 300k is die gebruikt word in FF/Chrome..


Mijn vuurvos kent naast "goog-malware", ook nog een "goog-phish", waar je ook nog naar zou kunnen zoeken.
Maar dat zijn er maar 140k meer.



max@ubuntu:~/.mozilla/firefox/i2rga1or.default$ sqlite3 urlclassifier3.sqlite
SQLite version 3.6.16
Enter ".help" for instructions
Enter SQL statements terminated with a ";"
sqlite> select t.name,count(*) from moz_classifier c, moz_tables t where c.table_id=t.id group by t.name;
goog-malware-shavar|311140
goog-phish-shavar|142766
test-malware-simple|1
test-phish-simple|1

[Japje]

@maxnet die list is gedeeltelijk encrypted en zijn maar gedeeltelijke hashes.. iig dat is wat ik bij elkaar heb kunnen puzzelen.

Heb gister badware maar een mailtje gestuurd of ze wat kunnen betekenen. Ik kan zien dat er besmettingen zijn onder onze range.. maar niet welke dat zijn.. en kan ze dus ook niet verhelpen.. beetje krom helaasch!

[maxnet]

@maxnet die list is gedeeltelijk encrypted en zijn maar gedeeltelijke hashes.. iig dat is wat ik bij elkaar heb kunnen puzzelen.


Het is 32-bit van een hash.
Kans op een false positive is dus 1 op 4 miljard, maar je kan bij een match dit handmatig of via de API uitsluiten.


http://code.google.com/p/google-safe-browsing/wiki/Protocolv2Spec



3.6.1. shavar list format

[...]

To form a host key, first canonicalize the url then take the three most significant host components if there are three or more components in the blacklist entry, or two host components if a third does not exist. Append a trailing slash (/) to this string, then use the 32 most significant bits of the string's SHAVAR hash as the host key. To be clear, to match a URL against a host key, a client must try matching based upon the two most significant host components, and also the three most significant host components if three such components exist.

An exception to the above exists when the host is an IP address. Here, we form the host key by taking the SHAVAR hash of the entire host (IP address), NOT two or three octets of the IP address.

Examples (blacklist entry -> host key, before hashing):

google.com/ -> google.com/
sb.google.com/abc/ -> sb.google.com/
a.b.c.google.com/123/ -> c.google.com/