Bekijk Volledige Versie : Interesse peiling: Lijst alle geregistreerde .nl domeinen gezamelijk samenstellen
Ik weet niet of het helemaal gepast is hier, maar ik stel de vraag toch maar.
Hebben jullie interesse in een lijst met alle geregistreerde .nl domeinen? Zouden jullie hier (bij interesse) aan bij willen dragen door je domeinen (en die van je klanten) door te geven?
Het gaat me puur om een lijst met de domeinen, andere data hoef ik niet.
Mijn idee is om er een ruilconstructie van te maken: lever je (goede) data aan, dan mag je ook alle data downloaden, anders niet. Zo wordt de lijst ook niet helemaal openbaar.
De toepassing waar ik deze data graag voor zou willen gebruiken: Een domeinchecker die niet afhankelijk is van derden, en waar geen limieten aan zitten. Helemaal 100% kan dit dan natuurlijk nooit kloppen, maar dit is niet erg in mijn geval.
Als je ideeën hebt hoe ik/we het beste aan deze data kunnen komen, laat ze gerust horen! :) Ook zal er controle op de lijst moeten zijn om de lijst kloppend te houden ivm domeinen die dagelijks worden opgeheven e.d. Hoe dit gedaan moet worden met zoveel domeinen is ook een uitdaging natuurlijk!
Ik ben benieuwd naar jullie ideeën hierover. Ik hoor het ook graag wanneer je hier bezwaar tegen hebt (en waarom).
Ik betwijfel of er hier veel animo voor zal zijn. De meeste hosts hebben een eigen SIDN lidmaatschap en zitten dus meestal niet te worstelen met limieten. Verder denk ik ook niet dat ze zo maar even de lijst met alle domeinnamen in hun beheer willen "opensourcen", en daar kan ik meer dan één reden voor bedenken.
Ook met een SIDN lidmaatschap heb je volgens mij te maken met limieten...
Wat zouden wat jou betreft redenen zijn om geen domeinen openbaar te maken?
WebSpeciaal
03/09/13, 10:58
Ook met een SIDN lidmaatschap heb je volgens mij te maken met limieten...
Wat zouden wat jou betreft redenen zijn om geen domeinen openbaar te maken?
Domeinnamen van klanten openbaar maken zullen weinig/geen hosts aan beginnen, met deze klantendata hoort vertrouwelijk omgegaan te worden. Bovendien zijn de limieten bij de SIDN zeer ruim.
Ook met een SIDN lidmaatschap heb je volgens mij te maken met limieten...
Je moet het redelijk bont maken wil je tegen de limieten aanlopen. Verder is de huidige registrar whois voldoende reden om geen gebruik van zo'n lijst te willen maken.
Voor een simple controle of het domein bestaat of niet kun je toch ook gebruik maken van een simple "is" check in plaats van een "whois" check, de "is" check ligt zelf voor niet registars vele malen hoger dan een "whois" check
Is
Is een domeinnaam nog beschikbaar voor registratie? Om dat te achterhalen maakt u gebruik van de Is. Ook kunt u met deze functie uitzoeken of een .nl-domeinnaam is voorbehouden of uitgesloten van registratie. Dit is niet mogelijk met de Whois.
De Is kan worden geraadpleegd door in de Whois de domeinnaam in te vullen. Ook kan de Is via de volgende Unix command line geraadpleegd worden:
whois -h whois.domain-registry.nl 'is [domeinnaam, bijvoorbeeld: 'sidn.nl']'
Voor een simple controle of het domein bestaat of niet kun je toch ook gebruik maken van een simple "is" check in plaats van een "whois" check, de "is" check ligt zelf voor niet registars vele malen hoger dan een "whois" check
Dat is inderdaad wel een handige functie! Heb je enig idee hoe hoog deze limiet ligt voor niet-leden?
Dat is inderdaad wel een handige functie! Heb je enig idee hoe hoog deze limiet ligt voor niet-leden?
Als ik me niet vergis was dat iets van 1 request per seconde omgerekend, dus meer dan genoeg om een simpele "bestaat dit domein" check uit te voeren, dns.be & eurid.eu hebben trouwens ook een "is" functie.
dreamhost_nl
03/09/13, 19:54
M.i. is dan een check op de aanwezigheid van DNS servers bij een domeinnaam een meer secure check. Hierbij ben je ook onafhankelijk van de Whois server(s) en kun je desondanks toch redelijk betrouwbaar checken of de domeinnaam al in gebruik is.
@dreamhost, daar vergis je zich hoor; slechts een handvol (cc)TLD's stellen eisen voor echt werkende nameservers, waaronder .de en geloof ik ook .fr / .it en .es
Alle andere extensies hebben (jammer genoeg) geen NS check tijdens registratie of periode checks :(
Dus 'is' is daadwerkelijk meer betrouwbaar dan controle op (D)NS ;-)
@TS, nobele doel, maar eerlijk gezegd - kansloos :)
@SmilieBG: Als iemand het kansloos noemt, motiveert het me juist om het tegendeel te bewijzen ;)
@dreamhost_nl: Ik heb al eens met dns checks gespeeld, maar dit is niet heel erg betrouwbaar hoor. Dan vallen er toch heel wat domeinen buiten de boot...
Misschien dat dit op te lossen is door de combineren met een "IS" check... Maar heel hard gaat het niet, en dat moet wel met 5.308.125 domeinen (op moment van schrijven). De lijst zal toch elke dag gecheckt moeten worden, wil je een compleet beeld hebben én houden... Dit betekent dat er bijna 64 domeinen per seconde moeten worden gecheckt. En dat is wel erg veel natuurlijk!
Nu rest me nog wel een vraag (eigenlijk twee): is er interesse in een complete lijst? (Op wat voor manier deze dan ook samen wordt gesteld?) Zo ja, waar zou jij deze lijst voor willen gebruiken?
@Alterview, het is mij niet compleet duidelijk waarom zou je zo een lijst maken? Ik bedoel, er is al instantie welke dat regelt en dergelijke lijsten / statistieken heeft - ze heten SIDN. Alle SIDN deelnemers kunnen al enige statistieken zien omtrent aantal geregistreerde domeinen, aantal mutaties, per maand / kwartaal / jaar enzovoort.
Maar goed, om je vraag te beantwoorden, ik zie geen nut in dergelijke lijst persoonlijk (of zakelijk for that matter).
In iedere geval succes hoor :)
Ik heb even een simpele site opgezet waarop je aan kunt geven of je interesse hebt, of makkelijk contact op kunt nemen:
http://domainlist.alterview.nl/
Ik moet de rest hierin toch volgen, lijkt me kansloos aangezien er al een dienst voor bestaat namelijk de whois en is check van sidn zelf. Waarom zou je dit dan willen dupliceren (wat trouwens volgens mij niet eens mag) in een systeem dat altijd hopeloos achter zal lopen.
Begrijp me niet verkeerd, ik vindt het een nobel doel alleen zie ik de meerwaarde er niet van in. Ik denk zelfs eens je het systeem werkend hebt en je evenveel aanvragen krijgt als sidn dat je ook snel een max aantal request zult hanteren om je server load te beperken. Want heb je er technisch al even bij stil gestaan wat je allemaal nodig hebt om dit te kunnen verwezenlijken om zowel request uit te voeren naar sidn als request te ontvangen van mensen die willen weten of het domein bestaat of niet.
Ik ben het met mijn collega's hierboven eens. Het is kansloos. Ik denk dat je nooit kan vertrouwen op zo'n lijst, 1800 bedrijven moeten bereid zijn om jou altijd up to date info te geven. Er hoeft maar 1 top SIDN bedrijf bij te zitten die niet meedoet en je lijst kan zomaar een half miljoen domeinen missen....
Voor realtime checks is het inderdaad niet bruikbaar, maar de vraag is hoe realtime dit moet zijn? Als de controle niet realtime is, dan ga ik er van uit dat de registratie ook niet real-time is. Er zijn genoeg kleine hosters waar de bestelprocedure via e-mail gaat en de registratie pas uitgevoerd wordt na een week als men de betaling via overschijving ontvangen heeft. Als de naam gisteren nog vrij was en er geen speciale zaken zijn geweest, dan is de kans groot dat hij morgen ook nog vrij is.
Los daarvan, je zit vooral met het probleem dat wat je vraagt weinig meerwaarde biedt voor de partijen waaraan je de info vraagt, nl de registrars zelf, want waarom zouden zij jou helpen met die lijst als jij daarna de domeinnaam bij een andere registrar registreert omdat die misschien een paar euro goedkoper is?
Even wat dingetjes verduidelijken :)
@The-BosS: Ik wil geen realtime "IS" dienst op gaan zetten, als alternatief voor de SIDN. Ik wil gewoon een zo compleet mogelijke lijst met domeinen hebben/aanbieden. Ik heb daar zelf wel ideeën voor wat ik er vervolgens mee wil gaan doen (bijvoorbeeld een supersnelle domeinchecker voor meerdere domeinen tegelijk), en misschien dat andere mensen dit ook hebben :) Dat de lijst nooit 100% kan kloppen is voor mijn doel niet erg...
@DigiState: Als ik echt alle SIDN registrars mee zou moeten krijgen om de lijst compleet te krijgen dan is het inderdaad kansloos... Gelukkig zijn er nog meer bronnen waar ik (of iemand anders) data vandaan kan halen :)
@Cakkie: De initiële controle zal in mijn geval inderdaad niet real-time zijn, maar dat is voor mijn toepassing ook niet erg. Na de initiële controle zal er toch nog een "echte" check plaats vinden. De meerwaarde voor de mensen die meehelpen de lijst compleet te krijgen, is dat ze ook beschikking krijgen tot deze lijst, waar ze hun eigen toepassingen vervolgens weer voor kunnen verzinnen :)
Wat precies de bedoeling is, is gewoon een tekst bestand met alle geregistreerde domeinen onder elkaar, niet meer en niet minder :)
dreamhost_nl
05/09/13, 10:12
@dreamhost, daar vergis je zich hoor; slechts een handvol (cc)TLD's stellen eisen...
Dat is correct, maar het ging hier enkel om .nl domeinnamen en hiervan zijn toch bij het meerendeel wel DNS servers ingesteld omdat dit in het verleden als verplichting gold.
Omdat ik toch ergens moet beginnen... Heeft iemand voor mij de dns root zone file van de SIDN uit 2002? :) (de laatste openbare) Ik weet dat dit bestand al 11 jaar oud is, maar dan heb ik in ieder geval een basis die gecheckt kan worden etc.
Andere domein of dns bestanden zijn ook welkom! :)
Net als velen zie ik de meerwaarde niet van het hebben van een incomplete lijst in huis te hebben om tegenaan te kunnen valideren om vervolgens alsnog te controleren bij de SIDN. Lijkt me erg omslachtig, zeker omdat de IS query limieten hoog zat zijn. Ik hou er niet van om getallen of andere informatie uit de registrar site te openbaren maar hier staat ook het eea over de IS limieten per deelnemer: http://www.ispam.nl/archives/3293/harde-sancties-bij-misbruik-quarantaine-nl-domeinnamen/
Maw ik kan me niet voorstellen dat je een deelnemer kan overtuigen om jou hun lijst met domeinen (lees: klanten bestand!) te overhandigen zodat zij beschikking krijgen over een incomplete lijst. Een deelnemer loopt gewoon niet tegen hetzelfde probleem aan als jou en er daarom zelf geen voordeel uit halen.
systemdeveloper
06/09/13, 11:27
Info@ ervoor zetten en voor grof geld aan de nigerianen verkopen? Count me out ;)
Info@ ervoor zetten en voor grof geld aan de nigerianen verkopen? Count me out ;)
Kijk, dat is inderdaad een toepassing waarvoor zo'n domeinenlijst wel handiger is dan de IS query.
Ik kon eigenlijk ook alleen maar negatieve toepassingen bedenken, fijn dat andere ook wakker worden.
Info@ ervoor zetten en voor grof geld aan de nigerianen verkopen? Count me out ;)
Dat is wel een issue natuurlijk... Daar zit ik ook niet op te wachten. Ik laat het idee maar varen geloof ik! Wel zo verstandig denk ik...
Je kan ook eerst een dns lookup doen, 99% van de domeinnamen heeft wel een nameserver ingesteld en geven wel een NS, SOA, A, AAAA of MX record terug. Dit kan al aardig wat whois requests schelen en is veel betrouwbaarder en veiliger dan jouw voorstel.
Zie volgende outputs van dig:
dig adwadawdawdaw.nl SOA
;; ->>HEADER<<- opcode: QUERY, status: NXDOMAIN, id: 18492
;; flags: qr rd ra; QUERY: 1, ANSWER: 0, AUTHORITY: 1, ADDITIONAL: 0
dig webhostingtalk.nl SOA
;; ->>HEADER<<- opcode: QUERY, status: NOERROR, id: 283
;; flags: qr rd ra; QUERY: 1, ANSWER: 1, AUTHORITY: 0, ADDITIONAL: 0
dreamhost_nl
07/09/13, 14:49
@kiezo: Dat was al aan TS medegedeeld.
ND - Daniel
08/09/13, 18:08
Omdat ik toch ergens moet beginnen... Heeft iemand voor mij de dns root zone file van de SIDN uit 2002? :) (de laatste openbare) Ik weet dat dit bestand al 11 jaar oud is, maar dan heb ik in ieder geval een basis die gecheckt kan worden etc.
Andere domein of dns bestanden zijn ook welkom! :)
Even buiten alle andere bezwaren om, vermoed ik niet dat je hiermee het gaat redden. Gelet op het juridische plaatje denk ik niet dat SIDN hier blij van wordt en zich dan ook gaat beroepen op hun databankenrecht.
Daarnaast vraag je nogal wat van participerende hosters. Zij zullen hoogstwaarschijnlijk hun algemene voorwaarden hiervoor moeten aanpassen, aangezien de meeste wel iets zullen hebben opgenomen als in dat er geen gegevens aan derden worden verstrekt. Domeinnamen zijn ook gegevens van de klant.