Likes: 0
Hoi,
Weet iemand waar een overzicht is te vinden met de dagelijkse hoeveelden
data van news-hierarchiën (big-8, nl.*, enz.)?
Via google vind ik hier en daar wat verouderde stats, maar nog niet echt
wat ik zoek.
--
Maurice mauricej (at) xs4all (dot) nl
Maurice Janssen wrote:
> Hoi,
>
> Weet iemand waar een overzicht is te vinden met de dagelijkse hoeveelden
> data van news-hierarchiën (big-8, nl.*, enz.)?
> Via google vind ik hier en daar wat verouderde stats, maar nog niet echt
> wat ik zoek.
http://www.newsadmin.com/top100bytes.htm en
http://newsfeed.gamma.ru/stats-week.html geven een indicatie. Het is
niet echt uitgesplitst voor alle non-alt categorien.
Richard
Richard Zuidhof wrote:
>Maurice Janssen wrote:
>> Hoi,
>>
>> Weet iemand waar een overzicht is te vinden met de dagelijkse hoeveelden
>> data van news-hierarchiën (big-8, nl.*, enz.)?
>> Via google vind ik hier en daar wat verouderde stats, maar nog niet echt
>> wat ik zoek.
>
>http://www.newsadmin.com/top100bytes.htm en
>http://newsfeed.gamma.ru/stats-week.html geven een indicatie. Het is
>niet echt uitgesplitst voor alle non-alt categorien.
Dank, maar helaas niet echt wat ik zoek. Op http://news.nl.linux.org
stond ooit een dagelijks overzicht van het verkeer per hierarchie, maar
sinds een tijdje komt die link uit op een algemene nl.linux.org-pagina.
--
Maurice mauricej (at) xs4all (dot) nl
Maurice Janssen wrote:
> Richard Zuidhof wrote:
>> Maurice Janssen wrote:
>>> Hoi,
>>>
>>> Weet iemand waar een overzicht is te vinden met de dagelijkse
>>> hoeveelden data van news-hierarchiën (big-8, nl.*, enz.)?
>>> Via google vind ik hier en daar wat verouderde stats, maar nog niet
>>> echt wat ik zoek.
>>
>> http://www.newsadmin.com/top100bytes.htm en
>> http://newsfeed.gamma.ru/stats-week.html geven een indicatie. Het is
>> niet echt uitgesplitst voor alle non-alt categorien.
>
> Dank, maar helaas niet echt wat ik zoek. Op http://news.nl.linux.org
> stond ooit een dagelijks overzicht van het verkeer per hierarchie,
> maar sinds een tijdje komt die link uit op een algemene
> nl.linux.org-pagina.
Zoiets als dit?
http://web.archive.org/web/news.nl.l...rhiertraf.html
Die staan ook nog steeds op diverse plaatsen:
http://feed2.news.luth.se/inflow/html/perhiertraf.html
http://irazu.switch.ch/news/status/perhiertraf.html
http://newsfeed.vmunix.org/inflow/perhiertraf.html
Richard
Richard Zuidhof wrote:
>Zoiets als dit?
>http://web.archive.org/web/news.nl.l...rhiertraf.html
>
>Die staan ook nog steeds op diverse plaatsen:
>http://feed2.news.luth.se/inflow/html/perhiertraf.html
>http://irazu.switch.ch/news/status/perhiertraf.html
>http://newsfeed.vmunix.org/inflow/perhiertraf.html
Dit was precies wat ik zocht. Hartelijk dank.
--
Maurice mauricej (at) xs4all (dot) nl
Mag ik uit die stats concluderen dat een totale newsfeed een slordige 90 GB
per dag is?
Er wordt nog wel eens dramatisch gedaan over wat voor zware servers je nodig
hebt, volgens mij valt dat dan nog wel mee, paar flinke 200GB disks erin en
je hebt een retentietijd van een weekje.
Bandbreedteverbruik lijkt me eerder een issue...
--
Bm
In article <ACDN67208A1938@acadiane.org>,
Badmuts <AntwoordInDeNieuwsgroep@ReplyInNewsgroup.invali d> wrote:
>Mag ik uit die stats concluderen dat een totale newsfeed een slordige 90 GB
>per dag is?
De laatste keer dat de stats van de binary news server van de TU Delft het
nog deden was dat eerder in de buurt van 500GB / dag. Maar toen hadden ze
volgens mij al een aantal van de echt lompe binary-groepen gestopt. Nu
voeren ze alles weer, maar helaas doen de stats het niet (meer). Ook las
ik recent ergens (een van de SuperNews support groepen, als ik moet
gokken) dan één 100Mbps link niet meer genoeg is om een full-feed te
verstouwen.
Als ik dat even 'simpel' omreken (100Mbps komt overeen met 10MB/s, in de
praktijk wat minder) is dat zo'n dikke 850GB/dag. Dat is dus wel andere
koek.
>Er wordt nog wel eens dramatisch gedaan over wat voor zware servers je nodig
>hebt, volgens mij valt dat dan nog wel mee, paar flinke 200GB disks erin en
>je hebt een retentietijd van een weekje.
>
>Bandbreedteverbruik lijkt me eerder een issue...
Beiden zijn dus een behoorlijke issue en vragen iets meer dan wat je
hierboven omschrijft.
Patrick.
Badmuts wrote:
>Mag ik uit die stats concluderen dat een totale newsfeed een slordige 90 GB
>per dag is?
In 2001 misschien wel (zie de datum boven de tabel op
http://feed2.news.luth.se/inflow/html/perhiertraf.html).
Tegenwoordig is het (dacht ik) een factor 10 groter.
>Er wordt nog wel eens dramatisch gedaan over wat voor zware servers je nodig
>hebt, volgens mij valt dat dan nog wel mee, paar flinke 200GB disks erin en
>je hebt een retentietijd van een weekje.
>
>Bandbreedteverbruik lijkt me eerder een issue...
Inderdaad, en de performance van het ding als er wat volk aan zit te
slurpen.
Maar met een paar gig is een text-only feed van de big-8 en nog een paar
hierarchiën prima te verstouwen. Dat zit op ruim 100 MB/dag.
--
Maurice mauricej (at) xs4all (dot) nl
The wise Patrick Vervoorn enlightened me with:
> In article <ACDN67208A1938@acadiane.org>,
> Badmuts <AntwoordInDeNieuwsgroep@ReplyInNewsgroup.invali d> wrote:
>
>>Er wordt nog wel eens dramatisch gedaan over wat voor zware servers je nodig
>>hebt, volgens mij valt dat dan nog wel mee, paar flinke 200GB disks erin en
>>je hebt een retentietijd van een weekje.
>>
>>Bandbreedteverbruik lijkt me eerder een issue...
>
> Beiden zijn dus een behoorlijke issue en vragen iets meer dan wat je
> hierboven omschrijft.
>
Mwah, voor het gemak werd er geloof ik niet naar gekeken dat je ook nog
een kudde newsreaders aan moet kunnen, die niet braaf in een stream van
tig Mb je artikeltjes lezen, maar specifieke dingen willen hebben, en
dat met zijn velen tegelijkertijd en zo.
Een newshub bouwen is op zich relatief aardig te doen, maar ja :-) Daar
heb je ook geen retentie nodig van meer dan een halve dag
Mark
--
A city is a large community where people are lonesome together
Herbert Prochnow
Badmuts wrote:
> Mag ik uit die stats concluderen dat een totale newsfeed een slordige 90 GB
> per dag is?
Eerder een terrabyte.
> Er wordt nog wel eens dramatisch gedaan over wat voor zware servers je nodig
> hebt, volgens mij valt dat dan nog wel mee, paar flinke 200GB disks erin en
> je hebt een retentietijd van een weekje.
Een full feed newsserver doet meer dan 300 artikelen per seconde.
Hoeveel I/O's per seconde kan een (S)ATA schijf ook al weer aan?
> Bandbreedteverbruik lijkt me eerder een issue...
http://newsfeed.cistron.nl/innreport/
Jochem
Badmuts wrote:
> Mag ik uit die stats concluderen dat een totale newsfeed een slordige 90 GB
> per dag is?
Presies, de rest zijn binaries
> Er wordt nog wel eens dramatisch gedaan over wat voor zware servers je nodig
> hebt, volgens mij valt dat dan nog wel mee, paar flinke 200GB disks erin en
> je hebt een retentietijd van een weekje.
news.nb nu en nl.linux.org halen met gemak een maand. Ik weet alleen niet
hoe groot de hds van die twee sites zijn.
--
Hans de Bruin
http://eratosthenes.xs4all.nl
Hans de Bruin (hans@nl.invalid) wrote:
> Badmuts wrote:
>> Mag ik uit die stats concluderen dat een totale newsfeed een slordige 90 GB
>> per dag is?
>
> Presies, de rest zijn binaries
>
>> Er wordt nog wel eens dramatisch gedaan over wat voor zware servers je nodig
>> hebt, volgens mij valt dat dan nog wel mee, paar flinke 200GB disks erin en
>> je hebt een retentietijd van een weekje.
>
> news.nb nu en nl.linux.org halen met gemak een maand. Ik weet alleen niet
> hoe groot de hds van die twee sites zijn.
Dat zal je denk ik enorm meevallen:
Class H-NL for groups matching "nl.*", article size min/max: 0/65535
Buffer F-NL, size: 292 MBytes, position: 136 MBytes 27.00 cycles
Newest: 2004-07-28 21:25:25, 0 days, 0:00:31 ago
Oldest: 2004-07-01 11:50:55, 27 days, 9:35:01 ago
Class H-NLZUT for groups matching "nl.politiek,nl.actueel.*"
Buffer F-ZUT, size: 29.0 MBytes, position: 18.0 MBytes 48.00 cycles
Newest: 2004-07-28 21:15:07, 0 days, 0:10:49 ago
Oldest: 2004-07-05 1:00:31, 23 days, 20:25:25 ago
Die naam stamt trouwens uit het LPF tijdperk, als ik me niet
vergis ;-)
In totaal gebruikt news.nl.linux.org nu zo'n 2.5 GB aan news.
--
Erik Hensema (erik@hensema.net) ICQ# 8280101
Quoting-HOWTO: http://www.leerquoten.nl
On 2004-07-28, Badmuts <AntwoordInDeNieuwsgroep@ReplyInNewsgroup.invali d> wrote:
> Mag ik uit die stats concluderen dat een totale newsfeed een slordige 90 GB
> per dag is?
Nee. Gisteren 1.17TB, eergisteren 1.29TB. En rond die waardes schommelt het
zo'n beetje.
> Er wordt nog wel eens dramatisch gedaan over wat voor zware servers je
> nodig hebt, volgens mij valt dat dan nog wel mee, paar flinke 200GB disks
> erin en je hebt een retentietijd van een weekje.
Ammehoela. Met 6TB schijfruimte haal je dus een dag of vijf. Verder blijkt
het best lastig een TB per dag te schrijven terwijl er ook nog 7.5TB gelezen
moet worden. En je loopt tegen een paar hele specifieke bottlenecks aan,
zoals de headers voor een nieuwsgroep. Dat los je op met een bijzonder groot
aantal kleine harddiskjes en RAID-10, waar je het header-bestand opzet.
Het is te draaien met 60+ harddisks, 20 GByte aan RAM en vier 2.4GHz Xeons
op twee dure Tyan moederborden, maar je moet dan niet schrikken van een load
van 40-80. De hele dag door.
> Bandbreedteverbruik lijkt me eerder een issue...
Hoezo? Met 1 gig poortje op de AMS-IX dedicated voor news is het best te
doen.
--
Ruben
"Conversation would be vastly improved by the constant use of four
simple words: I don't know." André Maurois
"Ruben van der Leij" <ruben-news@nutz.nl> wrote
> Ammehoela. Met 6TB schijfruimte haal je dus een dag of vijf. Verder blijkt
> het best lastig een TB per dag te schrijven terwijl er ook nog 7.5TB
gelezen
> moet worden. En je loopt tegen een paar hele specifieke bottlenecks aan,
> zoals de headers voor een nieuwsgroep. Dat los je op met een bijzonder
groot
> aantal kleine harddiskjes en RAID-10, waar je het header-bestand opzet.
>
> Het is te draaien met 60+ harddisks, 20 GByte aan RAM en vier 2.4GHz Xeons
> op twee dure Tyan moederborden, maar je moet dan niet schrikken van een
load
> van 40-80. De hele dag door.
Misschien een domme vraag hoor maar is het niet een optie om de headers op 1
server te hebben en de messagebody (of in ieder geval de binaries) op andere
servers. Gebruikers die binaries willen gebruiken vrijwel allemaal clients
die uitstekend uit meerdere servers kunnen combineren.
Miquel van Smoorenburg wrote:
> Dat is ook wat meestal gebeurt - header database op de reader
> server(s) gehele artikelen op de spool server(s).
>
> Zie b.v. http://www.xs4all.nl/~scorpio/news.jpg
Ah, ok , ik dacht dat de reader servers meer een soort caching deden van
opgehaalde headers en brichten en verder alle processen uitvoorden voor
client communicatie. Wist niet dat die de hele header database mirrorden.
Quote