Hardeschijf probleem

[ErikKosters]

Beste,

Sinds enige tijd doet één server van ons relatief traag met het maken van backups van slechts enkele sites (totaal hooguit een keer 8GB). Voorheen ging dit altijd met een prima snelheid en was het ook snel klaar, momenteel stijgt de load bij deze backups erg veel en de server is dan bijna onbereikbaar via SSH. Lees: load-average van 30+.

Nu heb ik via hdparm gekeken hoe de lees snelheden waren van de schijf, ik kreeg onderstaande resultaat:



[root@server ~]# for i in 1 2 3; do hdparm -tT /dev/sda; done

/dev/sda:
Timing cached reads: 3852 MB in 2.00 seconds = 1925.33 MB/sec
Timing buffered disk reads: 116 MB in 3.06 seconds = 37.88 MB/sec

/dev/sda:
Timing cached reads: 3932 MB in 2.00 seconds = 1966.30 MB/sec
Timing buffered disk reads: 18 MB in 3.31 seconds = 5.44 MB/sec

/dev/sda:
Timing cached reads: 3968 MB in 2.00 seconds = 1984.30 MB/sec
Timing buffered disk reads: 80 MB in 3.02 seconds = 26.51 MB/sec


Zoals je ziet zijn de cached reads prima, maar de buffered disk reads ver onder pijl. Waar kan dit door komen, of is de hardeschijf gewoon aan vervanging toe? Hardeschijf heeft momenteel 3644 draaiuren, het gaat om een WDC WD1600AAJ.

Hier nog even een klein gedeelte van de smartctl uitvoer:



ID# ATTRIBUTE_NAME FLAG VALUE WORST THRESH TYPE UPDATED WHEN_FAILED RAW_VALUE
1 Raw_Read_Error_Rate 0x000f 200 200 051 Pre-fail Always - 106
3 Spin_Up_Time 0x0003 157 153 021 Pre-fail Always - 3116
4 Start_Stop_Count 0x0032 100 100 000 Old_age Always - 37
5 Reallocated_Sector_Ct 0x0033 200 200 140 Pre-fail Always - 0
7 Seek_Error_Rate 0x000e 200 200 051 Old_age Always - 0
9 Power_On_Hours 0x0032 096 096 000 Old_age Always - 3644
10 Spin_Retry_Count 0x0012 100 253 051 Old_age Always - 0
11 Calibration_Retry_Count 0x0012 100 253 051 Old_age Always - 0
12 Power_Cycle_Count 0x0032 100 100 000 Old_age Always - 37
192 Power-Off_Retract_Count 0x0032 174 174 000 Old_age Always - 20032
193 Load_Cycle_Count 0x0032 194 194 000 Old_age Always - 20033
194 Temperature_Celsius 0x0022 105 086 000 Old_age Always - 38
196 Reallocated_Event_Count 0x0032 200 200 000 Old_age Always - 0
197 Current_Pending_Sector 0x0012 200 200 000 Old_age Always - 0
198 Offline_Uncorrectable 0x0010 100 253 000 Old_age Offline - 0
199 UDMA_CRC_Error_Count 0x003e 200 200 000 Old_age Always - 0
200 Multi_Zone_Error_Rate 0x0008 100 253 051 Old_age Offline - 0


Rebooten heb ik overigens al een keer uitgevoerd.


Bij voorbaat dank!

[WeServIT]

Het lijkt mij als hij dit nu al enigste tijd doet dat de hardeschijf aan vervanging toe is. Want zoals je ziet bij je hdparm blijft hij steeds wisselen van "buffered reads" snelheid.
Ik durf dit alleen niet met zekerheid te zeggen natuurlijk.

[ErikKosters]

Het lijkt mij als hij dit nu al enigste tijd doet dat de hardeschijf aan vervanging toe is. Want zoals je ziet bij je hdparm blijft hij steeds wisselen van "buffered reads" snelheid.
Ik durf dit alleen niet met zekerheid te zeggen natuurlijk.

Zou het ook aan de SATA kabel kunnen liggen? In mijn geheugen heeft ditzelfde probleem zich al eens eerder voorgedaan op dezelfde server.

[WeServIT]

Zou het ook aan de SATA kabel kunnen liggen? In mijn geheugen heeft ditzelfde probleem zich al eens eerder voorgedaan op dezelfde server.

Je zou het altijd kunnen proberen natuurlijk, en als je toevallig nog een soort dezelfde schijf hebt liggen zou je het ook met die kunnen testen.
Als eerste zou ik een back-up maken van je hardeschijf, want je weet niet precies wat er nu aan de hand is. Dadelijk gaat hij kapot en ben je wel alles kwijt.

[ErikKosters]

Heb net een soortgelijke schijf (zelfde merk, grootte, etc) getest en daar kwam het volgende uit:



[root@server ~]# for i in 1 2 3; do hdparm -tT /dev/sda; done

/dev/sda:
Timing cached reads: 1764 MB in 2.00 seconds = 880.37 MB/sec
Timing buffered disk reads: 192 MB in 3.01 seconds = 63.73 MB/sec

/dev/sda:
Timing cached reads: 1992 MB in 2.00 seconds = 995.16 MB/sec
Timing buffered disk reads: 190 MB in 3.05 seconds = 62.20 MB/sec

/dev/sda:
Timing cached reads: 1856 MB in 2.00 seconds = 927.21 MB/sec
Timing buffered disk reads: 194 MB in 3.02 seconds = 64.29 MB/sec


Zoals je ziet is de cached reads lager maar de buffered disk reads hoger/sneller.. vreemd?

[WeServIT]

Heb net een soortgelijke schijf (zelfde merk, grootte, etc) getest en daar kwam het volgende uit:



Zoals je ziet is de cached reads lager maar de buffered disk reads hoger/sneller.. vreemd?

Hmm nu is het net andersom.. zeer vreemd.
Nooit problemen verder gehad met je hardeschijf? En in de tussen tijd niks speciaals uitgevoerd op de server toevallig?

[ErikKosters]

Hmm nu is het net andersom.. zeer vreemd.
Nooit problemen verder gehad met je hardeschijf? En in de tussen tijd niks speciaals uitgevoerd op de server toevallig?

Is nog vrij nieuwe hardeschijf en er niets speciaals uitgevoerd in de tussentijd. Overigens is die 2e output schijf gewoon in orde en functioneert gewoon prima zover ik heb gemerkt.

[parmaweb]

als er maar 1 vaén de schijven is die raar doet, zou ik het zekere voor het onzekere pakken en de slecht functionerende schijf vervangen

[WeServIT]

als er maar 1 vaén de schijven is die raar doet, zou ik het zekere voor het onzekere pakken en de slecht functionerende schijf vervangen

Dit lijkt mij ook het verstandigst, het gaat hier om een 160GB hardeschijf als ik het goed begrepen heb. Die zijn op dit moment maar 40 euro per stuk. Dan ben je in ieder geval zeker dat er geen crash gaat komen.

[ErikKosters]

Ja oke, het gaat mij ook niet om die 40 euro maar om het feit dat ik al eens eerder de hardeschijf heb vervangen. Toen was hetzelfde probleem, toch een beetje vreemd dat het nu weer is?

[t.bloo]

192 Power-Off_Retract_Count - 20032
193 Load_Cycle_Count - 20033

zijn een beetje hoog als je het mij vraagt.


194 Temperature_Celsius - 38

is ook niet bijster laag

[Apoc]

Hou er ook rekening mee dat de output van de hdparm sterk beinvloed wordt door de activiteit van de schijf. Als je bijvoorbeeld een zware database hebt draaien dan zal de hdparm output een stuk lager uitvallen dan wanneer de server geheel idle is.

Kijk bijvoorbeeld ook na of er niet wat hacks in /tmp draaien of iets dergelijks, dat kan natuurlijk ook van invloed zijn (al zal je dat waarschijnlijk ook in de load van de server terugzien).

Als je dit echt wilt testen kun je het beste alle services stoppen en dan nog eens testen.

[t.bloo]

met onder andere het commando "atop" kun je ook processen bekijken die gerund hebben als je even niet keek, en bijbehorende disk IO

[ErikKosters]

De server had vrijwel niets te doen op het tijdstip van hdparm.. en wat betreft atop, dat commando herkent CentOS helaas niet.

[t.bloo]

da's dan ook een los programma

apt-get install atop

maar dan de centos variant :)

[Tim.Bracquez]

yum install atop, in de rmpforge staat die zoizo in

[ErikKosters]

yum install atop, in de rmpforge staat die zoizo in

Oke, kende het niet.. werkt best goed inderdaad.

Dit is de uitkomst:

[ErikKosters]

Hier overigens nog even een screenshot op het tijdstip van de backups welke gemaakt worden.

[parmaweb]

die schijf ziet er toch niet lekker uit.

Heb je missschien een slechte reeks vast? Heb dat ooit eens gehad met maxtor schijven

[ErikKosters]

Oke, nou wil ik de hardeschijf volledig 1 op 1 kopieren. Nou heb ik het programma G4U gevonden en getest, dit werkt opzich perfect maar het probleem is dat hij ALLE 1tjes en nullen overzet. Dit betekent dat hij over een 160GB schijf vrij lang doet, is er een andere mogelijkheid hiervoor? Een programma dat enkel het gebruikte deel overschrijft? Iemand een idee?