Onderwerp: Lokale backups mislukken (HD stuk?)

Ik heb sinds een paar weken een nieuwe server in het DC hangen voor virtuele servers met 2 schijven in raid 1 en 1 losse HD.

2 x Western Digital RE4 1TB, 7200rpm, 64 mb cache (beide schijven op een 6Gbit sata poort) - hier draaien de VM's + OS op
1 x Western Digital Eco Green 2TB, 5400rpm, 64 mb cache (schijf op een 3Gbit sata poort) - Schijf voor backups

Het systeem draait prima de virtuele servers hebben prima performance en backups naar een server in een ander DC (via een samba share) gaan ook prima. De performance gaan alleen een beetje omlaag (en das logisch natuurlijk). Maar zo gauw ik lokaal back-ups maak naar de WD eco Green schijf wordt er 4 tot 7 GB weg geschreven en daarna stopt de backup loopt de server load op en crasht de hele server.

Soms is de server nog te redden door snel het back-up process te killen. Ik heb geen idee, misschien is de HD wel stuk, maar voor ik naar het DC rij om die te vervangen zou ik graag van jullie willen weten of het ook iets anders zou kunnen zijn. Het blijft een slome 5400rpm eco green schijf, maar voor een paar backups zou dat toch niet mogen deren?

De backups draai ik via Proxmox en VZDump.

Heb geprobeerd een speedtest file van 50GB binnen te halen op de HD en ook dan crasht alles.

Wat zegt de S.M.A.R.T. tool voor deze disk?

En welk filesystem word er gebruikt op die disk?

Mischien een idee om eens wat snellere schijfen te gaan gebruiken.

Wat betreft een productie server met sata schijven ... Daar zal ik maar niks over zeggen men weet hoe ik daar over denk en met mij meerdere.
Maar knal er in iedergeval die green disk uit en vervang die voor een andere sata disk het liefst een enterprice disk.

De S.M.A.R.T. check passed. M'n filesystem is gewoon Ext3.

Code:

root@proxmox:~# smartctl -a /dev/sdc
smartctl 5.40 2010-07-12 r3124 [x86_64-unknown-linux-gnu] (local build)
Copyright (C) 2002-10 by Bruce Allen, http://smartmontools.sourceforge.net

=== START OF INFORMATION SECTION ===
Device Model:     WDC WD20EARX-32PASB0
Serial Number:    WD-WCAZAE153936
Firmware Version: 51.0AB51
User Capacity:    2,000,398,934,016 bytes
Device is:        Not in smartctl database [for details use: -P showall]
ATA Version is:   8
ATA Standard is:  Exact ATA specification draft version not indicated
Local Time is:    Sat Aug 25 09:29:15 2012 CEST
SMART support is: Available - device has SMART capability.
SMART support is: Enabled

=== START OF READ SMART DATA SECTION ===
SMART overall-health self-assessment test result: PASSED

General SMART Values:
Offline data collection status:  (0x80) Offline data collection activity
                                        was never started.
                                        Auto Offline Data Collection: Enabled.
Self-test execution status:      (   0) The previous self-test routine completed
                                        without error or no self-test has ever
                                        been run.
Total time to complete Offline
data collection:                 (39600) seconds.
Offline data collection
capabilities:                    (0x7b) SMART execute Offline immediate.
                                        Auto Offline data collection on/off supp                                                                                                                                                             ort.
                                        Suspend Offline collection upon new
                                        command.
                                        Offline surface scan supported.
                                        Self-test supported.
                                        Conveyance Self-test supported.
                                        Selective Self-test supported.
SMART capabilities:            (0x0003) Saves SMART data before entering
                                        power-saving mode.
                                        Supports SMART auto save timer.
Error logging capability:        (0x01) Error logging supported.
                                        General Purpose Logging supported.
Short self-test routine
recommended polling time:        (   2) minutes.
Extended self-test routine
recommended polling time:        ( 255) minutes.
Conveyance self-test routine
recommended polling time:        (   5) minutes.
SCT capabilities:              (0x3035) SCT Status supported.
                                        SCT Feature Control supported.
                                        SCT Data Table supported.

SMART Attributes Data Structure revision number: 16
Vendor Specific SMART Attributes with Thresholds:
ID# ATTRIBUTE_NAME          FLAG     VALUE WORST THRESH TYPE      UPDATED  WHEN_                                                                                                                                                             FAILED RAW_VALUE
  1 Raw_Read_Error_Rate     0x002f   200   200   051    Pre-fail  Always       -                                                                                                                                                                    2
  3 Spin_Up_Time            0x0027   181   174   021    Pre-fail  Always       -                                                                                                                                                                    5908
  4 Start_Stop_Count        0x0032   100   100   000    Old_age   Always       -                                                                                                                                                                    63
  5 Reallocated_Sector_Ct   0x0033   200   200   140    Pre-fail  Always       -                                                                                                                                                                    0
  7 Seek_Error_Rate         0x002e   200   200   000    Old_age   Always       -                                                                                                                                                                    0
  9 Power_On_Hours          0x0032   100   100   000    Old_age   Always       -                                                                                                                                                                    256
 10 Spin_Retry_Count        0x0032   100   253   000    Old_age   Always       -                                                                                                                                                                    0
 11 Calibration_Retry_Count 0x0032   100   253   000    Old_age   Always       -                                                                                                                                                                    0
 12 Power_Cycle_Count       0x0032   100   100   000    Old_age   Always       -                                                                                                                                                                    61
192 Power-Off_Retract_Count 0x0032   200   200   000    Old_age   Always       -                                                                                                                                                                    44
193 Load_Cycle_Count        0x0032   200   200   000    Old_age   Always       -                                                                                                                                                                    193
194 Temperature_Celsius     0x0022   121   117   000    Old_age   Always       -                                                                                                                                                                    29
196 Reallocated_Event_Count 0x0032   200   200   000    Old_age   Always       -                                                                                                                                                                    0
197 Current_Pending_Sector  0x0032   200   200   000    Old_age   Always       -                                                                                                                                                                    0
198 Offline_Uncorrectable   0x0030   100   253   000    Old_age   Offline      -                                                                                                                                                                    0
199 UDMA_CRC_Error_Count    0x0032   200   200   000    Old_age   Always       -                                                                                                                                                                    0
200 Multi_Zone_Error_Rate   0x0008   100   253   000    Old_age   Offline      -                                                                                                                                                                    0

SMART Error Log Version: 1
No Errors Logged

SMART Self-test log structure revision number 1
No self-tests have been logged.  [To run self-tests, use: smartctl -t]


SMART Selective self-test log data structure revision number 1
 SPAN  MIN_LBA  MAX_LBA  CURRENT_TEST_STATUS
    1        0        0  Not_testing
    2        0        0  Not_testing
    3        0        0  Not_testing
    4        0        0  Not_testing
    5        0        0  Not_testing
Selective self-test flags (0x0):
  After scanning selected spans, do NOT read-scan remainder of disk.
If Selective self-test is pending on power-up, resume after 0 minute delay.

root@proxmox:~# smartctl -a /dev/sdc
smartctl 5.40 2010-07-12 r3124 [x86_64-unknown-linux-gnu] (local build)
Copyright (C) 2002-10 by Bruce Allen, http://smartmontools.sourceforge.net

=== START OF INFORMATION SECTION ===
Device Model:     WDC WD20EARX-32PASB0
Serial Number:    WD-WCAZAE153936
Firmware Version: 51.0AB51
User Capacity:    2,000,398,934,016 bytes
Device is:        Not in smartctl database [for details use: -P showall]
ATA Version is:   8
ATA Standard is:  Exact ATA specification draft version not indicated
Local Time is:    Sat Aug 25 09:30:45 2012 CEST
SMART support is: Available - device has SMART capability.
SMART support is: Enabled

=== START OF READ SMART DATA SECTION ===
SMART overall-health self-assessment test result: PASSED

General SMART Values:
Offline data collection status:  (0x80) Offline data collection activity
                                        was never started.
                                        Auto Offline Data Collection: Enabled.
Self-test execution status:      (   0) The previous self-test routine completed
                                        without error or no self-test has ever
                                        been run.
Total time to complete Offline
data collection:                 (39600) seconds.
Offline data collection
capabilities:                    (0x7b) SMART execute Offline immediate.
                                        Auto Offline data collection on/off support.
                                        Suspend Offline collection upon new
                                        command.
                                        Offline surface scan supported.
                                        Self-test supported.
                                        Conveyance Self-test supported.
                                        Selective Self-test supported.
SMART capabilities:            (0x0003) Saves SMART data before entering
                                        power-saving mode.
                                        Supports SMART auto save timer.
Error logging capability:        (0x01) Error logging supported.
                                        General Purpose Logging supported.
Short self-test routine
recommended polling time:        (   2) minutes.
Extended self-test routine
recommended polling time:        ( 255) minutes.
Conveyance self-test routine
recommended polling time:        (   5) minutes.
SCT capabilities:              (0x3035) SCT Status supported.
                                        SCT Feature Control supported.
                                        SCT Data Table supported.

SMART Attributes Data Structure revision number: 16
Vendor Specific SMART Attributes with Thresholds:
ID# ATTRIBUTE_NAME          FLAG     VALUE WORST THRESH TYPE      UPDATED  WHEN_FAILED RAW_VALUE
  1 Raw_Read_Error_Rate     0x002f   200   200   051    Pre-fail  Always       -       2
  3 Spin_Up_Time            0x0027   181   174   021    Pre-fail  Always       -       5908
  4 Start_Stop_Count        0x0032   100   100   000    Old_age   Always       -       63
  5 Reallocated_Sector_Ct   0x0033   200   200   140    Pre-fail  Always       -       0
  7 Seek_Error_Rate         0x002e   200   200   000    Old_age   Always       -       0
  9 Power_On_Hours          0x0032   100   100   000    Old_age   Always       -       256
 10 Spin_Retry_Count        0x0032   100   253   000    Old_age   Always       -       0
 11 Calibration_Retry_Count 0x0032   100   253   000    Old_age   Always       -       0
 12 Power_Cycle_Count       0x0032   100   100   000    Old_age   Always       -       61
192 Power-Off_Retract_Count 0x0032   200   200   000    Old_age   Always       -       44
193 Load_Cycle_Count        0x0032   200   200   000    Old_age   Always       -       194
194 Temperature_Celsius     0x0022   120   117   000    Old_age   Always       -       30
196 Reallocated_Event_Count 0x0032   200   200   000    Old_age   Always       -       0
197 Current_Pending_Sector  0x0032   200   200   000    Old_age   Always       -       0
198 Offline_Uncorrectable   0x0030   100   253   000    Old_age   Offline      -       0
199 UDMA_CRC_Error_Count    0x0032   200   200   000    Old_age   Always       -       0
200 Multi_Zone_Error_Rate   0x0008   100   253   000    Old_age   Offline      -       0

SMART Error Log Version: 1
No Errors Logged

SMART Self-test log structure revision number 1
No self-tests have been logged.  [To run self-tests, use: smartctl -t]


SMART Selective self-test log data structure revision number 1
 SPAN  MIN_LBA  MAX_LBA  CURRENT_TEST_STATUS
    1        0        0  Not_testing
    2        0        0  Not_testing
    3        0        0  Not_testing
    4        0        0  Not_testing
    5        0        0  Not_testing
Selective self-test flags (0x0):
  After scanning selected spans, do NOT read-scan remainder of disk.
If Selective self-test is pending on power-up, resume after 0 minute delay.

Vanwege de prijs hou ik het wel bij SATA schijven zeker omdat de performance van het systeem verder prima zijn. Maar de Eco Green wil ik inderdaad graag gaan vervangen. Kan iemand me een 2TB SATA schijf aanraden?

http://gistron.nl/info/40961/info.html

Oorspronkelijk geplaatst door patrickekkel

Mischien een idee om eens wat snellere schijfen te gaan gebruiken.

Nog niet helemaal wakker

Voor casual backups zijn deze SATA schijven normaal prima.

Wij hadden vergelijkbare problemen met met trage NFS disk.
Heb je toevallig in de server een SATA poort op het moederbord, ipv raid kaart.. zodat je naar een "ander" kanaal backupt?

Hmm ander kanaal zou kunnen. Maar alle 3 de schijven zitten op het moederbord (software raid). We zit de 2e schijf op een 3gbit poort en de andere 2 op een 6gbit poort. Voor SATA schijven maakt 3gbit of 6gbit wellicht niet zoveel uit, en dan kan ik ook alle schijven op hetzelfde blok prikken (allen op 3 gbit). Of mag dit niet uitmaken?

Dit zou niet mogen uitmaken. De SATA bus is veel sneller dan de SATA schijven die je er aan hangt. Je zou eens kunnen testen met een hele andere schijf in plaats van die backup disk. Als het dan wel werkt, dan heb je simpelweg een defecte disk. Is er dan ook een probleem, dan zou het wel eens aan je OS of moederbord kunnen liggen. Dergelijke opstellingen heb ik ook een paar draaien, nooit problemen mee gehad.

Oorspronkelijk geplaatst door guidonline

Heb geprobeerd een speedtest file van 50GB binnen te halen op de HD en ook dan crasht alles.

Die hoef je toch niet van buiten te halen ?

dd if=/dev/zero of=/mnt/backupdisk/testfile.bin bs=1M count=4096
(dan heb je 4096*1M = 4G testfile van nullen, en gelezen met de echt maximale snelheid).
Neem count=16384 voor 16G.

Maar die oplopende load en crashende server daarna zou niet moeten. Een wat langzamere harddisk mag niet dat effect hebben, die is gewoon alleen maar wat langzamer.
Ik kan niet zeggen of het je disk is die kapot is , of het mobo/controller, of misschien de driver van de kernel , maar ergens is er iets niet goed. Heb je iets in dmesg van het moment dat het misgaat ?

Je kunt een andere schijf proberen, of de disken omprikken op een andere controller.
De sustained throughput (wat de kop naar de schijf kwijt kan als die achter elkaar kan doorschrijven) zal enkele tientallen MB's per seconde zijn. Dus een paar honderd megabit/seconde . Veel minder dus dan 3 Gbit/sec .

Ik heb volgens mij nog een aantal 5400 RPM 2TB disks in Serverius liggen (ooit uit een nas gesloopt). Die kan je evt wel lenen.

en als je nu voor de grap eens meer dan bijvoorbeeld 10GB wegschrijft naar de schijf (gewone data).
mooie test om te kijken of het softwarematig is of dat het ergens anders aan ligt (mobo ofzo).

Installeer het programma atop en kijk eens live mee terwijl het mis gaat. Je kunt dan zien of de disken het druk hebben of een bepaald programma of iets.