Onderwerp: [NFS] nfsd gaat naar status D?

Hallo,

Ik hoop dat er hier wat mensen zijn met verstand van nfs en het spul er omheen.

Om met de deur in huis te vallen, ik heb als server:
- Dual Opteron 242
- 2GB Ram
- 8x Maxtor Diamondplus 10 (RAID5 + hotspare)
- Areca ARC-1120 raid controller
- Tyan Thunder K8W
- Debian 3.1 (sarge)
- 2.6.10 kernel

Wat is nu het geval?
Als ik top doe zie ik het volgende:

Code:

top - 12:17:55 up 9 days,  6:34,  1 user,  load average: 2.57, 2.38, 3.94
Tasks:  63 total,   1 running,  62 sleeping,   0 stopped,   0 zombie
Cpu(s):  0.0% us,  2.7% sy,  0.0% ni, 70.8% id, 24.3% wa,  0.7% hi,  1.5% si
Mem:   2075596k total,  1583280k used,   492316k free,   786488k buffers
Swap:  4882408k total,        0k used,  4882408k free,   681768k cached

  PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND
26409 root      15   0     0    0    0 D  1.3  0.0   0:43.80 nfsd
26413 root      15   0     0    0    0 D  1.0  0.0   0:43.66 nfsd
26412 root      15   0     0    0    0 D  1.0  0.0   0:44.61 nfsd
26416 root      15   0     0    0    0 D  0.7  0.0   0:44.19 nfsd
26414 root      15   0     0    0    0 S  0.7  0.0   0:43.22 nfsd
26411 root      15   0     0    0    0 S  0.7  0.0   0:42.55 nfsd
26410 root      15   0     0    0    0 D  0.7  0.0   0:42.92 nfsd

Je ziet dus dat de CPU's waiting zijn en nfsd in een sleep gaat.

Dat waiting van de CPU levert dus die load op.

Maar nu vraag ik me af, waar wacht hij nou op?
De partities zijn als volgt:

Code:

Filesystem            Size  Used Avail Use% Mounted on
/dev/sda2             7.4G   51M  7.0G   1% /		(ext3)
tmpfs                1014M     0 1014M   0% /dev/shm
/dev/sda1             895M  5.1M  842M   1% /boot	(ext2)
/dev/sda10             14G  1.1G   12G   9% /ext	(ext3)
/dev/sda9             1.1T  230G  820G  22% /home	(ReiserFS)
/dev/sda7             448M  8.5M  415M   2% /tmp	(ext3)
/dev/sda5             9.2G  553M  8.2G   7% /usr	(ext3)
/dev/sda6             9.2G  178M  8.6G   2% /var	(ext3)
/dev/sda11             23G   86M   22G   1% /var/log	(ext3)

Ik heb /home (waar dus het meeste van gelezen wordt) als volgt gemount:

Code:

noatime,rw,suid,dev,exec,auto,nouser,async

De syslog en messages geven geen I/O problemen aan, dat draait allemaal goed.

Wie heeft een idee waar ik dit moet zoeken?

Een proces dat in de status D verkeerd is een process dat wacht op een systemcall. Vrijwel altijd is dit een wait op IO.

In NFSd heb ik dit zelden gezien. Welk vaker bij NFS clients waar de NFS server onderuit ging.

Origineel geplaatst door Cliff
Een proces dat in de status D verkeerd is een process dat wacht op een systemcall. Vrijwel altijd is dit een wait op IO.

In NFSd heb ik dit zelden gezien. Welk vaker bij NFS clients waar de NFS server onderuit ging.

Ok een wait op I/O, maar dat vind ik raar.

Het lijkt mij dat 7 harddisks in RAID5 via een hardware matige controller niet zomaar IO problemen mag opleveren?

Probeer eens d.m.v. lsof te achterhalen of er (veel) open files zijn van clients die niet meer connected zijn.

Met nfsstat kan je ook kijken of er veel lees of schrijf fouten zijn.

Overigens, ik zou de async optie niet gebruiken op een productie systeem. Het is idd wel sneller (qua performance) maar ook meer risico op corrupte files.

Met lsof zie ik weinig open files.

uit nfsstat wordt ik weinig wijs?

Code:

Server rpc stats:
calls      badcalls   badauth    badclnt    xdrcall
1467616107   0          0          0          0
Server nfs v2:
null       getattr    setattr    root       lookup     readlink
0       0% 0       0% 0       0% 0       0% 0       0% 0       0%
read       wrcache    write      create     remove     rename
0       0% 0       0% 0       0% 0       0% 0       0% 0       0%
link       symlink    mkdir      rmdir      readdir    fsstat
0       0% 0       0% 0       0% 0       0% 0       0% 0       0%

Server nfs v3:
null       getattr    setattr    lookup     access     readlink
5       0% 1179528485 80% 1320793  0% 97143445  6% 122802926  8% 7528    0%
read       write      create     mkdir      symlink    mknod
49106301  3% 5397192  0% 1023723  0% 51038   0% 21      0% 7       0%
remove     rmdir      rename     link       readdir    readdirplus
783755  0% 40613   0% 1415526  0% 39      0% 1186844  0% 3684775  0%
fsstat     fsinfo     pathconf   commit
660247  0% 659090  0% 0       0% 2803051  0%

Jij wel?

In elk geval alleen goede dingen. (alle calls zijn goed, geen badcall of bad clients). Aan de communicatie zelf (nfs server <-> nfs client) zal het niet liggen.

Het probleem ligt (zoals reeds gezegd) dus puur in vrijkomen van resources (meestal is dat I/O) Dat hoeft overigens niet te betekenen IO van disken, maar kan ook geheugen, netwerk, of CPU zijn.

CPU mag je in dit geval wegstrepen aangezien deze 70.8% idle was. Geheugen lijkt me onwaarschijnlijk.

Blijft over netwerk en disken.

Draai eens een aantal sar monitors op je disken en i/o operations.

(bv : sar -d 1 10 & sar -b 1 10 )

Hiermee kan je zien of bv je disken het heel druk hebben etc.

De server heeft een onboard 1000mbit tg3 en een 1000mbit intel (32-bit PCI)

Al het NFS verkeer gaat over de Intel heen, zou die een probleem kunnen zijn?

Overigens kan ik het commando sar niet vinden?

Origineel geplaatst door Wido


Ok een wait op I/O, maar dat vind ik raar.

Het lijkt mij dat 7 harddisks in RAID5 via een hardware matige controller niet zomaar IO problemen mag opleveren?

Dat ligt nog helemaal aan de controller. Sommige 3ware controllers gaan gigantisch veel load creeren als ze in RAID-5 setup draaien en je start een grote write operation. Meestal ook samenvallend met het feit dat ze op I/O wachten.

Als het echt aan de (intel) kaart zou liggen zou je (waarschijnlijk) ook wel meldingen gezien in je syslog/messages file of dmesg output.

(niks uitsluiten btw..)

sar is een tooltje om systeem (verbruiks) gegevens te tonen (staat op de meeste distro's maar wel even zelf selecteren). Hoe het apt pakketje heet op debian durf ik even niet te zeggen, de rpm versie (centos, redhat etc) en gentoo package heet 'sysstat'.
(wellicht apt-get sysstat ?)

sar -b
Report I/O and transfer rate statistics.

sar -d
Report activity for each block device (kernels 2.4 and later only).

sar -n
Report network statistics.

sar komt bij mij echt niets uit.

alleen -d zegt wat:

Code:

Average:       dev1-0      0.00      0.00      0.00
Average:       dev1-1      0.00      0.00      0.00
Average:       dev1-2      0.00      0.00      0.00
Average:       dev1-3      0.00      0.00      0.00
Average:       dev1-4      0.00      0.00      0.00
Average:       dev1-5      0.00      0.00      0.00
Average:       dev1-6      0.00      0.00      0.00
Average:       dev1-7      0.00      0.00      0.00
Average:       dev1-8      0.00      0.00      0.00
Average:       dev1-9      0.00      0.00      0.00
Average:      dev1-10      0.00      0.00      0.00
Average:      dev1-11      0.00      0.00      0.00
Average:      dev1-12      0.00      0.00      0.00
Average:      dev1-13      0.00      0.00      0.00
Average:      dev1-14      0.00      0.00      0.00
Average:      dev1-15      0.00      0.00      0.00
Average:       dev7-0      0.00      0.00      0.00
Average:       dev7-1      0.00      0.00      0.00
Average:       dev7-2      0.00      0.00      0.00
Average:       dev7-3      0.00      0.00      0.00
Average:       dev7-4      0.00      0.00      0.00
Average:       dev7-5      0.00      0.00      0.00
Average:       dev7-6      0.00      0.00      0.00
Average:       dev7-7      0.00      0.00      0.00
Average:       dev8-0    172.91   1504.05   2296.95

Excuse het was alleen even de uitleg van sar, als je echte output wilt hebben, doen dan bv:

# sar -b 1 10

Dit kijkt dat 10 keer, en met seconde tussen pauze, en geeft daarna een average weer. (zelfde dus met de -d en -n optie, overigens nog veel meer opties (-c voor cpu, etc etc, zie man sar)).

Je krijgt dan een beetje een idee wat het systeem doet (disk i/o, uitgebreide netwerk stats etc).