TaKeNeK n00b
Joined: 19 Dec 2004 Posts: 13
|
Posted: Mon Nov 14, 2011 3:34 pm Post subject: Niska wydajność OCFS2 |
|
|
Witam
Mam macierz dyskową EMC z 1,8 TB dyski w RAID10 na FC, podłączyłem do tego serwer IBMa z 2 kartami HBA więc teoretycznie wydajność powinna być olbrzymia niestety okazuje się zupełnie co innego - większy mam transfer z lokalnych dysków w RAID5 niż po SANie.
Ogólnie co zrobiłem:
1. Do Serwera włożyłem 2 karty HBA
2. Skompilowałem stabilnego kernela 3.0.4-hardened-r4 z modułem BFA do kart brocade HBA oraz dorzuciłem obsługą ocfs2.
3. Skonfigurowałem i uruchomiłem usługę multipath z następujacą konfiguracją:
POCZTA2 ~ # cat /etc/multipath.conf
defaults {
udev_dir /dev
polling_interval 15
selector "round-robin 0"
path_grouping_policy group_by_prio
failback 5
path_checker tur
prio_callout "/sbin/mpath_prio_emc /dev/%n"
rr_min_io 100
rr_weight uniform
no_path_retry queue
user_friendly_names yes
}
blacklist {
devnode cciss
devnode fd
devnode hd
devnode md
devnode sr
devnode scd
devnode st
devnode ram
devnode raw
devnode loop
devnode sda
devnode sdb
}
multipaths {
multipath {
wwid 360060160ac652400a81e5f17a201e111
alias EMC
}
devices {
device {
"IBM "
"1815 FAStT "
}
}
}
4. Utworzyłem system plików ocfs2 następująca komendą:
mkfs.ocfs2 --label POCZTA --mount cluster --node-slots 4 --fs-features=usrquota,indexed-dirs /dev/mapper/EMC
5. dodałem wpis w fstab:
/dev/mapper/EMC /mnt/EMC ocfs2 noauto,_netdev,defaults,usrquota 0 0
6. Podmontowałem zasób komendą:
mount /mnt/EMC
7. Dysk sie zamontował teoretycznie poprawnie choć wyskoczył jakiś error ale na forum ludzie piszą, żeby go zignorować:
ocfs2: Mounting device (253,0) on (node 1, slot 0) with ordered data mode.
(mount.ocfs2,11746,0):ocfs2_global_read_info:403 ERROR: status = 24
grsec: From 172.23.1.146: mount of /dev/mapper/EMC to /mnt/EMC by /sbin/mount.ocfs2[mount.ocfs2:11746] uid/euid:0/0 gid/egid:0/0, parent /bin/mount[mount:11745] uid/euid:0/0 gid/egid:0/0
w procu to wygląda następujaco:
POCZTA2 ~ # cat /proc/mounts
/dev/mapper/EMC /mnt/EMC ocfs2 rw,relatime,_netdev,heartbeat=local,nointr,data=ordered,errors=remount-ro,usrquota,coherency=full,user_xattr,acl 0 0
Gdy robię testy wydajnościowe za pomocą hdparm, normalnego kopiowania plików, dd if=/dev/zero of=/mnt/EMC/test bs=1024 count=10000000 oraz bonnie++, wszystkie testy pokazują, że /mnt/EMC jesy wyraźnie wolniejsze od dysków lokalnych RAID5.
Czy ktoś ma jakiś pomysł czym to może być spowodowane?
Spróbuję wszystkiego bo powoli się poddaje - testowałem wszystkiego włącznie z zmiana kernela, ocfs2-utils i ciągle ten sam efekt...
Pozdrawiam |
|