| View previous topic :: View next topic |
| Author |
Message |
chernousov
Tux's lil' helper
Joined: 30 May 2004
Posts: 117
|
 Posted: Fri Nov 02, 2007 11:45 am Post subject: Знатоки железа, помогите плиз... |
 |
|
Есть сервер. Задача - стримить видики. Ничего больше.
Проц - Xeon 3050 (dual core 2.13GHz), хотя это и не имеет особого значения, проц вообще не напрягается.
2 гига памяти.
SATA-контроллер - ICH7R SATA controller built-in, (мать - http://www.supermicro.com/products/system/1U/5015/SYS-5015M-MT+.cfm)
Стоят 4 винта - все Рапторы 150GB (Western Digital Raptor 1500AHFD).
Основная нагрузка, конечно, на винты.
Я наивно полагал, что если с каждого винта смогу читать до 15 мегабайт в секунду (120мегабит/c), то всё будет ок, вроде винты позволяют.
Однако, не всё так радужно. iostat показывает, что при чтении ~10-15 мегов в сек со всех 4х винтов (т.е. итого порядка 40мег/с), то iowait порядка 50%. Весьма хреново.
Софт: reiserfs, noatime, lighttpd-1.5, gthread-aio/linux-aio-sendfile, max-read-threads=32 (пробовал играть с настройками lighttpd, но особого эффекта не получил).
Я, конечно, не претендую на официально регламентированную скорость чтения раптора (84МБ/с), но iowait 50% при 10-15МБ/с мне кажется паршивенько... Кто что посоветует?
Вот что происходит в НЕ особо напряжное время суток: | Code: | dl2 ~ # vmstat 1
procs -----------memory---------- ---swap-- -----io---- -system-- ----cpu----
r b swpd free buff cache si so bi bo in cs us sy id wa
0 5 352 175436 26420 1634092 0 0 11071 249 22 20 3 11 49 38
0 6 352 149492 26472 1661072 0 0 27244 0 12284 6232 2 10 48 40
0 1 352 122180 26500 1688132 0 0 27472 0 12339 6975 2 11 58 28
0 2 352 96316 26560 1713932 0 0 26232 24 12094 7110 2 12 44 42
0 6 352 182112 26428 1628692 0 0 30020 0 11802 4275 1 11 38 50
0 3 352 154916 26464 1656556 0 0 27948 0 12115 5620 0 13 37 50
0 2 352 124032 26492 1686860 0 0 30784 0 11721 6028 1 10 42 47
1 0 352 97816 26508 1713380 0 0 26376 0 12115 6818 0 15 51 34
0 9 352 197244 26368 1614104 0 0 23240 76 11428 5850 1 11 40 48
0 3 352 169680 26412 1641588 0 0 27748 4 11717 5092 0 17 32 50
0 3 352 145344 26464 1667288 0 0 26384 0 12118 6530 1 13 41 44
0 1 352 119844 26516 1693028 0 0 25820 0 12076 6720 1 12 34 52
0 1 352 90392 26564 1721100 0 0 27988 0 11582 5536 0 12 55 33
0 1 352 171876 26340 1641128 0 0 30212 0 12111 4793 2 10 38 50
0 2 352 146276 26388 1666512 0 0 25652 16 11740 5198 1 10 48 40
0 0 352 119272 26440 1693244 0 0 26696 0 11733 7406 0 11 44 45
dl2 ~ # iostat 10
Linux 2.6.20-beyond1 (dl2) 11/02/07
avg-cpu: %user %nice %system %iowait %steal %idle
0.70 0.00 11.79 47.75 0.00 39.76
Device: tps Blk_read/s Blk_wrtn/s Blk_read Blk_wrtn
sda 68.33 8433.17 17.58 84416 176
sdb 67.43 14971.43 0.00 149864 0
sdc 71.63 16960.64 0.00 169776 0
sdd 69.03 15243.96 0.00 152592 0
avg-cpu: %user %nice %system %iowait %steal %idle
0.70 0.00 12.74 42.56 0.00 44.01
Device: tps Blk_read/s Blk_wrtn/s Blk_read Blk_wrtn
sda 76.02 8231.77 10.39 82400 104
sdb 73.03 16388.41 0.00 164048 0
sdc 66.73 15637.96 0.00 156536 0
sdd 65.93 15358.24 0.00 153736 0
avg-cpu: %user %nice %system %iowait %steal %idle
0.80 0.00 13.19 34.82 0.00 51.20
Device: tps Blk_read/s Blk_wrtn/s Blk_read Blk_wrtn
sda 77.62 8603.40 3.20 86120 32
sdb 53.65 14826.77 0.00 148416 0
sdc 49.25 14347.25 0.00 143616 0
sdd 61.54 15094.51 0.00 151096 0
avg-cpu: %user %nice %system %iowait %steal %idle
0.65 0.00 12.24 34.87 0.00 52.25
Device: tps Blk_read/s Blk_wrtn/s Blk_read Blk_wrtn
sda 71.43 9003.80 10.39 90128 104
sdb 62.54 14973.83 0.00 149888 0
sdc 65.43 16124.68 0.00 161408 0
sdd 52.25 14224.98 0.00 142392 0
avg-cpu: %user %nice %system %iowait %steal %idle
1.00 0.00 12.59 40.06 0.00 46.35
Device: tps Blk_read/s Blk_wrtn/s Blk_read Blk_wrtn
sda 69.33 9167.63 20.78 91768 208
sdb 59.24 14706.89 0.00 147216 0
sdc 66.43 16921.48 0.00 169384 0
sdd 56.64 14795.60 0.00 148104 0
avg-cpu: %user %nice %system %iowait %steal %idle
0.75 0.00 11.49 41.46 0.00 46.30
Device: tps Blk_read/s Blk_wrtn/s Blk_read Blk_wrtn
sda 62.04 8512.29 6.39 85208 64
sdb 58.24 15892.91 0.00 159088 0
sdc 66.33 17357.84 0.00 173752 0
sdd 62.74 14956.24 0.00 149712 0 |
(на sda нагрузка по чтению слегка снижена специально по ряду причин) |
|
| Back to top |
|
 |
ba
l33t
Joined: 25 May 2003
Posts: 804
|
| Posted: Fri Nov 02, 2007 2:34 pm Post subject: Re: Знатоки железа, помогите плиз... |
|
|
| chernousov wrote: | | iostat показывает, что при чтении ~10-15 мегов в сек со всех 4х винтов (т.е. итого порядка 40мег/с), то iowait порядка 50%. |
не вижу ничего удивительного... при такой нагрузке это нормальный iowait. вообще большие скорости могут быть только при линейном чтении/записи в один поток, у вас я так понимаю чтение не особо линейное и в много потоков, так что это очень неплохой результат...
P.S.
1. для теста производительности дисковой подсистемы советую использовать iozone (как раз может тестить в много потоков и разные операции, типа линейных/рандомных чтений/записи, смешаной нагрузки)
2. в твоем случае iowait мало показателен, тк упираешься ты не в проц а в диски, я бы запускал что-нить типа iostat -x 1 и смотрел на последнюю колонку, на сколько она близка к 100% |
|
| Back to top |
|
|
chernousov
Tux's lil' helper
Joined: 30 May 2004
Posts: 117
|
| Posted: Fri Nov 02, 2007 2:57 pm Post subject: |
|
|
| Code: | iostat -x 5
Linux 2.6.20-beyond1 (dl2) 11/02/07
avg-cpu: %user %nice %system %iowait %steal %idle
1.49 0.00 17.13 75.30 0.00 6.08
Device: rrqm/s wrqm/s r/s w/s rsec/s wsec/s avgrq-sz avgqu-sz await svctm %util
sda 0.80 1.20 108.17 0.60 11101.20 14.34 102.20 21.40 196.74 8.00 87.05
sdb 1.59 0.00 91.24 0.00 21453.39 0.00 235.14 11.80 128.47 9.48 86.45
sdc 2.39 0.00 70.92 0.00 19282.87 0.00 271.91 10.65 150.62 13.09 92.83
sdd 1.99 0.00 85.26 0.00 22482.87 0.00 263.70 22.10 262.73 11.50 98.01
avg-cpu: %user %nice %system %iowait %steal %idle
0.50 0.00 15.97 80.94 0.00 2.59
Device: rrqm/s wrqm/s r/s w/s rsec/s wsec/s avgrq-sz avgqu-sz await svctm %util
sda 0.60 0.20 91.02 0.60 10634.73 6.39 116.15 18.12 197.82 8.10 74.25
sdb 1.80 0.00 69.26 0.00 20544.51 0.00 296.62 12.07 178.76 10.61 73.45
sdc 2.79 0.00 72.65 0.00 20237.92 0.00 278.55 21.86 286.24 12.66 92.02
sdd 2.99 0.00 77.84 0.00 20817.56 0.00 267.43 34.52 414.41 12.69 98.80
avg-cpu: %user %nice %system %iowait %steal %idle
0.90 0.00 15.27 75.35 0.00 8.48
Device: rrqm/s wrqm/s r/s w/s rsec/s wsec/s avgrq-sz avgqu-sz await svctm %util
sda 0.60 0.20 73.65 0.60 9130.54 6.39 123.05 12.51 168.49 8.82 65.47
sdb 1.20 0.00 66.67 0.00 19908.98 0.00 298.63 10.60 153.83 10.63 70.86
sdc 1.40 0.00 71.26 0.00 18529.34 0.00 260.03 10.68 161.54 12.21 87.03
sdd 1.80 0.00 98.40 0.00 21683.03 0.00 220.35 26.07 284.04 10.14 99.80
avg-cpu: %user %nice %system %iowait %steal %idle
0.60 0.00 14.37 82.44 0.00 2.59
Device: rrqm/s wrqm/s r/s w/s rsec/s wsec/s avgrq-sz avgqu-sz await svctm %util
sda 0.40 0.20 60.48 0.60 8403.99 6.39 137.70 14.40 231.57 8.73 53.29
sdb 1.00 0.00 75.45 0.00 18056.69 0.00 239.32 11.86 160.71 8.94 67.47
sdc 1.40 0.00 62.87 0.00 17714.97 0.00 281.75 24.05 385.49 14.57 91.62
sdd 2.20 0.00 73.45 0.00 19629.54 0.00 267.24 39.61 543.56 13.61 100.00
avg-cpu: %user %nice %system %iowait %steal %idle
0.60 0.00 15.57 83.83 0.00 0.00
Device: rrqm/s wrqm/s r/s w/s rsec/s wsec/s avgrq-sz avgqu-sz await svctm %util
sda 1.60 0.20 82.83 1.60 9087.43 14.37 107.80 15.60 187.78 8.75 73.85
sdb 2.00 0.00 73.25 0.00 17825.15 0.00 243.34 14.21 195.12 9.86 72.26
sdc 1.60 0.00 64.67 0.00 17706.99 0.00 273.80 33.18 515.80 15.46 100.00
sdd 4.59 0.00 64.67 0.00 19035.53 0.00 294.35 60.01 920.03 15.46 100.00 |
Что больше всего напрягает во время стриминга видео, так это появление "buffering..." в плеере каждые неск. секунд. |
|
| Back to top |
|
|
ba
l33t
Joined: 25 May 2003
Posts: 804
|
| Posted: Sat Nov 03, 2007 1:24 pm Post subject: |
|
|
| Из этого видно что ты точно упираешься в производительность самих дисков - очевидный выход поставить еще дисков. Еще если есть какие-то популярные файлы, то можно их держать в памяти (например через tmpfs). |
|
| Back to top |
|
|
|
|
You cannot post new topics in this forum
You cannot reply to topics in this forum
You cannot edit your posts in this forum
You cannot delete your posts in this forum
You cannot vote in polls in this forum
|
|
Russian
