最近做了一次实验 用cat /proc/interrupts 抓取nvme的中断次数 ,来验证开启了中断聚合后,中断次数是否会减少
1 首先我们先看下盘的默认值是多少
[debian~]#nvme get-feature /dev/nvme9 -f 0x7 -H #查看支持的最大队列get-feature:0x7(Number of Queues), Current value:0x7f007f Number of IO Completion Queues Allocated(NCQA):128Number of IO Submission Queues Allocated(NSQA):128[debian~]#nvme get-feature /dev/nvme9 -f 0x8 -H #查看当前的聚合数 0000默认没有打开中断get-feature:0x8(Interrupt Coalescing), Current value:00000000 Aggregation Time(TIME):0usec Aggregation Threshold(THR):1[debian~]#2 在没有打开中断的情况下 我们可以跑下FIO 10 分钟,然后抓取30S的前后数据,看看中断增加了多少次,FIO可以用随机读,因为随机读的IOPS最高,中断次数也最高,效果明显
fio --name=job111 --filename=/dev/nvme9n1 --ioengine=libaio --direct=1--thread=1--numjobs=8--iodepth=64--rw=randread --bs=4k --runtime=600--time_based=1--size=100% --norandommap=1--randrepeat=0--group_reporting3 抓取一下中断
下面这个命令会把所有队列的中断次数打印出来
cat/proc/interrupts|grepnvme9|awk'{sum=0; for(i=2;i<=NF-3;i++) sum+=$i; print sum}'>irq_before.txtsleep30cat/proc/interrupts|grepnvme9|awk'{sum=0; for(i=2;i<=NF-3;i++) sum+=$i; print sum}'>irq_after.txt4 如下图所示 最终计算在30s 内 所有的队列增加的中断次数是33706609
5 重复上边的步骤 可以验证下不同IO场景下,设置不同的聚合数,中断增加的次数
我这里设置0x000109和0x001090来做验证
[debian~]#nvme set-feature /dev/nvme9 -f 0x8 -v 0x000109set-feature:08(Interrupt Coalescing), value:0x000109[debian~]#nvme get-feature /dev/nvme9 -f 0x8 -Hget-feature:0x8(Interrupt Coalescing), Current value:0x000109[debian~]#nvme set-feature /dev/nvme9 -f 0x8 -v 0x001090set-feature:08(Interrupt Coalescing), value:0x001090[debian~]#nvme get-feature /dev/nvme9 -f 0x8 -Hget-feature:0x8(Interrupt Coalescing), Current value:0x001090 Aggregation Time(TIME):1600usec Aggregation Threshold(THR):1456 统计最终的结果如下:
不过有一点就是 你如果想知道哪种聚合数能让nvme 在满配的情况下跑出最大的型能,真的需要我们自己取调试了,设置0x001090 的时候,我看到盘的性能有显著下降