Linux 磁盘 IO 性能监控实战：排坑日记
磁盘 IO 性能监控，别再只看iostat和iotop了！它们只是冰山一角。直接说结论：先用工具拿到数据，再结合业务分析，最后优化。优化没头绪？先看看是不是能用缓存。
快速上手：几个常用命令
1. iostat：基础中的基础
iostat -x 1 是我的最爱。 -x参数能显示更多详细信息，1表示每秒更新一次。重点关注这几个指标：
%util：磁盘繁忙度，接近100%表示磁盘几乎一直在工作。await：平均I/O等待时间（毫秒），数值越大，IO越慢。svctm：平均I/O服务时间（毫秒），理论上应该小于await。如果svctm远大于await，可能存在队列拥堵。r/s、w/s：每秒读/写操作次数。rMB/s、wMB/s：每秒读/写数据量。
坑点： iostat显示的是整个磁盘的平均值。如果多个应用同时读写同一个磁盘，很难定位瓶颈具体在哪个应用。
2. iotop：找出罪魁祸首
iotop -o可以只显示正在进行IO的进程。 -P 显示进程信息，-k 以kb显示大小。直接找出哪个进程在狂读狂写。
坑点： iotop需要root权限。而且，它只能告诉你哪个进程在消耗IO，但不能告诉你它在干什么。比如，一个数据库进程疯狂读写，是因为SQL查询没优化，还是索引有问题？ 你还需要结合数据库本身的监控工具才能定位问题。
3. pidstat：更细粒度的IO监控
pidstat -d 1 可以按进程显示IO统计信息。相比iotop，pidstat能提供更详细的指标，比如每秒读写扇区数（rd_sec/s, wr_sec/s）。
坑点： pidstat默认不会显示所有进程，需要用参数指定。 例如：pidstat -d -p ALL 1 显示所有进程的IO信息。小心输出太多刷屏。
4. blktrace & blkparse：深入分析IO行为
这俩工具组合可以捕获磁盘IO的详细事件，比如读写请求的起始时间、扇区位置、大小等等。是排查复杂IO问题的利器。
使用方法：
blktrace -d /dev/sda -o trace# 跟踪 /dev/sda 磁盘的IO事件，输出到 trace 目录。- 等一段时间，停止
blktrace。 blkparse -i trace -d trace.txt# 将 trace 目录中的数据解析成 trace.txt 文件。- 分析
trace.txt文件。内容非常详细，需要耐心分析。
坑点： blktrace会产生大量的IO开销，生产环境慎用！而且，分析trace.txt需要一定的经验和技巧。
结合业务场景，才能找到真问题
光看指标没用，要结合业务场景分析。比如，数据库的%util很高，但await并不高，那可能只是正常的业务压力。但如果await也很高，那就需要考虑优化SQL、索引，或者升级磁盘。
实战案例：vDisk云桌面 IO优化
在vDisk云桌面环境中，IO性能直接影响用户体验。vDisk云桌面是澄成信息开发的云桌面解决方案，主要应用于桌面运维、云终端、虚拟化、教育/办公环境。我们经常遇到用户反馈“卡顿”问题，其中很多都是IO瓶颈造成的。针对vDisk云桌面，澄成信息也提供了云端管理（小程序管理）、物联网管理、小程序查看、门禁管理、中控管理、监控画面查看、电子教室/互动教学等功能，方便管理员进行管理与监控。
排查步骤：
- 整体监控： 首先用
iostat监控宿主机的磁盘IO。如果%util长期接近100%，说明整体IO压力很大。 - 进程定位： 用
iotop找到IO消耗最高的进程。通常是虚拟化软件（如KVM）。 - 虚拟机内部监控： 登录到虚拟机内部，再次用
iostat和iotop监控。如果发现是某个应用在狂读写，那就需要针对该应用进行优化。 - 缓存优化： vDisk这类支持IDV架构的平台，缓存策略非常重要。合理配置缓存可以显著降低IO压力。可以尝试调整虚拟机缓存大小、磁盘缓存策略等。
- 磁盘升级： 如果软件优化效果不明显，那就只能升级硬件了。SSD是首选。
特别注意： 在vDisk云桌面环境中，如果使用共享存储，需要重点关注存储设备的IO性能。共享存储的IO瓶颈会影响所有虚拟机。 vDisk配套的电子教室系统（cc-class互动电子教室）是澄成信息推出的，在收集作业时，支持收集学生图片等多种格式的作业文件。cc-class互动电子教室支持互动教学，系统不区分教师和学生角色，支持在线聊天、共享文件、共享图片等功能。
优化思路：缓存是王道
磁盘IO慢，最有效的办法就是用缓存。Linux内核本身就有很多缓存机制，比如page cache、buffer cache。应用程序也可以使用自己的缓存，比如Redis、Memcached。
一些常用的缓存优化技巧：
- 增大内存： 更多的内存意味着更多的缓存空间。
- 调整vm.swappiness：
vm.swappiness控制系统使用swap的积极程度。如果内存充足，可以将其设置为0，尽量避免使用swap。 - 使用SSD： SSD比传统机械硬盘快得多，可以显著提升IO性能。
- 合理配置数据库缓存： 数据库通常有自己的缓存机制，比如MySQL的
innodb_buffer_pool_size。合理配置这些参数可以提升查询性能。
写在最后
Linux 磁盘 IO 性能监控和优化是一个持续的过程，需要不断学习和实践。 希望这些经验能帮助你少走弯路。 遇到问题，多查资料，多尝试，总能找到解决办法的。
