最近因特殊场景,需要往磁盘上写入大量小文件,然而在操作过程中磁盘空间未满但是却提示无法写入……
错误分析
在本次操作过程,需要往磁盘上写入大概 150w 个小文件,文件大小约为 1~100KB,大概预估了一下需要 50G 的磁盘空间。当操作到一半时,磁盘报错:无法写入!
- 通过 df -h 查看磁盘,发现还有剩余空间;
- 通过 du -i 查看磁盘,发现 inode 已经使用了 100%;
继续观察磁盘文件系统:
dumpe2fs -h /dev/vdc1
这里列出了几个比较关键的数据:
Inode count: 3932160 Block count: 15728384 Block size: 4096 Inode size: 256 Inodes per group: 8192 Inode blocks per group: 512
其中,
- 每个 inode 大小为 256byte,block 大小为 4k byte;
- 根据 block count 和 inode count,我们也可以算出 16k bytes-per-inode(15728384*4096/3932160);
也就是文件系统在创建的时候每16k空间自动划分一个inode,而我们需要写入大量小文件,虽然磁盘空间(block)还有剩余,但是 inode 已经分配完了。
磁盘规划
因此针对上面的情况,我们需要划分更多的 inode 用于记录文件。通过查看文档:
man mkfs.ext4
一般情况下, block-size 和 inode-size 我们都不需要去更改;而 number-of-inodes 则应该由 bytes-per-inode 自动计算而出,也不应该手动指定。
因此,我们重新格式化磁盘:
mkfs.ext4 -i 8192 /dev/vdc1
查看磁盘文件系统:
dumpe2fs -h /dev/vdc1 Inode count: 7864320 Block count: 15728384 Block size: 4096 Inode size: 256 Inodes per group: 16384 Inode blocks per group: 1024
可以看到,inode整体数量以及在每个group的数量都翻了一倍。虽然重新划分更多 inode 占用了磁盘空间,不过这才更符合我们的实际使用需求。
此外,bytes-per-inode 在文件系统创建之后则无法修改,因此我们需要在使用前格式化的时候就明确下来,避免导致后期数据迁移等麻烦。