记录一次Redis因为磁盘满了不能正常使用事件
线上的环境,客户突然反馈不能使用,经过测试,发现了下文中的报错信息。从报错信息中,大概可以看出,Redis快照保存失败,导致无法正常使用。
以下是报错返回的报错信息
MISCONF Redis is configured to save RDB snapshots, but it is currently not able to persist on disk. Commands that may modify the data set are disabled, because this instance is configured to report errors during writes if RDB snapshotting fails (stop-writes-on-bgsave-error option). Please check the Redis logs for details about the RDB error.
想到有两个可能,权限问题,或磁盘满了。但服务器一直都在正常运行的,只是突然就这样,近期也没有对服务器进行变更。所以先看看磁盘吧。
查看服务器磁盘剩余空间,发现磁盘已满!
# df -hl
Filesystem Size Used Avail Use% Mounted on
devtmpfs 900M 0 900M 0% /dev
tmpfs 915M 0 915M 0% /dev/shm
tmpfs 915M 8.5M 907M 1% /run
tmpfs 915M 0 915M 0% /sys/fs/cgroup
/dev/vda1 40G 40G 20K 100% /
tmpfs 183M 0 183M 0% /run/user/0
删除部分无用文件,清理出31G空间,短时间内应该是不会再爆满了。
再测试业务功能,已恢复正常,也不用重启redis~