Skip to content

prometheus 所在机器的磁盘容易满 #133

@cosven

Description

@cosven

经过过去的测试,当不挂载磁盘的时候,容器的可用磁盘空间大概为 10G。

一个 1pd1db5kv 的 TiDB 集群,运行 3 天左右,prometheus 上就会产生大于 10G 的数据(未压缩),将磁盘写满,导致监控最终不可用。

目前的处理办法:查看 prometheus 的空间回收机制,可以发现,目前 tiup 部署的 prometheus 的默认配置是保留 30 天的监控数据。于是进行如下修改,将保留的数据大小设为 <10GB,可以缓解问题。
image

希望 naglfar 提供一个相关的最佳实践或者修复办法。

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Type

    No type

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions