K8S中文社区

是时候使用Helm了：Helm, Kubernetes的包管理工具

目前我们的一个产品共有4套环境:dev环境、test环境、staging环境、production环境。 其中dev, test, staging环境在一个Kubernetes集群上以不同namespace部署，production环境部署在另一个Kubernetes集群上。这个产品总共有14个微服务组成，对应gitlab中14个代码库，Kubernetes的deployment yaml文件也保存在代码库，为每个服务的每套环境以环境名创建了一个目录，里面是yaml文件，yaml文件的内容使用sed实现了简单的模板功能。14个服务*4套环境总共56个yaml文件，比较原始。

最近需要新起另外的一套测试环境这里称它为test2吧，需要在第一个Kubernetes集群上创建新的namespace，要维护的yaml文件马上也要增加到70个，有点噩梦的感觉了。 因此我们需要一个模板工具来管理这些yaml文件。早就知道helm这个东西，但为了保持简单，一直遵循着最少引入新东西的原则，那么现在是时候使用Helm了吧?

1.Helm的基本概念

Helm是Kubernetes的一个包管理工具，用来简化Kubernetes应用的部署和管理。可以把Helm比作CentOS的yum工具。 Helm有如下几个基本概念：

• Chart: 是Helm管理的安装包，里面包含需要部署的安装包资源。可以把Chart比作CentOS yum使用的rpm文件。每个Chart包含下面两部分：
• 包的基本描述文件Chart.yaml
• 放在templates目录中的一个或多个Kubernetes manifest文件模板
• Release：是chart的部署实例，一个chart在一个Kubernetes集群上可以有多个release，即这个chart可以被安装多次
• Repository：chart的仓库，用于发布和存储chart
  

使用Helm可以完成以下事情：

• 管理Kubernetes manifest files
• 管理Helm安装包charts
• 基于chart的Kubernetes应用分发
  

更多链接

Prometheus监控实践：Kubernetes集群监控

本文将总结一下我们目前使用Prometheus对Kubernetes集群监控的实践。 我们选择Prometheus作为监控系统主要在以下各层面实现监控：

• 基础设施层：监控各个主机服务器资源(包括Kubernetes的Node和非Kubernetes的Node)，如CPU,内存,网络吞吐和带宽占用,磁盘I/O和磁盘使用等指标。
• 中间件层：监控独立部署于Kubernetes集群之外的中间件，例如：MySQL、Redis、RabbitMQ、ElasticSearch、Nginx等。
• Kubernetes集群：监控Kubernetes集群本身的关键指标
• Kubernetes集群上部署的应用：监控部署在Kubernetes集群上的应用
  

1.基础设施层和中间件层的监控

其中基础设施层监控指标的拉取肯定是来在Prometheus的node_exporter，因为我们要监控的服务器节点既包含Kubernetes节点又包含其他部署独立中间件的节点， 所以我们并没有将node_exporter以daemonset的形式部署到k8s上，而是使用ansible将node_exporter以二进制的形式部署到所有要监控的服务器上。 而负责从node_exporter拉取指标的Prometheus也是用ansible独立部署在Kubernetes集群外部的。Prometheus的配置文件prometheus.yml使用ansible的j2模板生成。

中间层的监控和基础设施层监控类似，使用ansible在各个中间件所在的主机上部署各个中间件的exporter，仍然使用上面在Kubernetes集群外部的这个Prometheus从这些exporter拉取指标，Prometheus的配置文件prometheus.yml使用ansible的j2模板生成。

2.Kubernetes集群的监控

要实现对Kubernetes集群的监控，因为Kubernetes的rbac机制以及证书认证，当然是把Prometheus部署在Kubernetes集群上最方便。可是我们目前的监控系统是以k8s集群外部的Prometheus为主的，grafana和告警都是使用这个外部的Prometheus，如果还需要在Kubernetes集群内部部署一个Prometheus的话一定要把它桶外部的Prometheus联合起来，好在Prometheus支持Federation。

2.1 Prometheus的Federation简介

Federation允许一个Prometheus从另一个Prometheus中拉取某些指定的时序数据。Federation是Prometheus提供的扩展机制，允许Prometheus从一个节点扩展到多个节点，实际使用中一般会扩展成树状的层级结构。下面是Prometheus官方文档中对federation的配置示例：

更多参考https://www.kubernetes.org.cn/3418.html

学习下