在kubernetes中下线或更新一个应用pod是一个需要仔细处理的事情，否则会容易导致应用的服务水平（SLA）下降。这是因为相对于传统的虚机或静态服务器部署的应用，k8s中应用pod极易发生删除、重建、重新部署等活动。在传统环境下短暂连接或请求的中断是可以被接受的，因为此类变化往往发生在特定的有限变更窗口，不会明显损害服务水平。然而，在k8s动态环境下，这类变化可能会发生在任何时刻，频率也会更高，这会放大短暂中断带来的影响，不断累加的结果就是服务水平的明显下降。 因此在k8s中，需要仔细分析和处理pod下线的行为…

Description Gateway API is an open source project managed by the SIG-NETWORK community. It is a collection of resources that model service networking in Kubernetes. These resources - GatewayClass,Gateway, HTTPRoute, TCPRoute, Service, etc - aim to evolve Kuber…

https://cis-c.f5se.io/ F5 CIS-C（Container Ingress Service for China Market, 镜像名称：k8s-bigip-ctlr-c）是一款将Kubernetes集群内服务通过F5 BIG-IP进行自动化发布的控制器软件。帮助用户打通Kubernetes集群与外部入口，将BIG-IP应用交付能力集成到kubernetes技术栈的云环境中。它实现了多团队合作，客户可以灵活的、自动化的创建、变更应用或者服务入口策略，可有效促进企业云原生架构转型。

在上一篇文章中，我们分析了为什么需要对k8s出向流量进行安全管控。并分析了6大类解决方案的特点。可以清晰的看出，将外部安全设施与k8s融合是有效实现出向流量精细化管控的方案。无论是安全管控的技术实现，还是让多团队协作来落地纵深防御的思想，方案都具备了良好的支持和覆盖。 在本篇文章中，我们将具体阐述F5 Container Egress Traffic（CES）方案的一些细节与使用场景。 CES可以理解为一种解决方案，它包含一个运行在k8s内的控制器，以及运行于k8s外部的F5 AFM（虚拟或硬件F5）: CES控制…

为何要进行Egress流量策略管控 2021年CNCF调查显示，全球将kubernetes用在生产环境的用户占比已达59.77%，欧洲用户更是达到了68.98%。用户正越来越多的将生产业务迁移到kubernetes环境下。Gartner 2021 Hype Cycle for Cloud Security也显示了容器与Kubernetes安全已处在”slope of Enlightenment ”阶段。这说明保护kubernetes里的应用服务正变的越来越重要。 当我们去审视运行在kubernetes中的大量微服务…

[crayon-673ed5cbc86b2078744323/] CES是一种解决方案。用于帮助用户更好的管理k8s内容器出向策略。它以k8s原生方式解决了高动态IP场景下出向流量策略控制的挑战，提供丰富的出向控制策略。并通过层次化的设计解决了企业安全、网络、平台、应用运维部门之间多角色配合问题。 方案架构 组件构成 CES方案包含以下组件： CES控制：运行于k8s内的容器。该组件为控制面组件，负责将k8s内部署的出向策略转化为外部数据面组件上的配置。 F5 BIG-IP AFM: 运行于k8s外部的数据面组件。…

二进制flannle部署，非cni网络模式下与k8s CIS结合方案 环境描述 flannel以etcd为存储，直接使用二进制文件部署，不走cni模式的k8s集群 k8s 集群版本v1.18 CIS版本 v1.14 或 v2.1.1 结合方案 由于flannel直接以二进制安装，且以etcd为存储，因此flanneld不会给node patch 相关的flannel注解，而CIS需要读取这些annotations来了解节点的public ip， vtepmac信息来构建vxlan，因此需要手工为这些node节点增加…

用于自动化的为一个容器申请jwt token，并关联到此容器上，可以代表该容器身份。kubelet负责申请，挂载，以及更新该token。   要实现该功能需要： k8s 版本v1.12以上 kube-apiserver 中启用如下flag，具体key文件位置，以及audiences要根据实际情况配置 [crayon-673ed5cbc99b0821931078/] pod里的容器spec定义需要包含如下volumemount以及volumes定义，注意volumes定义使用的是serviceAccount…

安装NGINX官方helm repo 安装过程演示

超时控制 对应的envoy配置 延迟控制设置策略 对应的envoy配置

在Istio体系下，为了保证策略协调与体验的统一性，用户会考虑使用Istio自身的Ingressgateway作为南北流量的入口， ingressgateway一般是通过deployment方式部署多个pods，分散在集群的多个node上，取决于具体的暴露type，特别是在on-prem部署下，仍然需要在k8s集群外部部署相关负载均衡器来对这些ingressgateway进行负载均衡，一方面可以避免多个入口带来的访问困难与运维难度，另一方面通过高性能高可靠的F5 BIGIP可为k8s集群入口流量提供更多功能控制和安…

配置简单的bookinfo productpage gateway和virtualservices之后的配置输出 (包含了所有其它namespace里的svc)

GET nginx-repo.crt and nginx-repo.key， put them into the root of kubernetets-ingress/ Docker login your docker hub with： docker login . or using private repo. follow https://github.com/nginxinc/kubernetes-ingress/blob/master/build/README.md, and build the dock…

需求： K8S中的服务不可用的时候（假定k8s的某个服务出现完全不可用，理论上k8s本身会避免这个问题的出现，这里姑且认为客户需求是合理的），需要为通过CIS已经发布的VS 提供备份访问，及该vs将自动把业务导向其它静态vm提供的服务。 Solution： 需借助BIGIP AS3来实现该需求。即CIS通过部署AS3的方式来部署服务，通过在AS3里直接配置静态的低优先级组member来实现备份，一个例子如下： 上述配置中的pool members部分是重点，静态添加低优先级组member，高优先级组由CIS自动化发…

由于之前全手工安装的是1.10.6版本. 最近需要测试nginx的CRD，但是此CRD至少要v1.11以上版本。本着测试环境多一事不如少一事的原则。。。决定用kubeadm来个快速全新安装一套。 环境准备 1master，2nodes 172.16.10.210 k8s-master-v1-16.lab.f5se.io172.16.10.211 k8s-node1-v1-16.lab.f5se.io172.16.10.212 k8s-node2-v1-16.lab.f5se.io 所有节点准备工作 替换yum re…

在ingress resources里使用annotations 在IC所引用的Configmap里定义 自定义ingress resources的annotations（需自定义template） 通过configmap自定义template CRD （Virtual Server, Virtual Server Route） 在ingress resource里使用annotation的好处是可以借助mergeable ingress 来对不同的location path配置不同的nginx配置 Nginx I…

Calico是k8s诸多网络解决方案中比较优秀的一种，使用起来比较容易，且性能也很优秀，支持IPIP的隧道模式，也支持基于路由的全三层方案，特别是三层方案由于不需要额外的隧道开销，使其性能优秀，路由方案只支持BGP路由，这可能多少限制了一些其使用场景，特别是如果企业现有路由方案不是BGP的话，涉及到比较复杂的路由设计与分发考虑，但是由于k8s平台大部分情况下会是独立建设，因此对于数据中心运维人员来说，单纯的路由问题将会是比较熟悉的领域，因此建设难度并不会过于复杂。 F5是应用交付领域的领导者，凭借其优秀的3-7层控…