在上一篇文章中，我们分析了为什么需要对k8s出向流量进行安全管控。并分析了6大类解决方案的特点。可以清晰的看出，将外部安全设施与k8s融合是有效实现出向流量精细化管控的方案。无论是安全管控的技术实现，还是让多团队协作来落地纵深防御的思想，方案都具备了良好的支持和覆盖。 在本篇文章中，我们将具体阐述F5 Container Egress Traffic（CES）方案的一些细节与使用场景。 CES可以理解为一种解决方案，它包含一个运行在k8s内的控制器，以及运行于k8s外部的F5 AFM（虚拟或硬件F5）: CES控制…
为何要进行Egress流量策略管控 2021年CNCF调查显示，全球将kubernetes用在生产环境的用户占比已达59.77%，欧洲用户更是达到了68.98%。用户正越来越多的将生产业务迁移到kubernetes环境下。Gartner 2021 Hype Cycle for Cloud Security也显示了容器与Kubernetes安全已处在”slope of Enlightenment ”阶段。这说明保护kubernetes里的应用服务正变的越来越重要。 当我们去审视运行在kubernetes中的大量微服务…
[crayon-62fe900f2ae18669989298/] CES是一种解决方案。用于帮助用户更好的管理k8s内容器出向策略。它以k8s原生方式解决了高动态IP场景下出向流量策略控制的挑战，提供丰富的出向控制策略。并通过层次化的设计解决了企业安全、网络、平台、应用运维部门之间多角色配合问题。 方案架构 组件构成 CES方案包含以下组件： CES控制：运行于k8s内的容器。该组件为控制面组件，负责将k8s内部署的出向策略转化为外部数据面组件上的配置。 F5 BIG-IP AFM: 运行于k8s外部的数据面组件。…
二进制flannle部署，非cni网络模式下与k8s CIS结合方案 环境描述 flannel以etcd为存储，直接使用二进制文件部署，不走cni模式的k8s集群 k8s 集群版本v1.18 CIS版本 v1.14 或 v2.1.1 结合方案 由于flannel直接以二进制安装，且以etcd为存储，因此flanneld不会给node patch 相关的flannel注解，而CIS需要读取这些annotations来了解节点的public ip， vtepmac信息来构建vxlan，因此需要手工为这些node节点增加…
用于自动化的为一个容器申请jwt token，并关联到此容器上，可以代表该容器身份。kubelet负责申请，挂载，以及更新该token。 要实现该功能需要： k8s 版本v1.12以上 kube-apiserver 中启用如下flag，具体key文件位置，以及audiences要根据实际情况配置 [crayon-62fe900f2b8ca684919593/] pod里的容器spec定义需要包含如下volumemount以及volumes定义，注意volumes定义使用的是serviceAccount…
安装NGINX官方helm repo 安装过程演示
超时控制 对应的envoy配置 延迟控制设置策略 对应的envoy配置
在Istio体系下，为了保证策略协调与体验的统一性，用户会考虑使用Istio自身的Ingressgateway作为南北流量的入口， ingressgateway一般是通过deployment方式部署多个pods，分散在集群的多个node上，取决于具体的暴露type，特别是在on-prem部署下，仍然需要在k8s集群外部部署相关负载均衡器来对这些ingressgateway进行负载均衡，一方面可以避免多个入口带来的访问困难与运维难度，另一方面通过高性能高可靠的F5 BIGIP可为k8s集群入口流量提供更多功能控制和安…
配置简单的bookinfo productpage gateway和virtualservices之后的配置输出 (包含了所有其它namespace里的svc)
GET nginx-repo.crt and nginx-repo.key， put them into the root of kubernetets-ingress/ Docker login your docker hub with： docker login . or using private repo. follow https://github.com/nginxinc/kubernetes-ingress/blob/master/build/README.md, and build the dock…
需求： K8S中的服务不可用的时候（假定k8s的某个服务出现完全不可用，理论上k8s本身会避免这个问题的出现，这里姑且认为客户需求是合理的），需要为通过CIS已经发布的VS 提供备份访问，及该vs将自动把业务导向其它静态vm提供的服务。 Solution： 需借助BIGIP AS3来实现该需求。即CIS通过部署AS3的方式来部署服务，通过在AS3里直接配置静态的低优先级组member来实现备份，一个例子如下： 上述配置中的pool members部分是重点，静态添加低优先级组member，高优先级组由CIS自动化发…
由于之前全手工安装的是1.10.6版本. 最近需要测试nginx的CRD，但是此CRD至少要v1.11以上版本。本着测试环境多一事不如少一事的原则。。。决定用kubeadm来个快速全新安装一套。 环境准备 1master，2nodes 172.16.10.210 k8s-master-v1-16.lab.f5se.io172.16.10.211 k8s-node1-v1-16.lab.f5se.io172.16.10.212 k8s-node2-v1-16.lab.f5se.io 所有节点准备工作 替换yum re…
在ingress resources里使用annotations 在IC所引用的Configmap里定义 自定义ingress resources的annotations（需自定义template） 通过configmap自定义template CRD （Virtual Server, Virtual Server Route） 在ingress resource里使用annotation的好处是可以借助mergeable ingress 来对不同的location path配置不同的nginx配置 Nginx I…
Calico是k8s诸多网络解决方案中比较优秀的一种，使用起来比较容易，且性能也很优秀，支持IPIP的隧道模式，也支持基于路由的全三层方案，特别是三层方案由于不需要额外的隧道开销，使其性能优秀，路由方案只支持BGP路由，这可能多少限制了一些其使用场景，特别是如果企业现有路由方案不是BGP的话，涉及到比较复杂的路由设计与分发考虑，但是由于k8s平台大部分情况下会是独立建设，因此对于数据中心运维人员来说，单纯的路由问题将会是比较熟悉的领域，因此建设难度并不会过于复杂。 F5是应用交付领域的领导者，凭借其优秀的3-7层控…
环境：主机1： master+node1主机2： node2主机在同一个二层网络里互通原来环境使用canal，flannel部分采用vxlan 首先通过kubectl delete -f canal.yaml删除原来的相关容器 删除后，系统遗留flannel.1网卡接口以及相关静态fdb表需要手工删除，如果不删除系统将继续使用以前的flannel以及相关路由，calico不能正确的创建相关路由条目 参考 https://docs.projectcalico.org/v3.4/getting-started/kube…
环境 : flannel vxlan，K8S 1.10， BIGIP V13 前提：将bigip作为node节点加入k8s中。 BIGIP上提前配置好vxlan tunnel和tunnel self ip （这两个资源都在/Common下） 步骤1： 在NS1下创建第一个cc，只监听这个ns内资源: 创建完毕后，F5将在/Common下创建相关FDB条目 步骤2： 在相关ns下发布对应的configmap F5资源 步骤3：在另一个ns里部署一个新的cc 在新的ns里发布相关configmap F5资源即可 最后F…
环境背景： flannel vxlan CNI 网络模型， F5 CC容器对接方案。 目标： 实现在F5上利用route domain对不同NS的流量隔离，类似如下： -- | -- | -- | -- | -- | -- Ns1 | Cc1 | Svc1 | cm1 | Partition 1 | Route domain1 -- | -- | -- | -- | -- | -- Ns2 | Cc2 | Svc2 | cm2 | Partition2 | Route domain2 过程分析： 要想实现不同cc监…
最近评论
厚嘴唇 发布于 6 个月前（02月08日）
厚嘴唇 发布于 6 个月前（02月08日）
平谷无颜祖 发布于 8 个月前（12月15日）
minw9545 发布于 9 个月前（11月18日）
minw9545 发布于 9 个月前（11月18日）
