Open the Required Port and IP Address in the Firewall

Open the required port and IP address in the firewall

在防火墙中打开必需的端口和 IP 地址

查看以下情况，在这些情况下，您可能需要在防火墙中为 IBM® Cloud Kubernetes Service 打开特定端口和 IP 地址。

• 在企业网络策略阻止通过代理或防火墙访问公用因特网端点时从本地系统运行 ibmcloud 和 ibmcloud ks 命令。
• 在企业网络策略阻止通过代理或防火墙访问公用因特网端点时从本地系统运行 kubectl 命令。
• 在企业网络策略阻止通过代理或防火墙访问公用因特网端点时从本地系统运行 calicoctl 命令。
• 为工作程序节点设置防火墙或在 IBM Cloud infrastructure (SoftLayer) 帐户中定制防火墙设置时，允许 Kubernetes 主节点与工作程序节点之间进行通信。
• 允许集群通过专用网络上的防火墙访问资源。
• 允许集群在 Calico 网络策略阻止工作程序节点流出流量时访问资源。
• 从集群外部访问 NodePort 服务、LoadBalancer 服务或 Ingress。
• 允许集群访问在 IBM Cloud 内部或外部或者内部部署中运行且受防火墙保护的服务。

从防火墙后运行 ibmcloud 和 ibmcloud ks 命令

如果企业网络策略阻止通过代理或防火墙从本地系统访问公共端点，那么要运行 ibmcloud 和 ibmcloud ks 命令，必须允许对 IBM Cloud 和 IBM Cloud Kubernetes Service 的 TCP 访问。

1. 允许在防火墙中的端口 443 上访问 cloud.ibm.com。
2. 通过此 API 端点登录到 IBM Cloud 来验证连接。
3. ibmcloud login -a
4. 允许在防火墙中的端口 443 上访问 containers.cloud.ibm.com。
5. 验证连接。如果正确配置了访问权，那么会在输出中显示船。
6. curl

输出示例：

)___(

______/__/_

___ /======| ___

______[\\\]___/______|__[///] __

\ \_____[\\]__/______\__[//]___

\ |

\ /

~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~

从防火墙后运行 kubectl 命令

如果企业网络策略阻止通过代理或防火墙从本地系统访问公共端点，那么要运行 kubectl 命令，必须允许集群的 TCP 访问。

创建集群时，服务端点 URL 中的端口是从 20000-32767 中随机分配的。您可以选择为可能创建的任何集群打开端口范围 20000-32767，也可以选择允许对特定现有集群进行访问。

开始之前，允许访问以运行 ibmcloud ks 命令。

要允许访问特定集群：

1. 登录到 IBM Cloud CLI。根据提示，输入您的 IBM Cloud 凭证。如果您有联合帐户，请包括 --sso 选项。
2. ibmcloud login [--sso]
3. 如果集群位于非 default 资源组中，请将该资源组设定为目标。要查看每个集群所属的资源组，请运行 ibmcloud ks clusters。注：对于该资源组，您必须至少具有查看者角色。
4. ibmcloud target -g <resource_group_name>
5. 获取集群的名称。
6. ibmcloud ks clusters
7. 检索集群的服务端点 URL。
8. 如果仅填充了公共服务端点 URL，请获取此 URL。授权集群用户可以通过公用网络上的此端点来访问 Kubernetes 主节点。
9. 如果仅填充了专用服务端点 URL，请获取此 URL。授权集群用户可以通过专用网络上的此端点来访问 Kubernetes 主节点。
10. 如果同时填充了公共服务端点 URL 和专用服务端点 URL，请获取这两个 URL。授权集群用户可以通过公用网络上的公共端点或专用网络上的专用端点来访问 Kubernetes 主节点。
11. ibmcloud ks cluster-get --cluster <cluster_name_or_ID>

输出示例：

...

Public Service Endpoint URL:

Private Service Endpoint URL:

...

1. 允许访问在上一步中获得的服务端点 URL 和端口。如果防火墙是基于 IP 的，那么可以通过查看此表来了解允许访问服务端点 URL 时打开的 IP 地址。
2. 验证连接。
3. 如果启用了公共服务端点：
4. curl --insecure <public_service_endpoint_URL>/version

示例命令：

curl --insecure

输出示例：

{

"major": "1",

"minor": "7+",

"gitVersion": "v1.7.4-2+eb9172c211dc41",

"gitCommit": "eb9172c211dc4108341c0fd5340ee5200f0ec534",

"gitTreeState": "clean",

"buildDate": "2017-11-16T08:13:08Z",

"goVersion": "go1.8.3",

"compiler": "gc",

"platform": "linux/amd64"

}

• 如果启用了专用服务端点，您必须位于 IBM Cloud 专用网络中或通过 VPN 连接与专用网络连接，以验证与主节点的连接。请注意，您必须通过专用负载均衡器公开主节点端点，以便用户可以通过 VPN 或 IBM Cloud™ Direct Link 连接访问主节点。
• curl --insecure <private_service_endpoint_URL>/version

示例命令：

curl --insecure

输出示例：

{

"major": "1",

"minor": "7+",

"gitVersion": "v1.7.4-2+eb9172c211dc41",

"gitCommit": "eb9172c211dc4108341c0fd5340ee5200f0ec534",

"gitTreeState": "clean",

"buildDate": "2017-11-16T08:13:08Z",

"goVersion": "go1.8.3",

"compiler": "gc",

"platform": "linux/amd64"

}

1. 可选：对您需要显示的每个集群重复上述步骤。

从防火墙后运行 calicoctl 命令

如果企业网络策略阻止通过代理或防火墙从本地系统访问公共端点，那么要运行 calicoctl 命令，必须允许 Calico 命令的 TCP 访问。

开始之前，允许访问以运行 ibmcloud 命令和 kubectl 命令。

1. 从用于允许 kubectl 命令的主 URL 中检索 IP 地址。
2. 获取 etcd 的端口。
3. kubectl get cm -n kube-system cluster-info -o yaml | grep etcd_host
4. 允许通过主 URL IP 地址和 etcd 端口访问 Calico 策略。

允许集群通过公共防火墙访问基础架构资源和其他服务

支持集群从公共防火墙后访问基础架构资源和服务，例如针对 IBM Cloud Kubernetes Service 区域、IBM Cloud Container Registry、IBM Cloud Identity and Access Management (IAM)、IBM Cloud Monitoring、IBM Cloud Log Analysis、IBM Cloud Infrastructure (SoftLayer) 专用 IP 以及用于持久卷声明的 Egress。

根据集群设置，可以使用公共和/或专用 IP 地址来访问服务。如果集群在位于公用和专用网络的防火墙后的公用和专用 VLAN 上都有工作程序节点，那么必须同时打开公共和专用 IP 地址的连接。如果集群仅在防火墙后的专用 VLAN 上有工作程序节点，那么可以仅打开与专用 IP 地址的连接。

1. 记下用于集群中所有工作程序节点的公共 IP 地址。
2. ibmcloud ks workers --cluster <cluster_name_or_ID>
3. 允许从源 <each_worker_node_publicIP> 到目标 TCP/UDP 端口范围 20000-32767 和端口 443 以及以下 IP 地址和网络组的出站网络流量。这些 IP 地址允许工作程序节点与集群主节点进行通信。如果您拥有的企业防火墙阻止本地计算机访问公用因特网端点，请同时对本地计算机执行此步骤，以便可以访问集群主节点。

针对区域内的所有专区，必须允许出局流量流至端口 443，以便在引导过程中均衡负载。例如，如果集群位于美国南部，那么必须允许流量从每个工作程序节点的公共 IP 流至所有专区的 IP 地址的端口 443。

1. 要允许工作程序节点与 IBM Cloud Container Registry 进行通信，请允许出站网络流量从工作程序节点流至 IBM Cloud Container Registry 区域：
2. TCP port 443, port 4443 FROM <each_worker_node_publicIP> TO <registry_subnet>
3. 将 <registry_subnet> 替换为要允许流量流至的注册表子网。全局注册表存储 IBM 提供的公共映像，区域注册表存储您自己的专用或公共映像。对于公证功能，端口 4443 是必需的，例如验证映像签名。

1. 可选：允许出局网络流量从工作程序节点流至 IBM Cloud Monitoring、IBM Cloud Log Analysis、Sysdig 和 LogDNA 服务：
2. IBM Cloud Monitoring:

TCP port 443, port 9095 FROM <each_worker_node_public_IP> TO <monitoring_subnet>

将 <monitoring_subnet> 替换为要允许流量流至的监视区域的子网：

• IBM Cloud Monitoring with Sysdig:

TCP port 443, port 6443 FROM <each_worker_node_public_IP> TO <sysdig_public_IP>

将 <sysdig_public_IP> 替换为 Sysdig IP 地址。

• IBM Cloud Log Analysis:

TCP port 443, port 9091 FROM <each_worker_node_public_IP> TO <logging_public_IP>

将 <logging_public_IP> 替换为要允许流量流至的日志记录区域的所有地址：

• IBM Log Analysis with LogDNA:

TCP port 443, port 80 FROM <each_worker_node_public_IP> TO <logDNA_public_IP>

将 <logDNA_public_IP> 替换为 LogDNA IP 地址。

1. 如果使用负载均衡器服务，请确保在工作程序节点的公共和专用接口上允许所有使用 VRRP 协议的所有流量。IBM Cloud Kubernetes Service 使用 VRRP 协议来管理公共和专用负载均衡器的 IP 地址。
2. 要在专用集群中创建持久卷声明，请确保集群设置为使用以下 Kubernetes 版本或 IBM Cloud 存储插件版本。这些版本支持从集群到持久性存储器实例的专用网络通信。

• IBM Cloud Object Storage V1.0.3 或更高版本插件
• IBM Cloud Object Storage 服务设置为使用 HMAC 认证

如果必须使用不支持通过专用网络进行网络通信的 Kubernetes 版本或 IBM Cloud 存储插件版本，或者如果要使用不采用 HMAC 认证的 IBM Cloud Object Storage，请允许通过防火墙对 IBM Cloud Infrastructure (SoftLayer) 和 IBM Cloud Identity and Access Management 的流出访问：

• 允许 TCP 端口 443 上的所有流出网络流量。
• 允许访问前端（公用）网络和后端（专用）网络中集群所在的专区的 IBM Cloud Infrastructure (SoftLayer) IP 范围。要查找集群的专区，请运行 ibmcloud ks clusters。

允许集群通过专用防火墙访问资源

如果您在专用网络上有一个防火墙，那么允许工作程序节点之间的通信，并且使集群通过专用网络访问基础架构资源。

1. 允许工作程序节点之间的所有流量。
2. 允许公共接口和专用接口上的工作程序节点之间的所有 TCP、UDP、VRRP 和 IPEncap 流量。IBM Cloud Kubernetes Service 使用 VRRP 协议来管理专用负载均衡器的 IP 地址，而使用 IPEncap 协议来允许子网上 pod 之间的流量。
3. 如果使用 Calico 策略，或者如果在多专区集群的每个专区中有防火墙，那么防火墙可能会阻止工作程序节点之间的通信。必须使用工作程序端口、工作程序专用 IP 地址或 Calico 工作程序节点标签，使集群中的所有工作程序节点相互开放。

1. 允许 IBM Cloud Infrastructure (SoftLayer) 专用 IP 范围，从而可在集群中创建工作程序节点。
2. 允许相应的 IBM Cloud Infrastructure (SoftLayer) 专用 IP 范围。请参阅后端（专用）网络。
3. 针对使用的所有专区，允许 IBM Cloud Infrastructure (SoftLayer) 专用 IP 范围。请注意，必须针对 dal01、dal10 和 wdc04 专区添加 IP，如果集群位于欧洲地理位置，那么还必须针对 ams01 专区添加 IP。请参阅服务网络（在后端/专用网络上）。

1. 打开以下端口：
2. 允许从工作程序到端口 80 和 443 的出站 TCP 和 UDP 连接，从而允许工作程序节点更新和重新装入。
3. 允许到端口 2049 的出站 TCP 和 UDP，从而允许作为卷安装文件存储器。
4. 允许到端口 3260 的出站 TCP 和 UDP，以便与块存储器进行通信。
5. 针对 Kubernetes 仪表板和命令，允许到端口 10250 的入站 TCP 和 UDP 连接，例如，kubectl logs 和 kubectlexec。
6. 允许到 TCP 和 UDP 端口 53 的入站和出站连接以用于 DNS 访问。

1. 如果您在公用网络上也有防火墙，或者如果您有仅专用 VLAN 的集群并且使用网关设备作为防火墙，那么还必须允许在允许集群访问基础架构资源和其他服务中指定的 IP 和端口。

允许集群通过 Calico 流出策略访问资源

如果使用 Calico 网络策略充当防火墙来限制所有公共工作程序的流出流量，那么必须允许工作程序访问主 API 服务器和 etcd 的本地代理。

1. 登录到您的帐户。如果适用，请将相应的资源组设定为目标。为集群设置上下文。在 ibmcloud ks cluster-config 命令中包含 --admin 和 --network 选项。--admin 用于下载密钥，以用于访问基础架构产品服务组合以及在工作程序节点上运行 Calico 命令。--network 用于下载 Calico 配置文件以运行所有 Calico 命令。
2. ibmcloud ks cluster-config --cluster <cluster_name_or_ID> --admin --network
3. 创建 Calico 网络策略，以允许来自集群的公共流量流至 172.20.0.1:2040 和 172.21.0.1:443（对于 API 服务器本地代理）以及流至 172.20.0.1:2041（对于 etcd 本地代理）。
4. apiVersion: projectcalico.org/v3
5. kind: GlobalNetworkPolicy
6. metadata:
7. name: allow-master-local
8. spec:
9. egress:
10. - action: Allow
11. destination:
12. ports:
13. - 2040:2041
14. nets:
15. - 172.20.0.1/32
16. protocol: UDP
17. - action: Allow
18. destination:
19. ports:
20. - 2040:2041
21. nets:
22. - 172.20.0.1/32
23. protocol: TCP
24. - action: Allow
25. destination:
26. ports:
27. - 443
28. nets:
29. - 172.21.0.1/32
30. protocol: UDP
31. - action: Allow
32. destination:
33. ports:
34. - 443
35. nets:
36. - 172.21.0.1/32
37. protocol: TCP
38. order: 1500
39. selector: ibm.role == 'worker_public'
40. types:
41. - Egress
42. 将策略应用于集群。
43. Linux 和 OS X：
44. calicoctl apply -f allow-master-local.yaml
45. Windows：
46. calicoctl apply -f filepath/allow-master-local.yaml --config=filepath/calicoctl.cfg

从集群外部访问 NodePort、LoadBalancer 和 Ingress 服务

您可以允许入站访问 NodePort、LoadBalancer 和 Ingress 服务。

NodePort 服务

打开将服务部署到允许流量流到的所有工作程序节点的公共 IP 地址时所配置的端口。要查找该端口，请运行 kubectl get svc。端口在 20000-32000 范围内。

LoadBalancer 服务

打开将服务部署到 LoadBalancer 服务的公共 IP 地址时所配置的端口。

Ingress

针对 Ingress 应用程序负载均衡器的 IP 地址打开端口 80（对于 HTTP）或端口 443（对于 HTTPS）。

在其他服务的防火墙或在内部部署防火墙中将集群列入白名单

如果要访问在 IBM Cloud 内部或外部或者内部部署中运行且受防火墙保护的服务，可以在该防火墙中添加工作程序节点的 IP 地址，以允许出站网络流量流至集群。例如，您可能希望从受防火墙保护的 IBM Cloud 数据库中读取数据，或者希望在内部部署防火墙中将工作程序节点子网列入白名单，以允许来自集群的网络流量。

1. 登录到您的帐户。如果适用，请将相应的资源组设定为目标。为集群设置上下文。
2. 获取工作程序节点子网或工作程序节点 IP 地址。
3. 工作程序节点子网：如果您预期会频繁更改集群中的工作程序节点数，例如如果启用了集群自动缩放器，那么您可能并不希望为每个新的工作程序节点更新防火墙。您可以改为将集群使用的 VLAN 子网列入白名单。请记住，VLAN 子网可能由其他集群中的工作程序节点共享。
4. 列出集群中的工作程序节点。
5. ibmcloud ks workers --cluster <cluster_name_or_ID>
6. 从上一步的输出中，记下集群中工作程序节点的 Public IP 的所有唯一网络标识（前 3 个八位元）。如果要将仅专用集群列入白名单，请改为记下 Private IP。在以下输出中，唯一网络标识为 169.xx.178 和 169.xx.210。

1. ID Public IP Private IP Machine Type State Status Zone Version
2. kube-dal10-crb2f60e9735254ac8b20b9c1e38b649a5-w31 169.xx.178.101 10.xxx.xx.xxx b3c.4x16.encrypted normal Ready dal10 1.13.6
3. kube-dal10-crb2f60e9735254ac8b20b9c1e38b649a5-w34 169.xx.178.102 10.xxx.xx.xxx b3c.4x16.encrypted normal Ready dal10 1.13.6
4. kube-dal12-crb2f60e9735254ac8b20b9c1e38b649a5-w32 169.xx.210.101 10.xxx.xx.xxx b3c.4x16.encrypted normal Ready dal12 1.13.6
5. kube-dal12-crb2f60e9735254ac8b20b9c1e38b649a5-w33 169.xx.210.102 10.xxx.xx.xxx b3c.4x16.encrypted normal Ready dal12 1.13.6

1. 列出每个唯一网络标识的 VLAN 子网。
2. ibmcloud sl subnet list | grep -e <networkID1> -e <networkID2>

输出示例：

ID identifier type network_space datacenter vlan_id IPs hardware virtual_servers

1234567 169.xx.210.xxx ADDITIONAL_PRIMARY PUBLIC dal12 1122334 16 0 5

7654321 169.xx.178.xxx ADDITIONAL_PRIMARY PUBLIC dal10 4332211 16 0 6

1. 检索子网地址。在输出中，找到 IPs 的数量。然后，使 2 的 n 次幂等于 IP 数。例如，如果 IP 数为 16，那么 2的 4 (n) 次幂等于 16。现在，从 32 位中减去值 n 可得到子网 CIDR。例如，n 等于 4 时，CIDR 为 28（公式为 32 - 4 = 28）。将 identifier 掩码与 CIDR 值组合在一起，即可获得完整的子网地址。在先前的输出中，子网地址为：
2. 169.xx.210.xxx/28
3. 169.xx.178.xxx/28

• 单个工作程序节点 IP 地址：如果您有一小部分工作程序节点仅运行一个应用程序且不需要缩放，或者如果您只想将一个工作程序节点列入白名单，请列出集群中的所有工作程序节点，并记下 Public IP 地址。如果工作程序节点仅连接到专用网络，并且您希望使用专用服务端点连接到 IBM Cloud 服务，请改为记下 Private IP 地址。请注意，仅将这些工作程序节点列入白名单。如果删除工作程序节点或将工作程序节点添加到集群，那么必须相应地更新防火墙。
• ibmcloud ks workers --cluster <cluster_name_or_ID>

1. 将子网 CIDR 或 IP 地址添加到服务的防火墙以用于出站流量，或添加到内部部署防火墙以用于入站流量。
2. 针对要列入白名单的每个集群，重复上述步骤。