<?xml version="1.0" encoding="utf-8" standalone="yes"?><rss version="2.0" xmlns:atom="http://www.w3.org/2005/Atom">
    <channel>
        <title>ExternalTrafficPolicy on Zero Day Notes</title>
        <link>https://blog.5772447.xyz/tags/externaltrafficpolicy/</link>
        <description>Recent content in ExternalTrafficPolicy on Zero Day Notes</description>
        <generator>Hugo -- gohugo.io</generator>
        <language>zh</language>
        <lastBuildDate>Tue, 17 Nov 2026 09:00:00 +0800</lastBuildDate><atom:link href="https://blog.5772447.xyz/tags/externaltrafficpolicy/index.xml" rel="self" type="application/rss+xml" /><item>
            <title>NodePort 配 Local：无 Pod 节点直接丢包</title>
            <link>https://blog.5772447.xyz/posts/bd44d3f1/</link>
            <pubDate>Tue, 17 Nov 2026 09:00:00 +0800</pubDate>
            <guid>https://blog.5772447.xyz/posts/bd44d3f1/</guid>
            <description>&lt;h2 id=&#34;问题背景&#34;&gt;&lt;a href=&#34;#%e9%97%ae%e9%a2%98%e8%83%8c%e6%99%af&#34; class=&#34;header-anchor&#34;&gt;&lt;/a&gt;问题背景&#xD;&#xA;&lt;/h2&gt;&lt;p&gt;订单查询 API 部署在一个 3 节点的 Kubernetes 集群里，3 个副本，通过 NodePort 暴露给内部网关调用。上线初期网关日志里的客户端 IP 全是节点地址，做限流和审计都不方便。为了拿到真实源 IP，运维把 Service 的 &lt;code&gt;externalTrafficPolicy&lt;/code&gt; 从默认的 &lt;code&gt;Cluster&lt;/code&gt; 改成 &lt;code&gt;Local&lt;/code&gt;，改完日志里果然出现了真实客户端地址，服务平稳跑了一段时间。&lt;/p&gt;&#xA;&lt;p&gt;这个改动当时被当成一次小优化：只改了一个字段，Pod、副本数、调度策略都没动。&lt;/p&gt;&#xA;&lt;h2 id=&#34;故障现象&#34;&gt;&lt;a href=&#34;#%e6%95%85%e9%9a%9c%e7%8e%b0%e8%b1%a1&#34; class=&#34;header-anchor&#34;&gt;&lt;/a&gt;故障现象&#xD;&#xA;&lt;/h2&gt;&lt;p&gt;发版滚动更新期间，网关侧出现大约三分之一的请求超时，都是 5 秒连接超时。更新结束后大部分流量恢复，但每隔几分钟仍会冒出一批超时，比例还是接近三分之一。&lt;/p&gt;&#xA;&lt;p&gt;排查时最让人困惑的是「所有常规检查都正常」：Pod 全部 Ready、Endpoints 里有 3 个地址、集群内直接访问 Service 的 ClusterIP 全通、监控里的健康检查全绿、对 ClusterIP 压测也不掉一个请求。故障只在「从网关经 NodePort 访问」这条路径上出现。&lt;/p&gt;&#xA;&lt;p&gt;从网关侧看，超时集中在发版后的十几分钟里，之后变成每隔几分钟一小批；把失败请求按目标节点归类，几乎全部落在同一台节点上，像是那台节点的 NodePort 端口「时通时不通」。&lt;/p&gt;&#xA;&lt;h2 id=&#34;排查过程&#34;&gt;&lt;a href=&#34;#%e6%8e%92%e6%9f%a5%e8%bf%87%e7%a8%8b&#34; class=&#34;header-anchor&#34;&gt;&lt;/a&gt;排查过程&#xD;&#xA;&lt;/h2&gt;&lt;p&gt;先排除应用：Pod 日志没有异常、没有重启，CPU 和内存都平稳，应用侧线程池也没有打满。&lt;/p&gt;&#xA;&lt;p&gt;再查 Service 和 Endpoints：&lt;code&gt;kubectl get endpoints&lt;/code&gt; 显示三个 Pod IP 都在，ClusterIP 直连压测零失败。说明「服务发现」和「Pod 本身」都没问题。&lt;/p&gt;&#xA;&lt;p&gt;然后做分节点拨测。对 3 个节点的 NodePort 分别循环 curl 同一个幂等接口：两个节点 100% 成功，第三个节点 100% 超时。&lt;code&gt;kubectl get pods -o wide&lt;/code&gt; 一看就明白了——这台节点上没有订单服务的 Pod。&lt;/p&gt;&#xA;&lt;p&gt;回头看 Service 配置：&lt;code&gt;externalTrafficPolicy: Local&lt;/code&gt;。这个策略的语义是「只把流量转发给本节点的 Ready Pod，不做 SNAT，从而保留客户端源 IP」。代价是：本节点没有 Ready 端点时，进入该节点 NodePort 的数据包会被 kube-proxy 直接标记丢弃，不会兜底转发到其他节点。&lt;/p&gt;&#xA;&lt;p&gt;在故障节点上翻 kube-proxy 生成的 iptables 规则，能看到 KUBE-XLB 链里针对「无本地端点」的 DROP 标记，和文档语义对得上——没有本地 Pod 时，它不做任何跨节点兜底。&lt;/p&gt;&#xA;&lt;p&gt;做对照实验：把策略临时改回 &lt;code&gt;Cluster&lt;/code&gt;，三个节点立即全通，但网关日志里的源 IP 变成了节点地址——既确认了根因，也确认了当初改 &lt;code&gt;Local&lt;/code&gt; 的动机。&lt;/p&gt;&#xA;&lt;p&gt;继续追副本分布：3 个副本因为资源碎片和默认调度，落在了 2 个节点上。集群里没有任何约束要求「每个节点至少有一个副本」，所以第三个节点永远没有本地端点。滚动更新只是把这个长期存在的空洞放大了：旧 Pod Terminating、新 Pod 还没 Ready 的窗口里，节点本地端点数为 0，同样丢包；更新结束后如果副本没有覆盖所有节点，长尾超时就一直存在。&lt;/p&gt;&#xA;&lt;h2 id=&#34;解决方案&#34;&gt;&lt;a href=&#34;#%e8%a7%a3%e5%86%b3%e6%96%b9%e6%a1%88&#34; class=&#34;header-anchor&#34;&gt;&lt;/a&gt;解决方案&#xD;&#xA;&lt;/h2&gt;&lt;ol&gt;&#xA;&lt;li&gt;&#xA;&lt;p&gt;&lt;strong&gt;改回 &lt;code&gt;Cluster&lt;/code&gt;，源 IP 交给入口层&lt;/strong&gt;：Service 恢复跨节点转发；真实客户端 IP 由 Ingress 的 &lt;code&gt;X-Forwarded-For&lt;/code&gt; 或四层负载均衡的 PROXY protocol 传递。这是最稳妥的组合：可用性不依赖副本分布。&lt;/p&gt;&#xA;&lt;/li&gt;&#xA;&lt;li&gt;&#xA;&lt;p&gt;&lt;strong&gt;必须保留 &lt;code&gt;Local&lt;/code&gt; 时，保证每节点有端点&lt;/strong&gt;：副本数不少于节点数，并加拓扑约束，例如：&lt;/p&gt;&#xA;&lt;div class=&#34;highlight&#34;&gt;&lt;div style=&#34;color:#f8f8f2;background-color:#272822;-moz-tab-size:4;-o-tab-size:4;tab-size:4;-webkit-text-size-adjust:none;&#34;&gt;&#xA;&lt;table style=&#34;border-spacing:0;padding:0;margin:0;border:0;&#34;&gt;&lt;tr&gt;&lt;td style=&#34;vertical-align:top;padding:0;margin:0;border:0;&#34;&gt;&#xA;&lt;pre tabindex=&#34;0&#34; style=&#34;color:#f8f8f2;background-color:#272822;-moz-tab-size:4;-o-tab-size:4;tab-size:4;-webkit-text-size-adjust:none;&#34;&gt;&lt;code&gt;&lt;span style=&#34;white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f&#34;&gt;1&#xA;&lt;/span&gt;&lt;span style=&#34;white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f&#34;&gt;2&#xA;&lt;/span&gt;&lt;span style=&#34;white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f&#34;&gt;3&#xA;&lt;/span&gt;&lt;span style=&#34;white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f&#34;&gt;4&#xA;&lt;/span&gt;&lt;span style=&#34;white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f&#34;&gt;5&#xA;&lt;/span&gt;&lt;span style=&#34;white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f&#34;&gt;6&#xA;&lt;/span&gt;&lt;span style=&#34;white-space:pre;-webkit-user-select:none;user-select:none;margin-right:0.4em;padding:0 0.4em 0 0.4em;color:#7f7f7f&#34;&gt;7&#xA;&lt;/span&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/td&gt;&#xA;&lt;td style=&#34;vertical-align:top;padding:0;margin:0;border:0;;width:100%&#34;&gt;&#xA;&lt;pre tabindex=&#34;0&#34; style=&#34;color:#f8f8f2;background-color:#272822;-moz-tab-size:4;-o-tab-size:4;tab-size:4;-webkit-text-size-adjust:none;&#34;&gt;&lt;code class=&#34;language-yaml&#34; data-lang=&#34;yaml&#34;&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;&lt;span style=&#34;color:#f92672&#34;&gt;topologySpreadConstraints&lt;/span&gt;:&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;  - &lt;span style=&#34;color:#f92672&#34;&gt;maxSkew&lt;/span&gt;: &lt;span style=&#34;color:#ae81ff&#34;&gt;1&lt;/span&gt;&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;    &lt;span style=&#34;color:#f92672&#34;&gt;topologyKey&lt;/span&gt;: &lt;span style=&#34;color:#ae81ff&#34;&gt;kubernetes.io/hostname&lt;/span&gt;&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;    &lt;span style=&#34;color:#f92672&#34;&gt;whenUnsatisfiable&lt;/span&gt;: &lt;span style=&#34;color:#ae81ff&#34;&gt;DoNotSchedule&lt;/span&gt;&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;    &lt;span style=&#34;color:#f92672&#34;&gt;labelSelector&lt;/span&gt;:&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;      &lt;span style=&#34;color:#f92672&#34;&gt;matchLabels&lt;/span&gt;:&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;        &lt;span style=&#34;color:#f92672&#34;&gt;app&lt;/span&gt;: &lt;span style=&#34;color:#ae81ff&#34;&gt;order-api&lt;/span&gt;&#xA;&lt;/span&gt;&lt;/span&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/td&gt;&lt;/tr&gt;&lt;/table&gt;&#xA;&lt;/div&gt;&#xA;&lt;/div&gt;&lt;p&gt;滚动更新同时配 &lt;code&gt;maxUnavailable: 0&lt;/code&gt;，避免更新窗口内某节点端点归零。&lt;/p&gt;&#xA;&lt;/li&gt;&#xA;&lt;li&gt;&#xA;&lt;p&gt;&lt;strong&gt;入口侧节点级健康检查&lt;/strong&gt;：LB 对每个节点的 NodePort 拨测，失败节点自动摘除；但内部网关直连 NodePort 的调用方没有这层保护，不能只靠它。&lt;/p&gt;&#xA;&lt;/li&gt;&#xA;&lt;li&gt;&#xA;&lt;p&gt;&lt;strong&gt;验证&lt;/strong&gt;：三个节点分别 curl 幂等接口全部 200；更新期间持续压测零超时；Ingress 日志里的客户端 IP 是真实地址。&lt;/p&gt;&#xA;&lt;/li&gt;&#xA;&lt;/ol&gt;&#xA;&lt;p&gt;最终我们采用方案 1，同时对确实需要四层直连和源 IP 的服务保留 &lt;code&gt;Local&lt;/code&gt;，但补齐了拓扑约束与更新策略。&lt;/p&gt;&#xA;&lt;h2 id=&#34;根因分析&#34;&gt;&lt;a href=&#34;#%e6%a0%b9%e5%9b%a0%e5%88%86%e6%9e%90&#34; class=&#34;header-anchor&#34;&gt;&lt;/a&gt;根因分析&#xD;&#xA;&lt;/h2&gt;&lt;table&gt;&#xA;  &lt;thead&gt;&#xA;      &lt;tr&gt;&#xA;          &lt;th&gt;行为&lt;/th&gt;&#xA;          &lt;th&gt;Cluster（默认）&lt;/th&gt;&#xA;          &lt;th&gt;Local&lt;/th&gt;&#xA;      &lt;/tr&gt;&#xA;  &lt;/thead&gt;&#xA;  &lt;tbody&gt;&#xA;      &lt;tr&gt;&#xA;          &lt;td&gt;流量去向&lt;/td&gt;&#xA;          &lt;td&gt;可转发到任意节点的 Pod&lt;/td&gt;&#xA;          &lt;td&gt;仅转发本节点 Pod&lt;/td&gt;&#xA;      &lt;/tr&gt;&#xA;      &lt;tr&gt;&#xA;          &lt;td&gt;本节点无端点&lt;/td&gt;&#xA;          &lt;td&gt;转发到其他节点&lt;/td&gt;&#xA;          &lt;td&gt;丢弃，表现为连接超时&lt;/td&gt;&#xA;      &lt;/tr&gt;&#xA;      &lt;tr&gt;&#xA;          &lt;td&gt;客户端源 IP&lt;/td&gt;&#xA;          &lt;td&gt;可能被 SNAT 成节点地址&lt;/td&gt;&#xA;          &lt;td&gt;保留&lt;/td&gt;&#xA;      &lt;/tr&gt;&#xA;      &lt;tr&gt;&#xA;          &lt;td&gt;适用前提&lt;/td&gt;&#xA;          &lt;td&gt;无&lt;/td&gt;&#xA;          &lt;td&gt;每节点至少一个 Ready 副本&lt;/td&gt;&#xA;      &lt;/tr&gt;&#xA;  &lt;/tbody&gt;&#xA;&lt;/table&gt;&#xA;&lt;p&gt;&lt;code&gt;Local&lt;/code&gt; 的设计目标是保留源 IP，它用「只走本节点」换「不做 SNAT」，并不是高可用的默认值。它隐含一个前提：每个节点都有本地端点。这个前提不会被调度器、健康检查或 Endpoints 列表自动保证——3 个副本落在 2 个节点完全合法，所有检查都会是绿的。滚动更新期间端点短暂为空也是正常状态，&lt;code&gt;Local&lt;/code&gt; 把正常状态放大成了用户可见的丢包。&lt;/p&gt;&#xA;&lt;h2 id=&#34;预防措施&#34;&gt;&lt;a href=&#34;#%e9%a2%84%e9%98%b2%e6%8e%aa%e6%96%bd&#34; class=&#34;header-anchor&#34;&gt;&lt;/a&gt;预防措施&#xD;&#xA;&lt;/h2&gt;&lt;ul&gt;&#xA;&lt;li&gt;&lt;strong&gt;选型清单&lt;/strong&gt;：需要源 IP 时优先在入口层解决（XFF、PROXY protocol）；坚持 &lt;code&gt;Local&lt;/code&gt; 就必须同时配置拓扑约束、滚动更新策略和节点级拨测，三样缺一不可。&lt;/li&gt;&#xA;&lt;li&gt;&lt;strong&gt;监控补盲&lt;/strong&gt;：增加「按节点 NodePort 拨测」，任一节点失败即告警；外部探测要覆盖所有节点，不能只打 ClusterIP 或 Pod IP。&lt;/li&gt;&#xA;&lt;li&gt;&lt;strong&gt;变更评审&lt;/strong&gt;：&lt;code&gt;externalTrafficPolicy&lt;/code&gt; 属于流量路径变更，纳入变更清单，评审时核对副本分布与更新窗口。&lt;/li&gt;&#xA;&lt;li&gt;&lt;strong&gt;调度约束&lt;/strong&gt;：关键服务统一加 &lt;code&gt;topologySpreadConstraints&lt;/code&gt;；节点扩容后复核副本是否覆盖新节点。&lt;/li&gt;&#xA;&lt;li&gt;&lt;strong&gt;故障演练&lt;/strong&gt;：定期随机下线一个节点、或在单节点驱逐服务 Pod，验证节点级拨测仍全绿，避免「副本恰好落在少数节点」的隐性单点。&lt;/li&gt;&#xA;&lt;li&gt;&lt;strong&gt;知识沉淀&lt;/strong&gt;：把 &lt;code&gt;Local&lt;/code&gt;/&lt;code&gt;Cluster&lt;/code&gt; 的语义、SNAT 行为、无端点丢包条件写进团队知识库，避免下次为了源 IP 再踩一遍。&lt;/li&gt;&#xA;&lt;/ul&gt;&#xA;&lt;h2 id=&#34;总结&#34;&gt;&lt;a href=&#34;#%e6%80%bb%e7%bb%93&#34; class=&#34;header-anchor&#34;&gt;&lt;/a&gt;总结&#xD;&#xA;&lt;/h2&gt;&lt;p&gt;&lt;code&gt;Local&lt;/code&gt; 不是「更安全的默认值」，而是一个带前提的优化项：用「节点本地有端点」换「源 IP 保留」。前提不成立时，它会把正常调度和正常滚动更新变成用户可见的丢包。&lt;/p&gt;&#xA;&lt;p&gt;选它之前先回答一个问题：每个节点都能保证有 Ready 副本吗？答不上来就用 &lt;code&gt;Cluster&lt;/code&gt;，把源 IP 交给入口层。&lt;/p&gt;&#xA;&lt;h2 id=&#34;延伸阅读&#34;&gt;&lt;a href=&#34;#%e5%bb%b6%e4%bc%b8%e9%98%85%e8%af%bb&#34; class=&#34;header-anchor&#34;&gt;&lt;/a&gt;延伸阅读&#xD;&#xA;&lt;/h2&gt;&lt;ul&gt;&#xA;&lt;li&gt;&lt;a class=&#34;link&#34; href=&#34;https://blog.5772447.xyz/posts/e9ddc234/&#34; &gt;线程泄漏拖垮节点：Pod 没有 pids 上限&lt;/a&gt;&lt;/li&gt;&#xA;&lt;li&gt;&lt;a class=&#34;link&#34; href=&#34;https://blog.5772447.xyz/posts/742c1c67/&#34; &gt;cgroup CPU 节流：容器延迟周期性抖动&lt;/a&gt;&lt;/li&gt;&#xA;&lt;li&gt;&lt;a class=&#34;link&#34; href=&#34;https://blog.5772447.xyz/posts/c8a7917a/&#34; &gt;CronJob 允许并发：日报任务重叠出双份&lt;/a&gt;&lt;/li&gt;&#xA;&lt;/ul&gt;&#xA;</description>
        </item></channel>
</rss>
