本文转载自 Misaka 博客。原文采用 CC BY-NC-SA 4.0 协议进行许可。
前置知识
由于国内政策和网络安全要求，中国国内运营商在处理公网跨境流量时对骨干设备进行了分类，一般包括 C-I-X-F 四段：
- C 段：中国大陆国内段（核心路由器）
- I 段：跨境段（国际出口路由器）
- X 段：运营商海外互联中继（国际网间互联路由）
- F 段：与海外其他运营商的互联路由（海外 POP 点）
一般而言，C-I 段部署在国内，I-X-F 段则依据对端互联运营商所在地有所差异。国家跨境数据安全网关部署在 C-I 段中间，三大运营商此段容量也因为安全设备容量原因而有所限制。
关于带宽成本
由于国内目前的销售策略（商宽补贴家宽等情况），商业用途的带宽比起家庭用户要昂贵许多。大家可能习惯了 99 元月付的千兆家宽，然而国内动态 BGP 带宽（仅国内穿透，不包括国际穿透）的价格就能达到至少 100 CNY/Mbps/月。这点在国际互联的带宽费用上也有所体现。
中国主流的三大运营商拥有超过数亿的用户群体，对于这样庞大的 Eyeball 网络，尤其是中国大陆这样的封闭市场，用户群即是他们的核心竞争力和要价资本（这一点可以参考中国移动近几年的宽带白送抢占客户群的操作）。因此对于服务商而言，越是想低延迟、高质量服务这类网络下的用户，所需要付出的成本越高。
地域与价格的反直觉关系
与许多人的直觉相反，在实际的报价和互联处理上，离中国大陆越近，延迟越低，带宽互联越昂贵。香港地区是三家运营商所需要的互联费用最高的地区，其次是日本、新加坡、韩国，然后是俄罗斯，最后是欧美地区。
至于原因，在中国大陆提供公开的互联网信息服务（例如传统网站服务）存在多样的问题，除了政策层面的需要提供 ICP 备案接入以外，对于非 BGP 接入的机房，2024 年 7 月开始的网内跨省流量结算以及 PCDN 的打击和跨网调度应对，导致情况愈加复杂。
在这样的策略影响下，因为成本等方面的原因没有在亚太地区购买三家运营商直连线路的服务提供商，将不得不通过 Tier 1 Transit 来将他们的流量传输至国内。而 Tier 1 Transit 的带宽也是有限的。例如，NTT 在亚太地区和中国电信 163 的互联仅有 60G（NTT 曾试图联系电信扩容但价格过于昂贵）。
而多数亚太的服务商（例如 Vultr/Linode/DO）由于 BGP 路径选择，默认情况下会优先这类网络，因此原本狭小的互联只会更加拥塞。而电信是没有意愿主动扩容的：如果流量都走 Tier 1，那么作为他们营收的主要部分，付费互联（Paid Peer）就没法达到预定收益。
基于这个原因，从逻辑互联来说，对于大多数服务提供商，香港虽然是离大陆最近的地区，但却不一定是国内访问最快的地区。
常见的海外访问问题
从网络拓扑来说，在中国大陆常见的遇到的海外访问问题包括：
非三大运营商直连客户
- 经过 Tier 1 Transit（比如 NTT、GTT、Level 3）：由于运营商-Transit Provider 之间的容量原因以及普通网络跨境段（C-I）容量限制出现的高延迟、丢包和低速率
- 典型场景：电信-日本 NTT 长期高度拥塞导致的丢包和延迟上升，众多开源软件的源服务器（Ubuntu PPA/Debian Mirror 等）至国内低速率下载
- 非优化流量绕路：例如新加坡 Singtel 至中国电信对非优化流量通过其他 Tier 1（i.e. AS6453 TATA）绕路美国导致高延迟
三大运营商直连客户
- 普通网络跨境段（C-I）容量限制出现的丢包问题
- 典型场景：国内电信访问微软国际版服务（比如 Office 365、OneDrive）；Cloudflare 至中国电信用户的速率问题
- 商家或者提供商由于带宽没买够跑爆了或者有 QoS 问题导致的速度问题
- 典型场景：腾讯云香港普通网络
中国电信
中国电信目前维护三张网络：
- AS4134 ChinaNet (163)
- AS4809 ChinaNet Next Generation Carrier Network (CN2)
- AS23764 CTGNet
ChinaNet (163)
ChinaNet（a.k.a. 163），主要城市如 LAX、SJC、FRA、LON，回国带宽大，但因电信超卖严重，因此尖峰时段较容易阻塞，同时也常有来自中国境内的流量攻击将出口塞满。价格较低。
截至 2020 年 8 月，163 网国内至国际互联段（C-I 段）容量拥塞，因此访问国外一些服务商会出现严重的慢速、丢包、高延迟等现象。
扩容历史：
- 2021 年：按照集团规划，163 国际出口国内段扩容预计在 2021 年 2 月底之前完成
- 2021 年 3-4 月：中国电信和中国移动对 163 和 CMNet 的国际出口进行了扩容，据信总带宽约 1.2 Tbps 左右，国际段拥塞情况相对之前已缓解不少，但广州和上海出口的部分路由仍然存在丢包情况
- 2022 年 9 月：163 国际出口扩容大约 1T 左右
- 2023 年 11 月：电信于 8 月 15 日发布《中国电信 2022 年 ChinaNet 国际网络(国内段)流量综合管理系统扩容工程集成服务询价结果公示》，根据观察近期（12 月初）国际出口已有比较明显的好转。根据业界大佬的消息，中国电信此次广州出口扩容 1.8 Tbps
价格信息：
- 北美 163：单价大约为 $0.6/Mbps
- 日本/新加坡：单价为 ≤$20/Mbps
- 香港：丧心病狂的 $50+/Mbps（2020 年左右的 IPT 合约价格）
需要说明的是，电信的标准付费互联并不带任何质量保证，全是 Best Effort。
如果是跨境段（C-I）高保障 QoS 的 163（质量参照上海电信家宽国际精品网，或者世纪互联版 Azure），香港地区的 IPT 单价则超过 $75，几乎快接近 CN2 GIA 的底线价格。
注：上述价格都是 commit 量比较大的情况下的折扣价格，一般在 8 折左右（甚至可以更低），因此实际在 commit 量少的情况下价格会更高
CN2 GT (Global Transit)
CN2 GT，163 与 CN2 POP 之间统一在上海、广州、北京三个互连点，北京互连点为一年内所新增。由于两张网流量交换前也会经过 163 的汇聚点，因此也较容易因 163 汇聚点有大量攻击流量导致阻塞，同时因攻击塞满两张网之间的互连也时常发生。
对于跨境互联质量，电信官网承认 CN2 GT 与 ChinaNet 质量无异。换句话说就是，CN2 GT 集成了电信两张网各自最烂的部分：CN2 海外的骨干质量和 163 出口的跨境段质量。
欧美地区的 CN2 GT 或将在接下来规划下线，现有 CN2 GT 的客户（已知的包括 QuadraNet AS8100、俄罗斯 DataLine 等）将被切换至 163。但正如前文所述，在跨境质量上 CN2 GT 和 163 因为是共享 C-I 段，因此在质量上并不会有差别或者变化。
CN2 GIA (Global Internet Access)
GIA 与 GT 之间所经过的跨境互联段不同（即 C-I 段），其中 GIA 有单独的 C-I 段容量，而 GT 则与 163 共享 C-I 段。因此基于目前的跨境互联质量而言，CN2 GT 和 163 几乎没有差异，但 GIA 与 GT/163 则会有明显体验上的差异。
该产品在 163 与 CN2 两张网之间互连有独立的端口进行互连，互连点也较多，采就近接入原则，但实际延迟不一定比较好。且因互连点不同关系，实际上有可能会出现某地至北美 GT 走上海出口，但 GIA 却走广东出口等等差异。另互连端口在有大量攻击时容易阻塞，特别是南京、北京互连点。
价格与额度限制：
- 电信报价依据所在地与中国大陆之间的延迟决定，延迟越高价格越低
- 北美：大约 $6 USD/Mbps（目前可能已涨价）
- 香港：单价最高则达到了 $100 USD/Mbps，底线价格也有接近 $80
- 2022 年 3 月：CN2 的跨境段容量峰值使用率已超过 90%+，电信集团目前已经暂停了部分方向新接的 CN2 GIA 的订单（除非有释放的带宽资源）
产品变化：
- 与 AS4809 直接互联的 CN2 GIA 产品在亚太和欧洲地区已经下线，目前新接客户需要通过 CTGNet
CTGNet (AS23764)
由于通过 CTG/CTA/CTE 购买 GIA 带宽需要中国电信集团级别审批合约，因此 CTG 自己搞了个 CTGNet（自卖自销系列）。据大佬介绍，CTGNet 订购的带宽合约目前暂不需要集团审批。
发展趋势：
- 在今年年底某个时间点以后新开的合约都需要走 CTGNet 签订
- 电信正在将已有的 AS4809 客户迁移到 CTGNet
- 亚太地区比如香港和新加坡已经迁移不少客户，包括阿里云香港、腾讯等
- 今后新开的大部分 CN2 合同都会变成 CTGNet 的合同
产品特性：
CTGNet 包含了之前的 163/CN2 GT 和 CN2 GIA 的接入，区别是根据合约报价来决定最终互联的质量：钱给的多就给你 GIA，钱给的少那就是 GT 甚至 163。
目前亚太和欧洲（除俄罗斯以外），原有的 CN2 AS4809 的客户大部分已经迁移至 CTGNet 下。
网络识别：
CTGNet 常见的骨干网 IP 开头为 69.194 和 203.22，均在 AS23764 下。
与过去直接和 AS4809 接入的 CN2 GIA 对比，从腾讯云新加坡订购的 CTGNet 的路由来看，除了中间多出来 CTGNet 的 2-3 跳左右路由以外，和之前 CN2 GIA 的路由看起来没多少差别了。但是 CTGNet 网内偶尔会出现莫名其妙的延迟增加情况，体现在香港地区 CTGNet 网内两跳路由之间延迟增加 15-20 ms，这个问题属于偶发。
p.s. 中国电信澳门的 4G/5G 用户在访问中国内地的资源时，流量会通过 CTGNet 走 CN2 GIA 至国内
中国联通
中国联通目前有 3 个主要 ASN：
- AS4837：中国联通骨干网
- AS10099：中国联通国际（CUG）
- AS9929：中国联通工业互联网（CUII，以前的老网通的骨干，简称 A 网）
网络架构
一般家宽客户接入的是 4837 网络，与电信 4134 类似。国际出口分为北京、上海、广州三部分。比较常见的路由如下：
- 北京出口：承载多数省份的跨境流量，包含日韩北美欧洲俄罗斯等地区
- 上海出口：承载至东亚/东南亚以及北美圣何塞的跨境流量
- 广州出口：承载至港澳/东南亚/北美（洛杉矶）/欧洲部分地区的流量
流量工程
联通对其上游宣告的 IP 段有一定倾向性调整（这实际上也是流量工程和 QoS 的一部分）。例如，对于部分 IP 段，联通在日本发给 NTT 的路由 prepend 了 AS PATH，造成的情况就是对于同时接了 NTT 和其他网络的服务商（比如甲骨文东京接了 NTT 和 TATA），由于 AS PATH 长度问题：
- 至联通部分 IP 段（例如 153.3.16.1）走 NTT 经由上海/北京互联回程
- 部分 IP 段（例如 27.11.128.1）则被送去了其他网络，出现绕美/高延迟的情况
这一点在联通至新加坡 Cogent 的互联也能看出来（部分段走新加坡的 Cogent 直接回到联通网内，部分则绕欧至联通与 Cogent 的欧洲互联）。
CUG (AS10099)
10099（CUG）与电信目前的 CTGNet 类似，提供至大陆方向的差异化接入，包括：
- CUG（10099->4837）
- CUG VIP（10099->9929->4837）
其中，CUVIP 属于 4837 上的优质服务，与 9929 (CUII) 是不同的体系。
CUII (AS9929)
9929 为老网通骨干网，现在的 CUII。其本身负载低，所以被用于为政企提供高质量网络访问。但是缺点在于：
- 这张网的跨境互联端点对比 4837 较少
- 多数互联的容量并不大
- 现在作为联通对标 CN2 GIA 的产品销售
价格信息
普通 4837：报价依据互联地区不同而不同
- 日本/新加坡：可以做到 ≤$20/Mbps（但还是贵而且和电信一样是 Best Effort）
- 香港：比日本/新加坡略高一些，≤$25/Mbps
- 欧洲地区：≤$5/Mbps
香港 10099 CN Premium Route（官方名称，实际上就是 9929）：报价一般不低于 $55/Mbps
中国移动
CMCC 这张几乎万物都要走香港出口，而且骨干都能疯狂丢包，广州到香港之间延迟能暴涨 114514 ms 的破网有什么记录的必要吗（半恼）
自己拉了根线测一下免得有人 BB，不过还是得说一句：请不要用广东移动的质量假设其他省份移动的质量。
出口分布
自 2022 年初开始，随着上海临港出口启用，在日韩购买了 CMI IP Transit 的 ISP/IDC 回到国内部分省份移动的流量会经由上海出口承载，延迟对比绕广东会有所降低（比如日本/韩国-上海 ~33 ms）。
移动近期扩容加上上海临港出口启用以后在跨境段（C-I 段）上容量有明显富余，部分方向也开始塞了，加上移动祖传负载不均衡，所以体验会有所波动。
目前的主要出口还是广州-香港段，IPv6 跨境流量路由大部分会出现绕行上海的情况（即使你处在广东）。
价格信息
- 亚太地区（指香港/日本/新加坡）中国移动的 IPT 价格比较一致，约 $30/Mbps（2023 年至 2024 年 5 月)
- 中国移动 CMPremium 的价格一般在 $55-$60/Mbps 左右（取决于 commit 的量）
质量问题
由于近期大批量的 CMI 带大陆路由的 IPT 开通，移动至联通/电信的晚高峰跨网质量相对之前明显有所降低。移动广州出口自 4 月开始已可见晚高峰时期网内有丢包情况出现，且有明显的负载不均衡的情况。
对来自 Free Peer（比如 PCCW/NTT/Telstra）至国内的流量会有 QoS，在量大的情况下，移动会根据来源流量的 ASN 进行 QoS，尖峰时可见在 P2P 跳路由（比如 NTT-移动的互联路由节点）开始出现高于 80% 的丢包。
为什么市面上常见"移动优化线路"？
正因为此类 QoS 策略，目前市面上常见的"移动优化线路"多数为通过 Lumen（f.a.k.a. Level 3, AS3356）所传输回移动。相对目前 C-I 直接 IPT 的价格，Lumen-CMI 的价格低了一个数量级，但什么时候会被移动橄榄仍是未知数。这类操作的前车之鉴是 NTT/PCCW，后者在早一两年前基本全被移动橄榄。（2024.9）
目前在亚太地区到移动有速度的 Tier 1 Transit 目前就剩下 Lumen 和最近移动在日本和新加坡新接的 TATA（AS6453） 了，通过这两个地区的这两家 Tier 1 至移动网内目前较少遇到限速或 QoS 拉黑的问题。PCCWG 依然比较灵车。
CMI 流量处理
- 从 IX 强行从 CMI 送流量至国内网络会被移动 QoS 至不超过 1 Mbps 的速度以及高强度丢包，但是某些情况下仍存在偷带宽的可能性
CMI 穿透路由
CMI 日本地区（2024.5）：现在不提供至电信和联通的穿透，因为容量不够了
CMI 日本 POP（最新）：开始恢复提供至国内电信联通的回国方向流量穿透，根据 CMI 方面的说法，CMI Paid IPT 客户可以申请日本地区 CMI 回程国内电信联通的穿透路由
新加坡和香港：也提供三网回国方向流量穿透
但是由于友商投诉和移动网内策略，所有经由 CMI 回程至电信联通方向的流量会通过上海出口处理，因此即使你在广东电信，流量还是得至少单向绕上海一圈。
跨境容量警告
2024 年 11 月：中国移动香港至国内方向跨境带宽利用率已达到 95%，由于跨境段容量拥塞问题移动目前对跨境流量存在高峰期 QoS 的情况，部分省份即便是访问购买了正价 CMI 带宽的用户也会遇到严重限速情况（晚高峰 10 Mbps 至 100 Mbps 均可见）。根据监控数据目前晚高峰时期 CMI 至国内方向可见大约 5% 左右的丢包。移动侧答复扩容需等待工信部批准，其他容量规划暂无更新。
2024 年 11 月底：由于 NCP 海缆故障影响中国移动至日本和北美方向链路（包括公网和专线传输），目前流量故障转移至经由香港返回国内。
CMI N2 (AS58807)
和电信一样，移动也在搞 CMI N2（AS58807），此网络海外回程路由至国内电信部分会走 CTGNet。
产品定位：依据购买的产品类型，CMIN2 的挂牌单价为 $45–55+/Mbps（亚太地区），并且不同等级的产品有不同比例的回国带宽限制。例如，对于 Premium DIA 产品，部分地区至 CT/CU 方向至多允许 30% 的比例（即，如果你购买了 1 Gbps 的 Premium DIA，最多有 300 Mbps 的带宽可以用来传输至电信或者联通）。
设计与部署：CMI N2 的设计计划是独立的网络，与 CN2 GIA/CUII 9929 类似。但是目前从已购买的产品来看，CMIN2 目前只有海外段是在 AS58807 之下。例如从新加坡 CMIN2 至国内的流量会在新加坡-香港走 CMIN2，而到达香港之后走到 AS58453 的核心再路由至国内 9808。
最新进展（2023.11）：N2 北美地区已上线，提供了到国内三网 IPv4 和 IPv6 双栈优化。根据多个商家和实际测试的结果来看，CMI N2 至电信联通甚至移动本网都还存在一定的缺路由的情况，表现为接了 N2 的网络回程至国内部分网络仍需绕行其他 transit。
CTGNet (AS23764) / CUG (AS10099) 和 CMI (AS58453) 三张网的差异性
三家运营商目前都有趋势将国际客户的 IPT 业务转移至自身的国际网络下，但是三家的国际网络资源略有差异。
电信与联通
对于电信和联通，CTGNet 和 CUG 提供的包括对客户的 IPT 接入以及差异化产品：
- 普通 IPT：CTGNet 给到 163，而 10099 给到 4837
- 精品 IPT（Premium IP Transit）：CTGNet 给到的是原有的 CN2 GIA 产品，CUG 给到的则是联通 A 网 9929
这一点也可以从现有路由能看出来。
此外，CTGNet 和 CUG 也为两家运营商在海外的移动客户提供网络接入（例如 CUniq 回国主要走 4837，而 CTMO/CTexcel 则走 CTGNet/163）。两张网络同时也用于对应的国内 CN2/9929 精品网客户就近访问海外资源。
需要注意的是，CTGNet 和 CUG 目前并不接管两家运营商的全部出海流量
中国移动
而对于移动，AS58453 CMI 则是国内移动 AS9808 客户公网跨境的几乎唯一方向，并且移动的海外精品网访问接入是由 AS58807 来负责的。与电信 CTGNet 和联通 CUG 的角色上有较大的区别。
2024 年政策变化
2024.07：中国电信国内 4134 大网于 7 月份开始停止接收来自联通方面的国际客户路由（即来自 10099 及其客户的路由）。此举导致原有通过只拉 CUG 便能做到联通电信都能直连的操作成为了不可能。除极少数路由以外，4134-4837-10099 和 4134-9929-10099 的走法成为了过去式，现在必须购买电信的互联才能使得国内电信流量去程拉直。
2024.08：联通也开始对等操作，拒收了来自电信 CTG 和 CN2 国际客户的路由。
影响范围：这次双方的"竞合"操作实际影响的还有双方香港的移动运营商业务（CUniq/CTHK）。由于双方国内拒收去程路由，中国电信香港（CTHK）访问国内联通网络，或者 CUniq 访问国内电信网络时，国内-香港方向的去程路由会绕行欧美，导致延迟大增。为什么不说移动呢，因为移动去 CTHK 的流量甚至会喜提绕南非环球游，而且电联不待见移动是早就已知的事情了。
一些题外话 / 小道消息
CN2 变成 CTGNet 的一部分原因是，在 2020 年左右，北美的部分 CN2 GT/GIA 双持的客户，通过在 GIA 的端口上宣告 IP 段，回程走 CN2 GT 端口的方式，可以使得回程流量变为 CN2 GIA。这是因为电信 CN2 网内区分走 GT 和 GIA 路由的方式是根据 4809 收到的路由端口和类型决定的。当时这么做的商家包括 C3（Zenlayer）、Hostspace、Krypt（iON），因此这些商家后面看到的 ICMP CN2 GT 而 TCP/UDP 走 163 也是电信故意而为之
CTGNet 可能部分接管了 CN2 的跨境段，目前可以观测到 CTGNet 的部分骨干 IP 出现在了国内部分。大佬的推测是可能在 CN2 的骨干上再跑了个 MPLS
CN2 (AS4809) 到 PCCW 的互联可能会被拔线，转由经 CTGNet 至 PCCW，后者拥有 100G 互联
CUG 10099 在 HKIX 的端口曾被长时间"偷流量"，即通过强制指定下一跳路由的形式，将国内流量经由 CUG 的路由器送至联通骨干再到国内。目前已有 QoS
CMI 有一位非常不负责任的销售，只会推产品而不认真处理客户问题
CMI 对于没有购买其 IPT 业务但是通过其上游（比如 PCCW/NTT）送流量进来的网络，在流量较大（数百 Mbps）的时候会触发 QoS。销售会先联系你让你购买 CMI 的 IPT 带宽业务，但如果你不买，你可能会被移动拉进黑名单（按 ASN），此时在互联点会出现严重丢包
许可证
本文原文采用 CC BY-NC-SA 4.0 进行许可。转载请标注原作者和原文链接。
原文链接：https://misaka.si/posts/12ctcucm/
原文作者：Misaka
