DMIT Inc - NOC工作日志
5.81K subscribers
117 photos
2 files
103 links
如需即时消息请 移步 https://xn--r1a.website/DMIT_INC 官方频道
Download Telegram
⚠️【LAX 紧急事件通报】

🕘 约 20 小时前,CoreSite Edge Router 遭遇异常,rpd 进程崩溃。我们当时进行了回滚处理,服务临时恢复,并预告将进行结构性修复操作。

🧪 问题原因:JunOS 存在一个罕见、无文档记录的 bug,可能导致 RIB/FIB 与 rpd 不一致,引发路由异常。

📍主要影响:
部分中国联通出现优选 9929 却走 CMIN2 的情况
GTT 最优路由未走 GTT IP Transit,而是回退到默认路径(如 GSL)
CoreSite Edge 的路由均未被W7C安装

🚧 我们预告中的优化操作已由 DMIT 在约 5 小时前完成,涉及配置更新与 BGP 结构修正,实际影响时间不到 3分钟。

LAX 路由同步问题现已彻底解决,配置已生效,系统稳定运行中。

感谢大家的理解与支持。如有异常,请随时联系我们。

注:路由没有调整,只是修复了非预期的FIB安装
洛杉矶 Premium和Eyeball IPv6 路由已更正。
观察到 CTGnet AS23764-AS4809 撤回了东京和香港的所有 AS4837 和 AS9808 路由。我们已向 CTGnet NOC 发送有关此故障的电子邮件。这应该是 CTGnet 端的配置错误。
DMIT Inc - NOC工作日志
观察到 CTGnet AS23764-AS4809 撤回了东京和香港的所有 AS4837 和 AS9808 路由。我们已向 CTGnet NOC 发送有关此故障的电子邮件。这应该是 CTGnet 端的配置错误。
感谢您报障给电信全球客服中心。电信全球客服中心已经为您开单[ _ ], 您可以使用此单号来和我们了解此故障的处理进展。此故障会由我方的专业工程师团队来进行调查处理,我方一有进展就会向您更新。对于由此带来的不便深感抱歉。
香港 GSL 目前仅有 1/5 的海底网络在香港存活。
这可能会导致近期出现一些数据包丢失和速度问题。

DMIT 目前的策略是
入站:每个地点一个主要ISP。另外 1~3 个 ISP 作为备份或区域优化。
出站: 所有 ISP 之间保持平衡,除非特别优化。

====
GSL 是 DMIT 目前设计的主要入站 ISP。但就在 DMIT 与 GSL 连接之后,不幸的事情(光纤切断 + 大规模 DDoS)发生了。时间点超级不凑巧。

请等待我们(DMIT+GSL)一段时间进行网络建设。

DMIT 最终将主要使用我们的骨干网来传输亚太<>美国/欧盟访问,以获得更低的延迟和更少的抖动。

*注:GSL 拥有许多 DDoS 保护客户,但他们默认使用 "检测 "方法进行 DDoS 缓解,这意味着一旦发生大的攻击,在检测完成牵引之前,海底可能会拥塞几秒钟。

使用 DMIT 的海底/骨干网可以将影响降至最低,因为境内光纤(大陆内)的容量更大,流量在离开大陆之前就会到达最近的 DMIT/GSL PoP。在 DMIT US/EU PoP 上,我们可以轻松扩展到多个 100G 端口,以应对峰值流量;同时,我们使用端口镜像和 DPDK 捕获进行 DDoS 检测,可在数秒内缓解/转移 DDoS。这可以确保通过海底的所有流量大部分都是合法的。

===DMIT===
DMIT 在香港、东京和洛杉矶之间签署了多个海底光缆协议。
它将在 2025 年 8 月至 9 月间开通。

香港-东京:ASE

香港-美国: FASTER + SJC, ASE + JUNO

美国-东京: JUNO

===GSL===
GSL 将于 2025 年 8 月初启用 SJC2 [HK-TY]。

C2C[HK-TW] ETR 为 2025 年 8 月底

NCP[HK-KR] ETR 为 2025 年 8 月中旬。

===最后====
DMIT 将在合约结束后与东京的 RETN 断开连接。
香港将被保留,但同时 DMIT 将对欧盟-香港延迟选择使用替代策略。

RETN 在我们签订日本合同后一个月就拆除了日本-欧盟地区的陆地光纤路径,而且他们不会恢复。
RETN 的海底光纤对日本-欧盟连接质量很一般,某种程度上甚至比 HE/Cogent 更差。因此,这一行动不会对日本网络造成任何不利影响。
DMIT 观察到中国全境 TCP 443 断线、重置或阻塞。

更换 IP 并不能解决问题;由于我们可能会收到超负荷的票单或查询;相关工单可能会自动回复,在此期间更换 IP 的请求可能会被直接拒绝。

感谢您的支持和耐心等待。
已观测到支付宝回调被影响。
我们将在恢复后手动匹配入账。
TYO 计划维护

日本时间 8 月 23 日下午 3 点(中国标准时间下午 2 点)
持续时间: 每个节点 <= 60 分钟
硬件组件修改
DMIT Inc - NOC工作日志 pinned «TYO 计划维护 日本时间 8 月 23 日下午 3 点(中国标准时间下午 2 点) 持续时间: 每个节点 <= 60 分钟 硬件组件修改»
DMIT Inc - NOC工作日志
开始操作
完成,VM 应该都已经正常启动或者等待启动。如有问题请前往面板检查是否正常启动。
TYO 某节点出现内存异常,导致该服务器被异常重启,为了防止再次出现类似情况,我们将迁移走所有VM并全面检查该节点硬件,受影响的VM在迁移过程中可能会中断几次。
HKG Pro:

我们检测到异常的涓流流量。
DMIT 已部署防火墙规则,并从受影响客户的流量账单中扣除了一定计量。
TYO:

少量客户账号下多台服务器同时收到1Mpps 攻击,已更新缓解策略避免相邻客户受到影响。
账户余额 + 信用卡扣款自动续费功能已上线测试,欢迎测试并反馈 Bug。

您可以点进客户中心的左侧主菜单的“帐务”菜单项找到该功能页面,或通过下方的链接直达。

https://www.dmit.io/index.php?m=auto_renewal

自动续费功能默认不开启,您需要手动选择要开启自动续费的服务以及设定是否启用信用卡自动续费。

*该功能仍在测试期,可能存在未知的 bug,如果您发现有任何问题影响到您的服务续费,请及时通过工单联系我们。
DMIT已开通以下线路:

1. ASE:香港-东京
2. JUPITER:东京-洛杉矶

目前美国至香港/东京方向的流量较数月前及亚太地区其他GSL客户显著改善。

亚太地区返美流量仍通过GSL直连传输,因其拥塞较轻且可减少意外绕路风险。

SEA与MIA因存在路由泄漏及更差的延迟表现已被排除。SEA-LAX-TYO路径将增加SEA-TYO间的延迟。

待部署项目如下:
1. JUNO:TYO-LAX
2. PC1/NCP:TYO-SEA

JUNO部署完成后将提升容量并增加备用链路。
PC-1与NCP将提供备用支持,同时降低亚太-北美线路设计中的延迟。

=====
同时,DMIT观察到以下情况:
1. GSL仍存在新加坡-东京光纤离线问题。东京与新加坡间的流量需绕行香港,近期该路段已趋于饱和。

2. GSL突发性丢包率上升,可能因更多高风险目标接入GSL 以及 DDoS防护服务所致。

DMIT应对方案:
1. 增加保障 东京-新加坡 链路
2. 增加保障 香港-新加坡 链路
3. 完成 东京-西雅图 及JUNO链路连接

此举将有效缓解GSL骨干网的流量拥塞问题