43 秒断网、24 小时宕机:GitHub 2018 年 MySQL 故障转移与无法撤销的脑裂
Published:
这是 🔥 Incident Recap 系列第六篇。
先看一个框定整起事故的悬殊数字:43 秒的网络分区,24 小时 11 分钟的服务降级。网络不到一分钟就恢复了,数据库却花了一天。2018 年 10 月 21 日,更换故障 100G 光模块的例行维护切断了 GitHub 美国东海岸网络枢纽与其东海岸主数据中心之间的连接,持续 43 秒。就在这个窗口里,自动故障转移系统做了它被设计来做的事:判定主节点已消失,把美国西海岸的副本提升为主节点。应用层随即跟进,写入流量开始流向大洋彼岸。问题不在于故障转移触发了,而在于东海岸有几秒钟的写入从未到达西海岸——一旦两边各自持有对方没有的写入,就再也没有安全的回头路。系统有了两份主节点的真相,却没有任何办法把它们合并。
这就是本次事故的形状,也是这个系列此前没有覆盖过的一种。Meta BGP 宕机(第 1 篇)把工程师锁在了自己的机房门外。Cloudflare 正则宕机(第 2 篇)是一个坏 pattern 被十一个叠加原因放大。Fastly 宕机(第 3 篇)是一次合法配置变更唤醒了共享代码里的潜伏 Bug。AWS us-east-1 宕机(第 4 篇)是一个自我喂养的重试反馈回路。Knight Capital(第 5 篇)是一次部署唤醒了死代码、一次回滚扩散了故障。这一次是第六种形状:自动化完全按配置行事,故障转移成功了,恢复却还是花了一天——因为最难的部分从来不是恢复可用性,而是恢复正确性,而正确性必须一 TB 一 TB 地从备份里重建,同时全世界都在读到过期数据。
讲故事之前先说明来源。本文对照 GitHub 自己的 postmortem 写成,即 2018 年 10 月 30 日发表于 GitHub Blog 的《October 21 post-incident analysis》,以及当晚发布的同期报告《October 21 Incident Report》。除非正文明确标注为分析,本文中的每一个技术事实都来自这两份文件。GitHub 的 postmortem 对事故期间工程师的决策异常坦率,包括那些让事故变长的决策——而本文最有用的部分,正是 postmortem 用直白语言承认某个痛苦选择是深思熟虑之处。
背景:MySQL 在 GitHub 存什么,Orchestrator 是干什么的
首先要搞清楚到底是什么坏了,因为流行的说法——”GitHub 宕了一天”——在关键处是错的。Git 本身从未宕机。GitHub 在宕机期间发布的事故报告直接说了这一点:事故”只影响了存储在 MySQL 数据库中的网站元数据,例如 issue 和 pull request。Git 仓库数据未受影响,整个事故期间一直可用。”克隆、推送、拉取一直在工作。坏掉的是仓库周围的元数据层:pull request、issue、身份验证、后台处理——也就是网站向你展示的、关于一个仓库的一切,而不是仓库本身。
这些元数据存在 MySQL 里。GitHub 运行着多个大小不一的 MySQL 集群,从几百 GB 到近 5 TB,每个集群有数十个只读副本,采用按功能分片——不同种类的数据用不同的集群。应用把写操作发往各集群对应的主节点,大部分读操作交给一部分副本。集群的拓扑——哪台是主节点、哪台是副本、复制流向如何——由 Orchestrator 管理,这是一个 GitHub 用于 MySQL 集群管理和自动故障转移的开源工具。Orchestrator 基于 Raft 共识:一组 Orchestrator 节点选出一个 leader,由 leader 判定主节点是否故障、应该把哪个副本提升。
这个架构有两个属性,决定了后面发生的一切。第一,主节点与副本之间的复制在关键意义上是异步的:主节点上已确认的写入,并不保证在同一瞬间已经到达每个副本。总会有一个小窗口——通常是毫秒,有时是秒——主节点持有副本还没有的写入。第二,Orchestrator 的配置决定了被提升的主节点可以出现在哪里。用 postmortem 的话说,Orchestrator”可以实施应用层无法支持的拓扑”,所以它的配置必须与应用层实际能承受的情况对齐。这句话就是整起事故的缩影:故障转移系统和应用层对”哪些拓扑可以接受”有不同的想法,而此前没有人注意到,因为这种分歧从未被触发过。
时间线(均为 UTC 时间,2018 年 10 月 21–22 日)
| 时间 | 事件 |
|---|---|
| 10 月 21 日 22:52 | 更换故障 100G 光模块的例行维护切断了美国东海岸网络枢纽与东海岸主数据中心之间的连接,43 秒后恢复。分区期间,Orchestrator 在 Raft 下开始 leader 重新选举;位于美国西海岸数据中心与东海岸公有云的节点形成 quorum,开始把各集群故障转移到西海岸主节点。东海岸数据库服务器持有短暂的、未复制到西海岸的写入。 |
| 10 月 21 日 22:54 | 内部监控开始产生大量故障告警,工程师响应并分流。 |
| 10 月 21 日 23:02 | 首批响应者确认多个数据库集群的复制拓扑处于意外状态。查询 Orchestrator API 显示拓扑中只有美国西海岸的服务器。 |
| 10 月 21 日 23:07 | 响应团队手动锁定内部部署工具,防止进一步变更。 |
| 10 月 21 日 23:09 | 站点进入 yellow 状态,自动升级为 active incident 并通知事故协调员。 |
| 10 月 21 日 23:11 | 事故协调员加入;两分钟后状态改为 red。 |
| 10 月 21 日 23:13 | 确认问题影响多个数据库集群,数据库工程团队被呼叫。西海岸集群已摄入近 40 分钟的应用写入,而未复制的东海岸写入使得新写入无法复制回东海岸。GitHub 判定西海岸 30 多分钟的数据排除了除 fail forward 之外的所有选项。 |
| 10 月 21 日 23:19 | 停止写入推送等元数据的任务,暂停 webhook 投递与 GitHub Pages 构建——为保护已收到的数据而主动实施的部分降级。 |
| 10 月 22 日 00:05 | 事故团队开始执行计划:从备份恢复、在两地同步副本、回切到稳定的服务拓扑、再恢复排队的任务。备份每四小时运行一次,存储在远程公有云 blob 存储中。 |
| 10 月 22 日 00:41 | 所有受影响 MySQL 集群的备份恢复已经启动并受到监控。 |
| 10 月 22 日 06:51 | 数个集群已在东海岸数据中心完成备份恢复,开始从西海岸复制新数据。更大的集群仍在恢复中。状态页更新了两小时的预计恢复时间,该数字由复制遥测数据线性插值得到。 |
| 10 月 22 日 07:46 | GitHub 发布了一篇提供更多背景的博客文章——颇费周折,因为 GitHub 自己的博客运行在 GitHub Pages 上,而所有 Pages 构建已暂停数小时。 |
| 10 月 22 日 11:12 | 所有数据库主节点重新建立在美国东海岸。数十个只读副本仍落后主节点数小时,用户继续看到不一致的数据。复制追赶遵循幂律衰减函数,而非估计所假设的线性轨迹。 |
| 10 月 22 日 13:15 | 临近流量高峰,复制延迟不降反升。GitHub 开始在东海岸公有云中增配 MySQL 只读副本,分散读负载以便复制追赶。 |
| 10 月 22 日 16:24 | 副本同步后,GitHub 执行故障转移回到原始拓扑。状态被有意保持为 red,直到积压全部处理完毕。 |
| 10 月 22 日 16:45 | 超过 500 万个 hook 事件与 8 万次 Pages 构建排队。恢复处理时,约 20 万个已超过内部 TTL 的 webhook payload 被处理后丢弃。处理暂停,TTL 被临时调大。 |
| 10 月 22 日 23:03 | 所有待处理的 webhook 与 Pages 构建处理完毕,所有系统的完整性与正常运行得到确认,站点状态更新为 green。总计:24 小时 11 分钟的服务降级。 |
故障传播:43 秒、两份主节点的真相,和一天的重建
这张图有个值得注意的形状:故障本身只占顶部两个方框,下面全是恢复——而恢复占了图的大部分,因为恢复占了事故的大部分。
机制 1:一次针对短暂分区的故障转移——而且没有撤销
首先要理解的机制是:为什么 43 秒的分区会触发故障转移。网络分区正是共识系统被设计来推理的事件,而 Orchestrator 按自己的逻辑推理得完全正确。东海岸枢纽与主数据中心失去连接后,仍然能互相通信的 Orchestrator 节点——位于西海岸数据中心与东海岸公有云——形成了 Raft quorum。一个看不到主节点的 quorum 按设计会得出结论:主节点已消失。Orchestrator 接着做了它存在的意义:把副本提升为主节点,位置在西海岸,针对受影响的集群。43 秒后连接恢复,应用层立即开始把写流量导向新的西海岸主节点。故障转移快速、自动,而且按 Orchestrator 拥有的每一个度量来看,都是成功的。
这就是本系列质量门要求的因果链,用直白的话说出来:这次故障转移对短暂分区没有任何宽限期,对旧主节点也没有 fencing。持续 43 秒的分区,对于分区另一侧的共识组来说,与永远持续的分区无法区分——这正是共识协议的全部意义,也是它的全部危险。Orchestrator 不可能知道分区即将愈合,所以它按不会愈合来行动。而分区愈合后,没有任何东西阻止东海岸旧主节点继续持有写入,因为没有任何东西 fence 住它们:它们活着、健康、只是短暂地被隔离,而在这 43 秒里它们继续接受了西海岸副本从未收到的写入。故障转移系统把”不可达”当成”已死亡”,数据库服务器把”不可达”当成”继续工作”,两者都对,而组合起来产生了两段活生生的历史。
这个机制解释不了什么、也修不了什么。 加一个宽限期——”主节点不可达 N 秒之后才故障转移”——本可以阻止这一次事故,因为分区只持续了 43 秒。但宽限期是一种 tradeoff,不是修复:它用故障转移速度换取分区容忍度,而 N 的正确取值事先无法知道,因为下一次分区可能持续 44 秒,也可能持续四小时。更重要的是,宽限期修的是触发器,不是结构。结构性的缺陷是,故障转移系统被允许创建应用层无法支持的拓扑:主节点与写入它的应用隔着一个大陆。Postmortem 直接点名了这一点——Orchestrator 按配置行事,但它的配置允许跨区域边界提升数据库主节点,而应用层无法支持这一点,突然引入的跨洋延迟是主要的促成因素。实际落地的修复不是宽限期,而是一项配置变更:再也不允许主节点跨区域边界提升。
机制 2:脑裂——为什么两组写入无法合并
第二个机制是把一分钟的故障转移变成一天宕机的原因,也是关于这起事故最常被误解的一点。常见的说法是”故障转移去了错误的数据中心”,准确的说法是故障转移创造了一种没有安全逆向的状态。
事情的精确形状是这样的。43 秒分区期间,东海岸主节点接受了几秒钟的写入,这些写入从未复制到西海岸。总量很小——最繁忙的集群之一在受影响窗口内有 954 笔写入——但大小无关紧要,因为问题是结构性的,不是数量级的。与此同时,故障转移完成后,应用层向新的西海岸主节点写了大约 30 到 40 分钟,响应者才完全理解状况。于是到 23:13 UTC 时,两岸各自持有对方没有的写入:西海岸有数十分钟的新应用数据,东海岸有几秒钟从未离开过本楼的旧数据。
在 GitHub 当时运行的拓扑里,MySQL 复制无法合并两段分叉的历史。复制是一条单向流:副本按顺序应用主节点的二进制日志。如果你把西海岸主节点指向上游的东海岸,它会拒绝——或者更糟,悄悄冲突——因为东海岸的日志里有西海岸没有的写入,而西海岸的日志里也有东海岸没有的写入。对于两个都接受过写入的主节点,不存在”合并”操作,可用的操作只有破坏性的:选一边的历史,丢弃另一边的历史。回切到东海岸意味着丢弃 30 多分钟用户已经写入、且在许多情况下已经看到确认的写入;fail forward——留在西海岸——意味着丢弃几秒钟的东海岸写入,这些写入事后必须手工从二进制日志里恢复。
这就是为什么响应者在 23:13 UTC 得出结论:西海岸 30 多分钟的数据”排除了除 fail forward 之外的所有选项,以保证用户数据安全”。注意措辞:决策不是”fail forward 因为更快”,而是”fail forward 因为其他每个选项都会删除用户数据”。不对称就是全部的故事:一边是 30 分钟可见的、已确认的写入,另一边是几秒钟的写入。数据多的一边获胜,数据少的一边必须手工对账——这也是为什么 postmortem 发表九天后,GitHub 仍在手工对账那几秒钟的写入:他们已经从每个受影响集群捕获了包含未复制写入的二进制日志,正在分析哪些可以自动对账、哪些需要联系用户。
这个机制修不了什么。 恢复过程中的任何环节都修不了异步复制的根本不对称:主节点总会有一个窗口——再小也有——持有副本还没有的写入。半同步复制可以缩小这个窗口——它至少等待一个副本确认——但关不上它,而且当分区把主节点与所有副本同时隔开时(这正是这里发生的情况),它也帮不上忙。持久的修复不是复制模式,而是认识到:一次可能产生分叉写入的故障转移,是必须被 fence 的故障转移——要么在分区期间阻止旧主节点接受写入,要么不允许提升跨越那条让分叉无法恢复的边界。GitHub 选择的修复——把提升限定在区域内——属于后一种。
机制 3:恢复为什么花了一天——云端备份,与衰减而非线性的复制
Fail forward 的决策一旦做出,恢复计划的轮廓就很直接,执行起来却很残酷:从备份中恢复受影响的集群、在两地同步副本、回切到稳定的服务拓扑、再恢复排队的任务。计划从 10 月 22 日 00:05 UTC 开始,23:03 UTC 结束。以下是每个阶段花掉的时间都去了哪里。
备份在远端,而集群是 TB 级的。 GitHub 的 MySQL 备份每四小时运行一次,保留多年——但它们存储在远程的公有云 blob 存储服务中。恢复一个集群意味着把数 TB 数据从 blob 存储中传输出来,再把大型备份文件解压、校验、准备、加载到新配置的 MySQL 服务器上。Postmortem 明确指出,传输只是其中一部分:解压、校验、准备与加载”占用了大部分时间”。恢复流程本身每天至少测试一次,所以恢复所需的时间是清楚的——但 GitHub 此前从未需要从备份完整重建整个集群,之前依赖的是延迟副本等策略。经过测试的流程与经过实战演练的流程是两回事,而第一次全规模演练就发生在事故期间。事故后期,团队找到了一条更快的路径——直接从西海岸恢复,以绕过从异地存储下载的吞吐量限制——但这个发现来得晚了几个小时。
复制追赶遵循幂律衰减函数,而不是直线。 到 11:12 UTC,所有主节点回到了东海岸,网站的响应速度大幅提升,因为写入重新指向了与应用层位于同一物理数据中心的数据库服务器。但数十个只读副本仍落后主节点数小时,而读负载分散在一个很大的副本池里——于是任何一次请求都有相当大的概率落在落后数小时的副本上。用户看到的是不一致的数据:一个 issue 在一次页面加载时存在,下一次又消失了。状态页早些时候承诺的两小时预计恢复时间,是由复制遥测数据线性插值得到的,而实际的追赶遵循幂律衰减函数,而非线性轨迹——剩余延迟一开始缩得快,随后越来越慢——而且欧洲与美国用户醒来开始工作后写入负载上升,让它更慢。到 13:15 UTC,复制延迟不降反升。响应者的办法是在东海岸公有云中增配 MySQL 只读副本,把读量分散到更多服务器上,从而降低每台副本的利用率、让复制追赶上来。这就是值得记住的机制:副本延迟不是你落后多远的函数,而是副本在追赶时各自承载多少读负载的函数;增加读容量是一项合法的恢复动作,而不只是扩容动作。
事故状态被有意保持为 red。 16:24 UTC,副本同步后,GitHub 执行故障转移回到原始拓扑。但站点状态被有意保持为 red,直到积压全部处理完毕。Postmortem 直白地说明了理由:作为一个有意识的决定,为了数据完整性优先于更短的事故窗口,服务状态保持为 red,直到积压处理完毕、服务明显恢复正常表现。这与前一晚 23:19 UTC 的选择是同一个选择:暂停 webhook 投递与 Pages 构建,而不是拿已收到的数据冒险。一次事故里,GitHub 两次选择了更长的宕机来换取数据安全。这是一个站得住脚的选择,也是一个昂贵的选择,而 postmortem 把它作为一个选择来陈述并承担责任,而不是把它呈现为自然而然发生的事。
机制 4:积压,以及 20 万个超过 TTL 的 webhook
最后一个机制是把一次数据库恢复变成全平台降级的原因:积压。在事故的大部分时间里,GitHub 无法提供 webhook 事件,也无法构建与发布 GitHub Pages 站点。到 10 月 22 日 16:45 UTC,超过 500 万个 hook 事件与 8 万次 Pages 构建排队。排空这么大的队列不只是吞吐量问题,更是队列消费者能吸收多少的问题。Webhook 发往用户的服务器与生态合作伙伴——CI 系统、聊天集成、部署流水线。以全速释放 500 万个 webhook 有可能用通知洪水压垮合作伙伴的系统,所以排空速度必须与不拖垮别人系统之间的风险相平衡。
然后队列反咬了一口。恢复处理时,约 20 万个已超过内部 TTL 的 webhook payload 被处理后丢弃。TTL 的存在是为了限定一个 payload 在被视为过期之前可以停留多久;而积压的增长速度超过了这个上限。发现这一点后,GitHub 暂停了处理,并推送了一项变更,暂时调大了 TTL。这个细节之所以重要,是因为它是这起事故中二阶故障的缩影:一道为正常运行设计的保障(TTL),在积压条件下变成了数据丢失机制,而且它是在恢复进行到一半时悄悄触发的,触发的系统正是那个正在被恢复的系统。Postmortem 诚实地数了损失——约 20 万个 payload——而与数据库写入的对比很有启发性:数据库写入是手工对账的,一条二进制日志一条二进制日志地恢复;webhook payload 就这样没了,因为队列的 TTL 本质上就是一个带定时器的删除策略。
机制 5:估计错了——而且事故切断了自己的沟通渠道
还有两个较小的机制值得单独成节,因为它们都是本系列其他事故中反复出现的故障模式。
恢复估计建立在错误的曲线上。 06:51 UTC 左右发布的两小时估计,是由复制遥测数据线性插值得到的:如果延迟按这个速度缩小,两小时后归零。复制延迟不是线性缩小的,它遵循幂律衰减函数——一开始快,随后越来越慢——而估计也没有计入欧洲与美国用户醒来工作后上升的写入负载。结果是估计朝着侵蚀信任的方向错了:过于乐观,发布在状态页上,然后 visibly 落空。Postmortem 为造成的困惑道歉,并表示今后会努力提供更准确的信息。可迁移的教训比”估计得更好”更窄:当你外推一条恢复曲线时,先说出你假设的是哪条曲线,并检查系统自身的动态——负载上升、每副本利用率、积压增长——是否会把它弯曲。对一个衰减过程做线性外推不是粗略估计,而是一个错误的模型,而且它每次都会朝着同一个方向错。
事故切断了 GitHub 用来谈论事故的渠道。 GitHub 的博客运行在 GitHub Pages 上,而所有 Pages 构建自 10 月 21 日 23:19 UTC 起就已暂停,这是主动降级的一部分。所以当团队想在 10 月 22 日 07:46 UTC 发布一篇提供更多背景的博客文章时,发布颇费周折——postmortem 直接这么说,并为延迟道歉,指出团队本来打算早得多发出这篇沟通。这起事故切断了公司自己的事故沟通管道。这是与本系列第 1 篇 Meta BGP 宕机相同的故障类别:网络故障切断了修复网络所需的工具。一般形式是:你的沟通路径、部署路径与监控路径都运行在正在宕机的系统上。如果博客托管在正在宕机的平台上,关于宕机的文章要等到平台修复后才能发出。GitHub 的后续行动——加速迁移到新的状态报告机制,用更丰富、更清晰的语言展示各平台组件的状态,而不只是 green、yellow、red——是对此的部分回答,但更深的回答是 postmortem 技术举措中列出的那一条:以 active/active/active 设计从多个数据中心提供服务,让任何一个设施的故障都无法同时切断平台及其自己的声音。
什么能阻止它——以及什么不能
Postmortem 自己的”下一步”列出了修复措施,按 GitHub 列出的顺序读很有价值,因为顺序揭示了 GitHub 认为什么是结构性的、什么是常规的。
- 把 Orchestrator 的提升限定在区域内。 调整 Orchestrator 配置,防止数据库主节点跨区域边界提升。区域内的 leader 选举一般是安全的;突然引入的跨洋延迟是主要的促成因素。这是一行就能写完的修复,而且它本可以阻止整起事故:如果故障转移无法跨越区域,东海岸 43 秒的分区就无法在西海岸创建主节点,也就不会有需要对账的分叉历史。
- 以 active/active/active 从多个数据中心提供服务。 加速几周前就已启动的全公司举措,支持以 N+1 设施级冗余从多个数据中心提供 GitHub 流量,目标是容忍单个数据中心的完全故障而不影响用户。这是真正的修复,而 postmortem 诚实地表示这是一项重大工程,需要一些时间。注意修复 1 与修复 2 之间的关系:修复 1 把自动化约束在应用今天能支持的拓扑内;修复 2 重建应用,让它能支持自动化想要创建的拓扑。一个是护栏,另一个是路。
- 在故障影响用户之前验证故障场景。 开始系统性地验证故障场景,包括未来在故障注入与混沌工程工具上的投入。GitHub 称这起事故为”涌现行为”,并指出此前从未见过如此规模的内部网络分区。这个分区不是任何人测试过的故障,因为它从未发生过——而这正是故障注入存在的意义:在它自然发生之前,人为制造它。
- 更好的状态报告。 加速迁移到新的状态报告机制,用更丰富、更清晰的语言展示各平台组件的状态,而不只是 green、yellow、red。
还有一个诚实的边界:这些修复没有一个针对 43 秒的分区本身。更换故障光模块的例行维护造成了连接丢失,而 postmortem 没有详细说明更换操作为什么会让链路断开。想从 postmortem 里找一个关于技术员失误的故事的读者是找不到的,而编造一个会是在填补一手来源有意留下的空白。严谨的说法是结构性的:一个把短暂分区当作永久故障来对待的系统,迟早会遇到一次短暂分区,而那次事件的代价不是由分区决定的,而是由它下游的一切决定的。
值得偷走的教训
- 故障转移系统与应用必须对”哪些拓扑合法”达成一致。 Orchestrator 可以实施应用层无法支持的拓扑,而配置允许它这么做。Postmortem 的措辞就是教训:自动化配置必须与应用层的期望对齐。审计你自己的故障转移自动化时,要问它被允许创建什么拓扑,而不只是它通常创建什么拓扑,并检查你的应用是否真的能在每一种拓扑上运行。
- 没有 fencing 的故障转移,就是在等一次分区来制造脑裂。 如果旧主节点在新主节点被提升的同时还能继续接受写入,你得到的就不是一个历史,而是两个历史。要么 fence 住旧主节点,要么不要提升。最繁忙集群上的 954 笔写入只是几秒钟的流量,却花了九天手工对账,因为分叉写入不是数量问题,而是逻辑问题,它的代价不随规模变化。
- 回切不是故障转移的逆操作。 两个方向之间的不对称就是这起事故:一边 30 分钟已确认的写入,让反方向变成了一次数据删除操作。在设计故障转移之前,先设计回切,并问每个方向会丢弃什么状态。如果答案是”数据少的那一边”,那你就有了一个只能朝一个方向移动的故障转移——而你应该在需要它朝另一个方向移动的那个夜晚之前就知道这一点。
- 经过测试的恢复流程不等于经过实战演练的恢复流程。 GitHub 每天测试备份恢复,却从未需要从备份完整重建整个集群。第一次全规模重建就发生在事故期间,暴露了真实的成本:远程 blob 存储传输、解压、校验、准备、加载。要按时钟、用真实的存储路径全规模测试恢复——而不只是测试脚本。
- 副本延迟是读负载的函数,而不只是落后距离的函数。 增加只读副本是一项恢复动作,而不只是扩容动作:分散读量降低了每台副本的利用率,让复制追赶上来。当你的副本落后时,第一个问题应该是它们在追赶时各自承载了多少负载,而不只是落后了多远。
- 对衰减过程做线性估计,是一个错误的模型,而不是粗略的估计。 复制追赶遵循幂律衰减函数,而两小时的估计是线性插值得到的,错在了乐观的方向。在发布数字之前,先说出你假设的是哪条曲线,并在负载特征发生变化时重新检查它。
- 事故沟通路径必须在事故中存活。 GitHub 的博客运行在 GitHub Pages 上,而 Pages 构建在降级期间被暂停了——于是解释宕机的文章无法按时发出。同样的故障出现在本系列第 1 篇中,网络宕机切断了修复它所需的工具。把状态页、博客与事故工具放在与它们所描述的系统不共享命运的基础设施上。
- TTL 是一个带定时器的删除策略——检查它在积压时会删除什么。 约 20 万个 webhook payload 在恢复期间因为超过内部 TTL 而被丢弃。TTL 在正常条件下是一道合理的保障,在积压条件下是一台悄悄的数据丢失机器。你的系统里每一个 TTL、保留窗口与过期时间都有一个积压场景;在积压找到它之前,先找到它。
- 选择数据完整性而非可用性是一个选择——说出来,并承担代价。 GitHub 在 23:19 UTC 暂停了 webhook 与 Pages 构建,又在次日 16:24 UTC 有意保持状态为 red,两次都选择了更长的宕机来换取数据安全。Postmortem 把这两者都呈现为深思熟虑的决定,并附上理由。如果你的事故流程是隐式地做出同样的选择——在有人发话之前冻结一切——那它仍然是一个选择,只不过是没有经过思考的选择。提前把它明确下来,这样凌晨三点做出的决策,就是你已经同意过的那个。
Postmortem 没有说的内容
这是本文的诚实账本。GitHub 的 postmortem 尽管坦率,仍然没有披露:受影响的数据库集群的确切数量;光模块更换操作为什么会让链路断开(除了这是更换故障设备的例行维护这一事实);最终有多少用户因未复制的写入而被联系,或手工对账的最终结果——postmortem 发表九天后,对账仍在进行中;以及除最繁忙集群之一的 954 笔写入这一单个例子之外,各集群的写入数量。当晚发布的同期事故报告说”没有数据丢失”——而九天后的 postmortem 把这句话放宽为”最终没有用户数据丢失;但几秒钟数据库写入的手工对账仍在进行中”。如果对账最终成功,这两句话是一致的,但 postmortem 并没有确认它成功了。本文按发表时的原样报告这两句话,不声称一手来源没有给出的最终对账结果。
与本系列其他几篇的对比值得一提。Knight Capital 自己没有发布过 postmortem——SEC 替它发布了一份。GitHub 在事故九天后发布了自己的 postmortem,时间线、决策、错误的估计、20 万个被丢弃的 webhook 都写在里面。Postmortem 对自己响应中的错误也异常具体,包括估计与延迟的博客文章。这种具体性正是这起事故能成为有用案例、而不只是一个警示故事的原因:把自动化如何跑赢应用写下来的公司,下一次故障转移时不太可能重蹈覆辙。
Sources
- GitHub Engineering(Jason Warner),”October 21 post-incident analysis”,GitHub Blog,2018 年 10 月 30 日(2021 年 12 月 19 日更新)。https://github.blog/news-insights/company-news/oct21-post-incident-analysis/ — 除非另有注明,本文的一切内容以此为主要来源:43 秒分区与故障的 100G 光模块(22:52 UTC);Orchestrator 的 Raft leader deselection 与西海岸 quorum;未复制的东海岸写入与无法安全回切;从 10 月 21 日 22:54 UTC 到 10 月 22 日 23:03 UTC 的完整时间线;24 小时 11 分钟的服务降级;fail forward 的决策与西海岸 30 多分钟的写入;23:19 UTC 暂停 webhook 与 Pages 构建;备份恢复计划与远程公有云 blob 存储;两小时估计及其线性插值;幂律衰减的复制追赶;东海岸公有云中增配的只读副本;16:24 UTC 回切到原始拓扑与有意保持 red 状态的决定;500 万个排队的 hook 事件、8 万次排队的 Pages 构建、约 20 万个被丢弃的 webhook payload;最繁忙集群之一的 954 笔写入与仍在进行的二进制日志手工对账;Orchestrator 跨区域配置修复;active/active/active 举措;以及故障注入与混沌工程的承诺。
- GitHub(Jason Warner),”October 21 Incident Report”,GitHub Blog,2018 年 10 月 21 日(2021 年 12 月 19 日更新)。https://blog.github.com/2018-10-21-october21-incident-report/ — 事故期间发布的同期报告:网络分区与随后的数据库故障;暂停 webhook 事件与其他内部处理系统;只影响 MySQL 元数据(issue、pull request)、Git 仓库数据未受影响且整个事故期间一直可用的说明;以及当晚发布的”没有数据丢失”的声明。
- 标注为分析的部分——宽限期 tradeoff 论证、fencing 论证、故障转移/回切不对称的解读、”经过测试与经过实战演练的恢复”之辨、副本延迟作为读负载函数的解读、对线性与幂律衰减估计的批评、以及事故沟通单点故障的解读——是作者根据 postmortem 的事实与标准分布式系统实践所作的推理,不是 GitHub 的陈述。Postmortem 保持沉默的地方(受影响集群的数量、光模块更换导致链路断开的原因、最终对账结果),本文如实说明,而不填补空白。
Share on
Twitter Facebook LinkedIn☕ Buy me a coffee! 💝
If you found this article helpful, consider buying me a coffee to support my work! 🚀
