死代码与活开关:一台漏掉的服务器,如何让 Knight Capital 在 45 分钟里亏掉 4.6 亿美元

7 minute read

Published:

English version 英文版

这是 🔥 Incident Recap 系列第五篇。

先看一个框定整起事故的数字:45 分钟里亏掉 4.6 亿美元。平均每分钟约 1000 万美元。亏掉这笔钱的不是一笔糟糕的交易,不是一次市场崩盘,也不是黑客——是一次部署。2012 年 8 月 1 日,美国最大的做市商之一 Knight Capital Group 向订单路由器部署新代码,技术员把代码拷到了八台服务器中的七台,漏掉了第八台。在第八台服务器上,一个开关曾经的意思与现在的意思不再相同,而它唤醒的那段代码 2003 年就已停用、停止条件自 2005 年起就已损坏。路由器在接下来的 45 分钟里以机器速度在 154 只股票上高买低卖,因为系统里没有任何东西能让它停下来——而本应发现问题的系统在开盘前就发出了 97 封警告邮件,没有人读过。

这就是本次事故的形状,也是这个系列此前没有覆盖过的一种。Meta BGP 宕机(第 1 篇)把工程师锁在了自己的机房门外。Cloudflare 正则宕机(第 2 篇)是一个坏 pattern 被十一个叠加原因放大。Fastly 宕机(第 3 篇)是一次合法配置变更唤醒了共享代码里的潜伏 Bug。AWS us-east-1 宕机(第 4 篇)是一个自我喂养的重试反馈回路。这一次是第五种形状:一次从未被验证的部署、一段从未被删除的死代码、一个七年前就已损坏却无人知晓的停止条件——以及让它从一起事故变成一个经典案例的细节:回滚没有控制住故障,反而把故障扩散到了每一台服务器。这起事故里的每一道护栏都存在过,几乎每一道都接不上任何能真正采取行动的东西。

讲故事之前先说明来源。与本系列其他几篇不同,Knight Capital 自己没有发布过 postmortem。权威记录是监管机构写的:美国证券交易委员会(SEC)2013 年 10 月 16 日发布的行政命令,Release No. 34-70694。十页、按段落编号的文本,几乎没有任何形容词,而且异常完整——因为 SEC 有传票权、能拿到内部邮件、有一整年的调查时间。除非正文明确标注为当时的媒体报道,本文中的每一个技术事实都来自这份命令或 Knight 自己的 SEC 申报文件。Knight 是在不承认也不否认调查结论的前提下和解的,这是标准形式;下面的事实是 SEC 的调查结论,不是 Knight 的自认。

背景:一家占了十分之一市场的公司,和一个负责拆单的路由器

Knight Capital Americas LLC 总部位于新泽西州泽西市,不是边缘玩家。2011 至 2012 年间,Knight 的总交易量(自营加客户)一般约占全美上市股票总交易量的十分之一。它的自动化订单路由器 SMARS(Smart Market Access Routing System)一家就一般占上市股票总交易量的约 1% 以上。一个占这么大市场份额的系统一旦失灵,失灵就不再是自家的难堪,它会让所有其他人的价格都跟着动。

SMARS 只做一件事,而这件事的结构就是整起事故。SMARS 接收 Knight 交易平台其他组件传来的订单——”母单”(parent order),再根据市场流动性,把母单拆成一笔或多笔”子单”(child order)发往外部交易场所执行。一笔 1 万股的母单,可能变成十几笔每笔几百股的子单,发到有流动性的地方去。这项工作里最关键的一台机器是累计成交量函数:子单成交时,它累计母单已经成交的股数,母单全部成交后就指令路由器停止发送子单。母单是一条有限的指令,而计数器就是让它有限的东西。

SMARS 里住着一个叫 Power Peg 的旧函数。Knight 2003 年就停用了它,但代码既没有删除也没有停用——它继续留在生产服务器上,可以被调用,沉睡了九年。这是链条里的第一个决定,也是整个故事里最平常的一个决定。删代码感觉上比留着代码更冒险:这个函数现在哪里都不调用,测试都通过,系统运转正常。留着它看上去不花任何成本。九年后它让 Knight 付出了 4.6 亿美元,因为”哪里都不调用”说的是今天的代码路径,而不是明天的。

第二个决定发生在 2005 年。Knight 把 Power Peg 代码里累计股数函数的跟踪逻辑移到了 SMARS 代码序列中更靠前的位置——SEC 的命令没有说为什么这么移,只记录了这件事——并且移动之后没有重新测试 Power Peg,以确认它在被调用时是否还能正常工作。这次移动损坏了停止条件。如果 2005 年之后有人调用 Power Peg,它会不顾已经成交了多少股而一直发送子单。没有人知道,因为没有人调用它,也没有人测试它。这个 Bug 在它发作的那个早上已经七岁了,而且一次都没有显现过——而这正是它还留在那里的原因。

时间线(均为美东时间,2012 年 8 月 1 日,除非另有注明)

时间事件
2003 年Knight 停用 SMARS 中的 Power Peg 函数,代码未删除、未停用。
2005 年Knight 把 Power Peg 里累计成交量函数的跟踪逻辑移到代码序列中更靠前的位置,移动后未重新测试 Power Peg,停止条件被悄悄损坏。
2011 年 7 月 14 日SEC 市场准入规则(Rule 15c3-5)合规截止日。Knight 内部评估认为其风控满足规则——评估没有考虑 SMARS 可能失灵的情况。
2011 年 10 月Knight 的 Lead Market Making 交易台在一次灾备测试后误用测试数据进行实盘报价,亏损近 750 万美元。Knight 只针对这一个系统做了狭窄修复,没有追问其风控能否一般性地防止错误订单。
2012 年 3 月Knight CEO 签署市场准入规则年度认证,认证写的是公司有”流程”来遵守规则,而不是其风控符合规则。起草错误是无意的,也没有人注意到。
2012 年 7 月 27 日Knight 开始分阶段向各服务器部署为纽交所 Retail Liquidity Program 准备的新 SMARS 代码,逐日进行。一名技术员没有把新代码拷到八台 SMARS 服务器中的一台。没有第二名技术员复核这次部署,Knight 也没有要求复核的书面流程。
8 月 1 日约早上 8:01盘前 RLP 订单到达。Knight 内部系统开始生成自动邮件,提及 SMARS、报告一处被描述为”Power Peg disabled”的错误。开盘前 9:30 之前,97 封这样的邮件到达了一组 Knight 员工手中。它们不是作为系统告警设计的,平时也基本没人看,没有人采取行动。
8 月 1 日早上 9:30市场开盘,纽交所 Retail Liquidity Program 上线。七台正确更新的服务器正常处理 RLP 订单。第八台服务器上,带有被复用开关的订单触发了有缺陷的 Power Peg 代码。
8 月 1 日约 9:30–10:15约 45 分钟里,SMARS 为 212 笔母单发送了数百万笔子单,在 154 只股票上达成 400 多万笔成交、超过 3.97 亿股。Knight 被动持有约 35 亿美元净多头(80 只股票)与约 31.5 亿美元净空头(74 只股票)。其间工程师从七台好的服务器上卸载了新 RLP 代码——这反而让 Power Peg 在那些服务器上也苏醒了。
8 月 1 日约 45 分钟后Knight 停止发送错误订单,资金流结束时被动持有的总头寸约 66.5 亿美元。
2012 年 8 月 2 日Knight 在 8-K 文件中披露税前亏损约 4.4 亿美元。股价在事故当天跌去约三分之一,到次日已累计蒸发约四分之三(当时的媒体报道)。
2012 年 8 月 5–6 日以 Jefferies 为首的财团(Blackstone、Getco、TD Ameritrade、Stifel、Stephens)同意注资 4 亿美元:2% 可转换优先股,可按每股 1.50 美元转换为普通股,约占公司 73% 的股份。
2012 年 12 月Knight 同意被 Getco 收购。
2013 年 7 月 1 日Knight 与 Getco 的合并完成,组建 KCG Holdings。事故发生不到一年,Knight 失去了独立性。
2013 年 10 月 16 日SEC 命令 Knight 支付 1200 万美元民事罚款,罪名是违反市场准入规则与 Regulation SHO——这是 SEC 依据市场准入规则作出的首例执法行动。

读这张表有两个注意事项。第一,SEC 命令给出的失控交易持续时间是”约 45 分钟”,没有说明订单停止的准确时钟时间;”约早上 10:15”是当时媒体报道据此推算的时间,本文将其视为约数。第二,亏损数字有三个,因为三份文件量的是三样东西:Knight 在 8 月 2 日估计的税前亏损约 4.4 亿美元;SEC 最终认定的、在这些被动头寸上实现的亏损超过 4.6 亿美元;Knight 的 10-K 年报把交易亏损记为 4.576 亿美元。它们是同一事件的不同会计口径,不是相互竞争的说法,本文用 SEC 的”超过 4.6 亿美元”作为标题数字,因为它是经过调查的最终数字。

故障传播:一份漏拷的代码、一个被复用的开关,和一次扩散故障的回滚

graph TD; A["纽交所散户流动性计划于 2012 年 8 月 1 日上线"] -->|"为新计划编写代码"| B["新 SMARS 代码本应取代 Power Peg"]; B -->|"7 月 27 日起手动分批拷贝"| C["八台服务器中有七台拿到新代码"]; C -->|"一台服务器被漏掉"| D["第八台服务器仍在跑旧的 Power Peg 代码"]; B -->|"开关被复用"| E["旧开关现在表示运行新 RLP 代码"]; E -->|"每笔 RLP 订单都带有该开关"| D; D -->|"成交计数器自 2005 年起损坏"| F["Power Peg 不停发送子单"]; F -->|"212 笔母单"| G["154 只股票上超过 400 万笔成交"]; G -->|"被动持有的头寸"| H["多空合计 66.5 亿美元"]; H -->|"平掉这本书"| I["亏损超过 4.6 亿美元"]; J["工程师从七台好的服务器上卸载新代码"] -->|"回滚移除了替代品"| K["Power Peg 在全部八台服务器上苏醒"]; K -->|"更多母单撞上 Power Peg"| F; L["开盘前 97 封警告邮件"] -->|"不是作为告警设计的"| M["没有人及时读到它们"];

这张图里有一个回路,而回路就是事故本身——但要注意回路在哪里。它不在市场里,也不在网络里,它在诊断过程里。工程师的修复动作给故障喂了料。

机制 1:损坏的计数器——一个 2005 年就不存在了的停止条件

把一次部署失误变成 4.6 亿美元亏损的机制,小到可以用一段话说清,而这种”小”正是重点。Power Peg 的工作是不断发送子单,直到母单被填满,然后停下。”然后停下”这部分就是累计成交量函数:一个计数器,累计已成交股数,母单成交完毕就切断资金流。2005 年,Knight 把这个计数器移到了 SMARS 代码序列中更靠前的位置。SEC 命令的措辞干巴巴的、但很精确:移动之后,代码没有经过重新测试,”以确认 Power Peg 在被调用时是否仍能正常工作”。

这次移动在功能上造成的结果,是计数器与决策脱钩。2012 年 8 月 1 日早上,第八台服务器”快速连续地为每笔收到的母单发送子单,完全不顾交易中心已经回报的成交股数”。而让这件事从一个编码错误变成系统性故障的细节是:Knight 订单处理系统的另一个部分确实识别出母单已经被填满了——但这个信息没有传给 SMARS。订单已经成交的知识存在于公司内部,就在发送订单的组件隔壁,而需要它的路由器看不见它。成交信号与发送回路分属不同系统,中间没有任何通道,于是回路处于开环状态——没有反馈、没有终止条件、没有自然的终点。它在 45 分钟后结束,是因为人把它停了下来。

这就是本系列质量门要求的因果链,用直白的话说出来:故障不是”代码里有个 Bug”。故障是 2005 年移动了一个计数器且没有重新测试,从而去掉了发送订单的回路里唯一的终止条件;再加上成交信号住在另一个组件里、从来没有接进路由器;再加上一场部署在生产服务器上重新激活了这个回路。这三件事缺了任何一件,8 月 1 日都会是平静的一天。而这三件事都已经同时成立多年了——计数器自 2005 年起、未接线的信号自该架构成形起、死代码自 2003 年起。部署只是扳机,枪是七年前就上好膛的。

这个机制解释不了什么、也修不了什么。 2005 年做一次重新测试就能发现损坏的计数器——SEC 明确说了这一点——但重新测试只是针对一个点缺陷的点修复。它不会删掉死代码,不会验证部署,也不会在任何其他缺陷唤醒同一函数时让路由器停下来。更深的缺陷在架构层面:一个向市场发送订单的系统,没有独立检查其输出是否与输入相符,也没有办法在自身行为失常时让自己停下来。修好计数器修的是这一次,它修不了这一类——也就是一个发送订单的回路,没有系统自身可以强制执行的终止条件。

机制 2:无人验证的部署——手动拷贝、复用的开关、没有第二双眼睛

部署本身是整个故事里最容易引起共鸣的部分,因为每个后端工程师都做过类似的事。从 2012 年 7 月 27 日起,Knight 分阶段部署新的 RLP 代码,”在连续几天里每次只放到 SMARS 的部分服务器上”。技术员手工把代码拷到各台服务器上。八台里有一台没有拷上。Knight 没有安排第二名技术员复核这次部署,也没有人意识到第八台服务器上的 Power Peg 代码没有被移除、新 RLP 代码没有加上。Knight 没有要求这种复核的书面流程。

这次部署有三个属性,把一次漏拷变成了灾难,而每一个属性都是一次独立的设计选择。

第一,部署是手动的、未经验证的。 没有部署清单,没有校验和比对,没有自动确认八台服务器运行的是同一个构建。唯一的验证就是技术员自己记得自己做过。漏掉一台服务器不是什么罕见的故障模式,它是手动多服务器部署的默认故障模式。SEC 的反事实陈述得很直白:”一份要求对 RLP 代码部署做简单二次检查的书面流程,本可以发现有台服务器被漏掉,从而避免 8 月 1 日的事件。”

第二,新代码复用了旧开关。 新 RLP 代码需要一个激活开关,Knight 没有新建一个,而是复用了曾经激活 Power Peg 的那个开关。这个计划按其自身逻辑是自洽的:新代码本来就是要取代路由器那一部分里的 Power Peg,Knight 也打算删除 Power Peg 代码,这样开关设为”是”时,触发的就是新的 RLP 功能,而不是 Power Peg。这个计划让开关的含义依赖于删除动作在所有服务器上、同时、完整地发生。复用开关就是一种耦合:它把新行为的正确性,系在了旧行为被清除的完整性上。七台服务器上替换发生了,开关表示新的意思;第八台上替换从未发生,开关表示的意思和它一直以来的意思完全相同。开关没有失灵,它做了开关都会做的事——选择了实际安装的那份代码。

第三,所有这些都没有书面流程。 Knight 没有针对 SMARS 的书面代码开发与部署流程——尽管 Knight 的其他团队有。它不要求第二名技术员复核部署,也没有关于访问生产服务器上未使用代码的书面规程,例如要求在访问后测试相关代码以确认其仍能正常工作。缺失流程不是文书工作的抱怨。书面流程是把”技术员记得”变成”系统验证”的东西,是把”我们应该重新测试一下”变成”代码发布前重新测试必然发生”的东西。Knight 对其最关键的系统——承载约 1% 全美上市股票交易量的路由器——的部署流程,建立在个人的细心之上,而个人的细心漏掉了一台服务器。

机制 3:看得见却动不了的护栏

SEC 命令里最有杀伤力的一节不是关于 Bug 或部署的,而是关于风控的,因为 Knight 有风控——好几道——而每一道都以不同、但都值得学习的方式失效了。它们的模式都一样:风控能观察到问题,但不能阻止订单。只能检测、不能强制执行的东西是仪表盘,不是护栏。

不适用的价格上限。 Knight 有一道风控,把母单(以及相关子单)的限价限制在 SMARS 收到母单时全国最优买卖价上下 9.5% 的范围内。这是一道真实的风控,在这里失效有两个独立的原因:当全国最优买卖价的移动幅度小于 9.5% 时,它无法阻止错误订单——而大部分损失正是在这个区间内以小步、反复的方式造成的;而且它根本不适用于开盘前收到、 intended for 开盘集合竞价的订单,而 212 笔母单恰恰就是这类订单。一道例外情形恰好覆盖事故形态的风控,对这起事故来说就不是风控。

没有接上任何东西的头寸限额。 Knight 给一个名为”33 账户”的账户设定了 200 万美元的总头寸限额,这个账户临时持有那些 Knight 的系统无法与母单未成交数量匹配的成交所产生的头寸——正是 Power Peg 正在制造的那类成交。但 Knight 没有把 33 账户与任何关于公司整体金融敞口的自动风控连接起来。8 月 1 日早上,33 账户开始累积异常庞大的头寸。由于没有任何东西把它与一个预设的、全公司范围的资本阈值连接起来从而在超限时阻止订单进入,SMARS 在母单早已被完全成交的情况下继续发送了数百万笔子单。最终的总头寸约 66.5 亿美元——大约是该账户 200 万美元限额的 3300 倍。而且由于 33 账户持有来自多个来源的头寸,Knight 的人员无法快速判断其中累积头寸的性质或来源。限额存在,执行不存在,而那个本可以告诉人们限额已被突破的数字,埋在了一个混合账户里。

只能看的监控。 Knight 主要的风险监控工具 PMON 是一个成交后头寸监控系统。开盘时,高级人员观察到 33 账户中有大量头寸在累积。但 PMON 没有与订单录入连接,因此当 Knight 超过预设资本阈值或总头寸限额时,它无法自动停止订单录入。它完全依赖人工监控,不会对公司的金融敞口生成自动告警,甚至不显示各账户或交易组的限额——看 PMON 的人必须事先知道适用的限额,才能认出某个限额已被突破。而在大成交量期间,PMON 还会出现延迟,导致报告不准确。于是在最需要它的时刻,监控工具是迟缓的、沉默的,而且缺失了唯一能让它的数字变得可解读的上下文——限额。这就是可观测性失效最纯粹的形式:系统能看见头寸在累积,而按设计,它对此无能为力。

缺失的风控,列成清单。 Knight 在 SMARS 内部没有风控来比对离开 SMARS 的订单与进入 SMARS 的订单——对一个路由器来说,这是最基本的检查:进与出。它没有在 SMARS 自身行为失常时 halt SMARS 的流程。它没有与自动风控挂钩的、全公司范围的预设资本阈值。SEC 的市场准入规则在 2010 年 11 月通过时,要求正是这些:系统性地防止错误订单录入、防止超过预设信用与资本阈值的订单录入。Knight 的风控存在于 SMARS 的上游——客户接口、订单管理系统、内部执行系统——但不在 SMARS 本身,也就是订单提交给市场之前的那一刻。门建得到处都是,唯独没建在门口。

这些护栏修不了什么。 即便 SMARS 内部有一道完美的盘前风控,它也只是一道针对这一个路由器输出的风控,修不了部署流程、修不了死代码、也修不了那个给系统做了认证的合规审查。护栏的教训比”多加风控”更窄、也更有用:不能让资金流停下来的风控不是风控,它是一份报告。审核自己的风控时,要对每一道问一句:如果它触发了,有什么东西会停下来吗?如果答案是”有人看到一个数字”,那你拥有的是监控。监控是必要的,但不够。强制执行必须发生在行动点上,而且限额必须是执行系统自己能读到、能采取行动的。

机制 4:扩散故障的回滚——以及 97 封没人读的邮件

SEC 命令里有两个细节值得单独成节,因为正是它们把一个糟糕的早上变成了一家公司的终结。

回滚。 在失控交易进行期间,Knight 的技术团队试图在实盘交易环境中定位并修复问题——当时没有任何指导应对流程的监管程序,也没有任何关于何时把失灵系统与市场断开的规程。在一次尝试中,他们从七台正确部署了新代码的服务器上卸载了新 RLP 代码。他们的推理可以理解:麻烦是从新代码开始的,那就把新代码拿掉。但新代码是那些服务器上 Power Peg 的替代品。把它拿掉之后,旧的 Power Peg 代码——仍然存在、仍然可以调用、仍然是坏的——成了被复用的开关唯一能激活的东西。回滚把一个只存在于一台服务器上的故障,放到了全部八台服务器上。此后收到的母单也在那些服务器上激活了 Power Peg,”与第八台服务器上已经发生的情况类似”。这是整起事故里最值得迁移的机制:在对故障的错误心智模型下实施的修复,会放大故障。工程师相信新代码就是问题,而问题其实是新代码一直在掩盖的旧代码。每一次回滚、每一次还原、每一次”先恢复原样再说”,只要被还原的系统里藏着一个新代码一直在压制的潜伏缺陷,就带有这种风险。防范它的办法不是停止回滚,而是在回滚之前就知道:之前的状态里到底有什么——而这需要的正是导致事故的那份部署清单。

97 封邮件。 开盘之前,Knight 收到了指定用于盘前交易的 RLP 订单。从大约早上 8:01 起,内部系统开始生成自动邮件——称为”BNET rejects”——提及 SMARS,报告一处被描述为”Power Peg disabled”的错误。开盘前 9:30 之前,97 封这样的邮件到达了一组 Knight 员工手中。这些邮件是实时发送的,由代码部署失败引起,用 SEC 的话说,”为 Knight 提供了一个在开盘前识别并修复代码问题的潜在机会”。开盘前没有人据此采取行动,开盘后也没有人用它们来诊断问题。

这些邮件是整个故事里最人性化的部分,而机制比讽刺更重要。Knight 没有把这些消息设计成系统告警,员工平时收到时一般也不会去看。它们是一份以邮件形式投递的拒绝日志——一个副产品数据流,而不是告警通道。系统在出事前九十分钟、实时地、说了九十七遍那个即将摧毁公司的东西的名字,而组织里没有任何路径能让这个信号到达一个会采取行动的人。失败不在于人们无视了警告,而在于警告从来没有被设计成警告,因此没有人的工作是读它。一封没有指定阅读者的告警不是告警,它是一份带收件人列表的日志文件。SEC 的反事实陈述同样直白:”如果有一套流程把 BNET Reject 消息整合进 Knight 对其系统的监控,同样可以防止 8 月 1 日的事件。”

机制 5:给一个自己没有检查过的系统做了认证的合规层

事故的第五个机制解释了为什么之前一年里没有任何一道检查发现上述问题——而它是最让后端团队有共鸣的一个,因为它关乎流程,不关乎代码。

市场准入规则(Rule 15c3-5)于 2010 年 11 月通过,要求有市场准入资格的券商建立、记录并维护风险管理风控与监管程序,合理设计以管理准入风险——包括针对错误订单与超过预设资本阈值的订单的盘前风控——并由 CEO 每年认证风控符合规则。Knight 的合规部门在 2011 年 7 月 14 日合规截止日之前就开始了评估,参与者得出结论:风控满足规则。但评估”主要集中在清点 Knight 已有的风控并确认它们按预期运转”,没有考虑 SMARS 内部可能出现的问题,也没有考虑 SMARS 失灵的后果,更没有考虑 PMON 无法阻止超过资本阈值的订单录入。评估清点的是已有的东西,从来没有问过缺了什么。

文档更糟。规则要求的那份风控书面描述——部分作用是让监管机构能够检查公司——是不完整的,有些地方还不准确。2011 年 9 月的一份草稿漏掉了 Knight 自营的 Electronic Trading Group,那是其交易量的重要来源。2012 年 1 月的修订版补上了 ETG,却缺了 Lead Market Making 交易台和其他重要系统。LMM 交易台直到 2012 年 7 月——合规截止日之后近一年——才被加进去,而 LMM 交易台正是此前数月里发生过错误交易事件的那个。在 2012 年 3 月 CEO 认证时,Knight 还在往文件里补充关键系统与风控。而认证本身就是有缺陷的:它写的是 Knight 有”流程”来遵守规则,而不是其风控符合规则。CEO 没有注意到这个错误,并且相信自己认证的是合规。

根据书面监管程序进行的定期审查也是同样的形状:它们没有考虑 Knight 是否需要风控来限制 SMARS 失灵的风险,也没有考虑与代码部署或服务器上未使用代码相关的风控。而当此前的事故提供了深入审视的机会时,Knight 的审视是狭窄的。2011 年 10 月 LMM 测试数据事故——近 750 万美元的损失——得到的回应是把那一个系统限制在交易时段内、改一个风控、往灾备检查清单上加一项。Knight”没有广泛地考虑它是否有足够的风控来防止错误订单的录入,无论发送订单的是哪个系统、也不论该系统出错的具体原因是什么”。SEC 对这种模式的总结,是每一份事故复盘流程都应该拿来衡量自己的句子:”Knight 对事件的反应是狭窄的,只限于旨在防止眼前这个确切问题再次发生的改动。”

这个机制修不了什么、能修什么。 再彻底的合规审查,也无法发现它不知道其存在的代码里的 Bug。但那是错误的标准。审查的工作不是找到 Power Peg 缺陷,而是问:承载约 1% 全美上市股票交易量的路由器,有没有针对错误订单的盘前风控、有没有与订单录入挂钩的全公司资本阈值、有没有部署验证流程、有没有针对生产服务器上死代码的规程。这些都是结构性问题,不需要知道 Power Peg 就能回答,而每一个的答案都是没有。合规失败不在于审查漏掉了一个具体的 Bug,而在于审查被设计成清点已有的风控,而不是探测缺失的风控——而一个只确认已存在之物的审查,永远会给一个有洞的系统发合格证,因为洞恰恰就是那个不在场、因而无法被清点的东西。

尾声:救援、合并与 1200 万美元的结局

市场的裁决比监管机构来得更快。Knight 在 8 月 2 日披露了约 4.4 亿美元的税前亏损。股价在事故当天跌去约三分之一,到次日已累计蒸发约四分之三。约 66.5 亿美元总头寸的被动持仓必须匆忙平掉;当时的媒体报道说,Knight 以折扣价把整本书打包卖给了高盛,亏损就是在那里实现的。公司面临净资本问题——这个监管后果会把交易亏损变成生存危机:无法满足资本要求的券商交易商无法继续经营。

8 月 5–6 日,以 Jefferies 为首的财团——Blackstone、Getco、TD Ameritrade、Stifel、Stephens——同意注资 4 亿美元,形式为 2% 可转换优先股,可按每股 1.50 美元转换为普通股,约占公司 73% 的股份。Jefferies 自己出资 1.25 亿美元,成为 Knight 的最大股东。救援让公司活了下来,也在同一笔交易里终结了它的独立性:原有股东只保留了约四分之一的股份,而一周之前,这家公司还是全美最重要的做市商之一。2012 年 12 月,Knight 同意被 Getco 收购;合并于 2013 年 7 月 1 日完成,组建 KCG Holdings。作为一家独立公司的 Knight Capital Group,在 8 月 1 日那个早上之后只存活了不到十一个月。

监管的尾声花了十四个月。2013 年 10 月 16 日,SEC 认定 Knight 违反了市场准入规则——SMARS 内部没有针对错误订单的盘前风控、没有与订单录入挂钩的全公司资本阈值、没有充分的风控书面描述、没有足以保证代码有序部署或防止未使用代码被激活的技术治理、没有充分的事故应对程序、没有充分的定期审查、CEO 认证有缺陷——并且违反 Regulation SHO,未按要求标记其非预期的卖空订单、也未为其取得借券定位。Knight 支付了 1200 万美元民事罚款。这是 SEC 依据市场准入规则作出的首例执法行动,而这条规则通过还不到三年。1200 万美元放在 4.6 亿美元旁边只是个零头;”首例执法行动”这个身份不是。这条规则正是为这类失败而写的,而 Knight 是它的第一个演示。

什么能阻止它——以及什么不能

SEC 的命令在本系列的资料中很特别,因为它不只是描述失败,还点名了具体的反事实。按命令自己的说法,有三条:

  1. 对部署做一次简单的二次检查。 “一份要求对 RLP 代码部署做简单二次检查的书面流程,本可以发现有台服务器被漏掉,从而避免 8 月 1 日的事件。”这是整起事故里最便宜的干预——第二个人,或一份自动清单检查——而它本可以阻止之后发生的一切。
  2. 把 BNET 拒绝消息整合进监控。 “如果有一套流程把 BNET Reject 消息整合进 Knight 对其系统的监控,同样可以防止 8 月 1 日的事件。”九十分钟的预警,已经生成、已经送达、已经点出了故障的名字。
  3. 2005 年重新测试 Power Peg。 “一份要求在 2005 年重新测试 Power Peg 代码的书面规程,本可以发现 Knight 无意中禁用了 Power Peg 代码里的累计成交量功能。”七年的提前量。

每一条都是点修复,每一条都会奏效。但命令更深的观点是结构性的,藏在违规认定一节而非事实一节:Knight 缺乏”合理设计用于发现和防止代码开发与部署可能导致的软件故障”的风控,也缺乏”指导员工应对事故”的程序——其中关键的一条,是关于”何时把失灵系统与市场断开”的明确指引。二次检查能防止这一次部署失误;而一个 kill switch——一套预先约定、预先测试过的、用于断开失灵路由器的程序——能兜住每一次部署失误,包括那些二次检查抓不住的。Knight 两者都没有。教训不是在预防与缓解之间二选一,而是:没有缓解措施兜底的预防,本身就是一个穿着检查清单外衣的单点故障。这个故事里的每一道预防性风控都只有一层,背后没有任何第二层;当每一层都失效时,故障与市场之间什么都不剩。

还有一个诚实的边界:这三条反事实、以及所有结构性修复,都没有回答 SEC 命令从未回答的问题——技术员为什么漏掉了那台服务器。命令记录了漏拷的事实和没有复核的事实,但没有还原那个人性化的瞬间。任何用疲劳、分心或流程设计来讲述漏拷原因的文章,都是在编造一手来源没有支持的原因。严谨的说法是结构性的:一个针对市场准入系统的部署流程,如果依赖于一个人未经审计的记忆,迟早会漏掉一台服务器,无论那天的原因是什么。

值得偷走的教训

  1. 死代码在被删除之前都是活的风险。 “哪里都不调用”的代码只是相对于今天的调用图而言处于休眠状态。一次开关复用、一次配置变更、一次重构、一次回滚,明天都可能调用它。Knight 的 Power Peg 沉睡了九年,而 2003 年删掉它的成本只是一次代码审查。把生产系统上的未使用代码当作有名有主的未结负债来对待,按计划删除——或者至少把它置于一道控制之下,让它在被意外调用时以 fail-closed 的方式失败。
  2. 永远不要复用一个能激活已停用行为的开关。 被复用的开关把新行为与旧行为在所有服务器上、同时、完整地被清除绑在了一起。只要有一处清除不完整,开关就会悄悄选择旧行为。新行为用新开关;旧开关随它控制的代码一起退役。成本只多一个开关,替代方案则是一颗语义地雷。
  3. 对照清单验证部署,不要对照记忆。 手动向多台服务器拷贝、且没有清单检查的部署,漏掉一台只是时间问题。检查不需要多精巧——跨机群的构建哈希比对、由第二人签署的部署清单、在开盘前确认”所有服务器报告同一版本”的自动门禁。SEC 的说法是”一次简单的二次检查”,简单正是重点。本可以救下 Knight 的风控不是什么精密的系统,而是一双第二只眼睛。
  4. 不能让资金流停下来的风控只是一份报告,不是风控。 PMON 能看见头寸,33 账户有限额,价格上限存在,但它们都无法阻止一笔订单进入市场。审核自己的风控时,对每一道都要问:如果它触发了,有什么东西会停下来吗?如果答案是”有人看到一个数字”,那你拥有的是监控。监控是必要的,但不够。强制执行必须发生在行动点上,而且限额必须是执行系统自己能读到、能采取行动的。
  5. 回滚之前,先弄清楚你要恢复的东西里有什么——包括它正在压制的东西。 工程师的回滚在他们的心智模型下是合理的,在真实模型下是灾难性的,因为新代码一直在压制旧缺陷。在回滚之前要问:之前的状态里有什么是当前状态正在掩盖的?如果无法从部署清单回答这个问题,你就没有回滚计划,你只有一个希望。
  6. 把警告设计成警告。 97 封 BNET 邮件实时地、提前九十分钟点出了故障的名字。它们失效,是因为它们是一份以邮件投递的拒绝日志,而不是一条有负责人、有阈值、有升级路径的告警通道。你的系统发出的每一条自动消息都应该被分类:这是日志,还是需要人处理的信号?如果是信号,就要有人负责读它,而且系统要知道什么时候没有人读。
  7. 审查要查缺了什么,而不只查有了什么。 Knight 的合规评估清点了已有的风控并确认它们能工作,从来没有问过路由器有没有针对错误订单的盘前风控——因为这样的风控根本不存在,也就无从清点。一个只检查已有风控的审查会给任何系统发合格证,不管洞有多大。审查要围绕故障模式来组织——”如果这个组件发送了坏订单,会发生什么?”——让缺失的风控自己现身。
  8. 要回应上一事故的”类”,而不是它的”例”。 2011 年 10 月测试数据事故之后,Knight 只修了那一个系统、只加了一项检查清单。它没有问自己的风控能否一般性地防止错误订单。每一次事故复盘都应该以这个问题收尾:还有哪个系统可能产生同样形状的故障、又有什么能阻止它?只防止确切重演的修复,是在等待下一个实例。

Postmortem 没有说的内容

这是本文的诚实账本。SEC 的命令尽管完整,仍然没有披露:错误订单停止的准确时钟时间(只有”约 45 分钟”);技术员漏掉第八台服务器的原因;亏损逐分钟的进展;45 分钟里内部讨论的情况(除了回滚之外);以及 2005 年 Power Peg 计数器被移动的技术细节(除了移动这个事实本身)。当时的媒体报道补上了其中一些——约早上 10:15 的停止时间、高盛的打包交易、逐日的股价下跌——本文在使用这些细节时都标注为媒体报道。Knight 自己的声音以一种特定的方式缺席:公司在不承认也不否认调查结论的前提下和解,因此不存在 Knight 撰写的、关于其工程师在那 45 分钟里相信正在发生什么的叙述。回滚的推理——”新代码就是问题,把它拿掉”——是从行动本身重建的,而不是出自一份陈述的理由。

与本系列其他几篇的对比值得一提。Cloudflare 公布了有问题的正则表达式并数了它的步骤。Fastly 公布了时间线,但对 Bug 保持沉默。AWS 公布了架构与因果回路。而在 Knight 的案例中,SEC 公布了其他公司都没有为自己公布的东西:一份完整的因果叙述,外加点名的反事实,由一家拥有传票权的监管机构写成。它是本系列里最完整的 postmortem,而它所描述的公司已经不复存在。这就是教训的形状:能在事故中活下来的公司,往往是那些自己发布 postmortem 的公司。Knight 的那份是别人替它发布的,十四个月后,以一份执法命令的形式。

Sources

  • U.S. Securities and Exchange Commission, “In the Matter of Knight Capital Americas LLC,” Exchange Act Release No. 34-70694, File No. 3-15570, October 16, 2013. https://www.sec.gov/files/litigation/admin/2013/34-70694.pdf — 除非另有注明,本文的一切内容以此为主要来源:Knight 约 10% 的上市股票交易份额与 SMARS 约 1% 以上的份额(¶11);RLP 准备工作与 Power Peg 的历史,包括 2003 年停用、2005 年代码移动与未重新测试(¶¶12–14);7 月 27 日起的分阶段部署、漏掉的第八台服务器、没有二次复核与书面流程(¶15);8 月 1 日的事件、212 笔母单、154 只股票上 400 万笔成交与 3.97 亿股、约 35 亿美元净多头与约 31.5 亿美元净空头、超过 4.6 亿美元的亏损(¶¶16–17);对 75 只与 37 只股票的价格影响(¶18);自约早上 8:01 起的 97 封 BNET 拒绝邮件及其未被使用(¶19);SMARS 内部缺失的风控、9.5% 价格上限及其例外、33 账户 200 万美元限额、PMON 的局限(¶¶20–25);缺失的书面代码开发与部署流程、以及让问题恶化的回滚(¶¶26–27);合规评估、不完整的书面描述、有缺陷的 CEO 认证(¶¶28–34);2011 年 10 月 LMM 测试数据事故及其狭窄回应(¶33);三条反事实(¶41);违反 Regulation SHO 的情况(¶¶35、46–47);违规认定与 1200 万美元罚款(¶¶36–45)。
  • Knight Capital Group, Inc., Form 8-K, August 2, 2012(SEC EDGAR)——公司披露的约 4.4 亿美元税前亏损。本文引用该数字及其日期;最终的”超过 4.6 亿美元”以 SEC 命令为准。
  • Knight Capital Group, Inc., Form 10-K, 2012 财年(SEC EDGAR)——4.576 亿美元的交易亏损数字,此处作为公司对该事件的最终会计口径引用。
  • 路透社 / 当时媒体报道,2012 年 8 月 5–6 日(见后续报道汇总)——4 亿美元救援(以 Jefferies 为首的 Blackstone、Getco、TD Ameritrade、Stifel、Stephens 财团;2% 可转换优先股,每股 1.50 美元转换价;约 73% 股份);股价在 8 月 1 日跌约 33%、到次日累计跌约 75%;高盛打包交易平掉被动头寸;2012 年 12 月 Getco 收购协议与 2013 年 7 月 1 日合并完成、组建 KCG Holdings。这些事后细节来自媒体报道,不是 SEC 的调查结论,正文已作标注。
  • 标注为分析的部分——损坏的成交信号的反事实结构、开关复用的耦合论证、PMON 与 33 账户的”风控与报告”之辨、回滚的心智模型叙述、对合规审查设计的批评——是作者根据 SEC 命令的事实与标准分布式系统及部署实践所作的推理,不是 SEC 的陈述。SEC 命令保持沉默的地方(停止的时钟时间、漏掉服务器的原因、2005 年代码移动的理由、Knight 内部讨论),本文如实说明,而不填补空白。