计算机算法最初用于提升股票市场交易的效率,但因为参与市场交易的算法愈来愈多愈来愈复杂,致使了目前股票市场已经没法离开计算机系统来运做,而人类又没法彻底理解复杂的计算机算法系统,不可避免对股票市场形成了认为没法控制的负面影响。算法
掌控华尔街交易的计算机算法数据库
做者:Felix Salmon 和 Jon Stokesapi
2010年12月27日网络
去年春天,道·琼斯启用了一个新的Lexicon服务系统。这个系统能够实时地给职业投资者发布金融新闻资讯。实际上,这个新的系统并不使人惊奇。这家在华尔街日报和道琼斯通信社背后的公司因为发布可以影响股票市场的新闻资讯而名声大噪。可是,绝大多数订阅Lexicon服务的职业投资者并非人,而是无数行代码所构成的计算机算法。这些计算机算法管理并控制着不断增加的全球交易活动。可是,计算机算法与人解读新闻资讯的方式并不相同,它们不须要以叙事的形式、甚至能够不经过语句的形式来传递信息。它们只须要数据——那些关键的、可执行的信息。工具
Lexicon将新闻资讯以计算机客户端可以识别的方式进行封装。Lexicon实时地扫描每个道·琼斯的新闻,寻找使投资者直观了解股市情况的文字线索。而后它将信息以机器可读的格式发送给订阅Lexicon服务的程序,它们会进一步地解析收到的信息,再利用最终的数据来支持和引导投资决策。Lexicon已经实现了自动阅读新闻、提取关键信息以及完成股票交易的功能。这些电脑再也不仅仅是处理数字,它们已经开始代替人作决策。性能
这样的交易运行机制极大地拓展了整个金融系统。在过去的十年中,计算机算法操控的交易已经占领了这个行业。不管是刚刚创立的对冲基金惟一的柜台,仍是高盛公司富丽堂皇的大厅,计算机代码承担着华尔街大部分的交易活动。(据估计,计算机辅助高频率交易已经占有所有交易量的70%。)于是,股票市场的起起伏伏再也不由交易员比拼谁拥有最精准信息,或者谁有最聪明的商业头脑所决定,而在很大程度上取决于计算机算法全面扫描包含潜在收益的微小信号的能力。测试
计算机算法已经深深地根植于咱们的金融系统中,以致于股票市场的运做没法离开它们。最基本的,计算机帮助潜在的股票买家和卖家寻找直接的交易对手,从而避免了在交易过程当中经纪人或者委托人的参与。高频率交易算法或者称为闪电交易算法,可以在每秒中买入和卖出成千上万的股票。它们如此快速地、大规模地执行交易,以致于哪怕股票价格微小地波动几分钱都会致使交易最终的盈利或者亏损。另外一些计算机算法的执行速度较慢,可是它们内部结构会更加复杂,例如分析盈利情况、股票走势和新闻资讯以寻找其余人可能错过的有价值的投资。所以,计算机系统比任何人都更加高效、快速和聪明。大数据
与此同时,计算机系统也更难以被人理解、预测和监管。计算机算法,正如大部分交易员同样,习惯于遵照一套很是简单的规则。可是计算机算法可以在一秒钟内分析成千上万的数据,从而对市场中所发生的变化作出当即的反应。每次交易都会建立一个计算机之间连续而快速地响应对方的会话来发送数据。最理想的状况,计算机系统是了一个高效、智能的资源分配机器,一个被精确化和定量的市场,而不是受到感性和易犯错的判断所影响的市场。优化
可是最糟糕的状况是计算机系统只是一个没法预测的、没法受控的反馈循环。可能每一个计算机算法都很是简单、也可以受到人类的控制;可是当他们之间开始交互的时候,他们可以创造出意想不到的行为,例如系统建立的导航会话可以摧毁这个系统。2010年5月6日,道·琼斯工业平均指数使人费解地不断下跌,出现了在五分钟内下滑了573点的“崩盘暴跌”。五个月后,北加州的ProgressEnergy公司的股票价格下跌了90%,而Progress Energy公司却无能为力。一样也在九月底,苹果(Apple)的股价在30秒内下跌了近4%,虽然几分钟以后股价恢复了正常。网站
如今咱们对这些突发的市场下跌习觉得常,而咱们依然不知道是什么缘由致使的。可是大部分观察家认为强大的、超高速的交易算法应该对此负责——众多简单指令的交互所构成的市场对于人类大脑来讲,是没法彻底理解的,也是没法预测的。
不管如何,如今计算机还处于咱们的控制之下。
讽刺的是,为了便捷交易员的工做才启用计算机算法做为交易工具。在电子交易出现以前,大型机构投资者通常经过自身的实力和普遍的人脉网络,寻找提供最优条件的交易中间人。“咱们之前资本盈利的模式于如今相比是不一样的”,美国世纪风险投资公司(American Century Ventures)在堪萨斯城市投资公司的一个部门前首席长官,哈罗德·布拉德利(Harold Bradley)这样说,“所以我已经改变了这一策略。”
布拉德利是90年代末最初一批尝试使用计算计算法的交易员之一,他们尝试着寻找投资盈利的模式。他花费了近三年时间来构建他的股票计分程序。首先他建立了一个神经网络,细心地培育这个神经网络以模拟他的思惟,从而识别那些他直觉和经验所认为会影响股票价格走势的综合因素。
可是布拉德利不只想创造一个与他思惟模式同样的机器,还但愿这个逻辑系统以一种彻底不一样的、比人类更加聪明地方式来观察分析股票市场。因而在2000年布拉德利召集了一批工程师,寻找最可以准确预测股票业绩的指标。他们发现了一些例如公司盈利增加的传统度量变量,以及其余技术含量更高的因素。布拉德利总共找到了七个关键的因素,其中包括了他创造的神经网络的判断,同时他认为这个因素对预测股票走势是有帮助的。
此后,布拉德利尝试利用UC伯克利大学的一个叫作“差分进化优化器”(differential evolution optimizer)程序,为每一个因素寻找合适的权重。布拉德利从随机的权重值开始探索,例如赋予盈利增加相比收入增加两倍的权重值。让程序分析在给定时间点上业绩良好的一些股票的信息,而后从中随机地挑选10只股票并分析它们的历史数据,验证权重组合是否符合预测这些股票在实际中的业绩表现。经过选择略微不一样的开始日期或者不一样的股票组合,不断重复验证权重组合的合理性。对于每一组权重值,都须要通过成千次这样的验证测试,以验证是否符合这些股票实际的业绩走势。而后再修改各因素的权重值、再从新进行上述的验证测试。最终,布拉德利的团队收集了大量权重组合的业绩数据。
对权重组合的验证过程结束后,布拉德利选择了10组最符合实际业绩的权重组合,再次使用差分进化优化器对它们进行验证。优化器将这些权重值进行配对,又组合出100个子权重。再从这些验证过的权重值中找出10个从新配对,进而产生新的100个三代子权重。(程序也会引入一些偶然的变化和随机性,由于这样可能带来一两个意想不到的惊喜。)在这样创造出不少代子权重以后,布拉德利的团队终于找到了理想的权重组合。(在2007年,布拉德利离开这个研发团队,开始管理拥有18亿投资基金的考夫曼基金会,并申明他再也不对他的计算机算法的性能发表任何意见。)
布拉德利的努力仅仅是个开端。不久,投资和战略管理者开始在世界闻名的数学、科学和工程学校中寻找人才。这些学者为传统的交易柜台带来了在计算机科学和统计学方面复杂的人工智能的方法。
他们开始将这些人工智能的方法运用到金融领域的各方各面。创造出了与寻找股票、买入股票和卖出股票相似的算法(在实际操做中被称做全部权交易)。还有帮助经纪人执行大型交易订单的算法。这些大规模的买卖订单须要花费必定时间来完成交易。若是其余交易员在这笔交易完成前发现了这笔交易正在进行,交易的价格极可能被人为操纵。这些计算机算法打破而且优化了这些订单的执行过程,市场中不相关的人没法在交易完成前发现这笔交易的进行。(这种算法的交易过程可能使人感到没法理解;在实际操做中被称为算法交易)不过也有人故意编写算法来破解这些算法的代码,寻找刻意隐藏的大规模交易订单。(这种算法被称为掠夺交易。)
这样,最终会生成一堆相互竞争的算法,每一个算法都在尝试比其余算法更聪明的运行。“咱们一般根据电影猎杀红色十月(The Hunt for Red October)来讨论,就像潜水艇战争。”瑞士信贷的高级服务执行部门的经理,Dan Mathisson这样说到,“有掠夺性的交易员在市场背后持续地监听,尝试寻找大型潜水艇的出现。(译者注:这里暗指监听大规模交易的出现。)计算机交易算法的任务就是尽量地隐蔽潜水艇。(译者注:这里暗指隐蔽大规模交易的进行。)”
同时,这些算法倾向于从计算机的角度观察市场,这将极大地不一样于人类的视角。例如,许多全部权交易的算法不是仅关注个别股票的走势,而将整个市场视做一个巨大的天气系统,这个系统有可以被预测、投资的趋势和变化指标。人类不必定可以发觉这些趋势和变化的模式,但计算机拥有对庞大数据量进行光速分析的能力,因此计算机是可以发现这些模式的。
Voleon资本管理公司于三年前在加利福尼亚州的伯克利成立,公司的合伙人采用了这个方法。Voleon公司按照预测一类相关股票微小变更的模式,在大量数据的池中进行数据过滤。来专一于统计学上的套利业务。
坐落于一个破烂的办公楼三层,Voleon原本能够是一家港湾地区的网站创业公司。计算机工程师们在办公室内处处摆放着牛仔裤和T-shirt,他们在字迹潦草的白板和半开的盒子中间走来走去。合伙创办人Jon McAuliffe前后毕业于伯克利和哈佛大学,他曾经在亚马逊网站的公司信息推荐引擎项目组工做。另外一位合伙人是Voleon公司的CEO,Michael Kharitonov,毕业于伯克利和斯坦福的计算机科学家,他也曾建立过一个互联网公司。
经过Voleon公司创办人的描述,他们的交易策略更相似于数据分析,而不是传统的投资。事实上,McAuliffe和Kharitonov申明他们甚至不知道计算机在寻找什么,或者如何得出它们的结论。“咱们只能说,‘这是一堆数据。排除掉噪音的干扰,提取出关键的信息,’”Kharitonov说,“咱们不知道关键信息将会是什么样。”
“咱们系统所使用的交易策略不一样于人类使用的策略,”Kharitonov继续说,“咱们不和人类竞争,由于当你同时交易成千上万的股票的时候,人类的大脑是没法抓取很小很小的变化。咱们的系统在不一样的领域发挥做用,尝试利用那些对于人类大脑过于复杂的效应。它们须要你在同一时刻关注成千上万的事情,而且每支股票都在进行微量的交易。人类是没法作到这一点的。”
九月底,商品期货交易委员会和证券交易委员会公布了一份104页有关5月6日股市暴跌的报告。报告认为,暴跌是由一个“重要的大型交易算法”使用了对冲他本身股票市场地位的算法所致使的。这笔交易花了20分钟以内执行完成,这是一个段很长的时间窗口,引发了其余算法针对市场暴跌的响应也是卖出,进一步致使了市场下跌。这样的混乱产生了表面上不合理的交易,例如埃森哲的股票以每股一便士的价格出售,而购买苹果的股票须要每股10万美圆。(这两种交易在随后都被取消了。)这样的算法操做行为使整个金融系统陷入瘫痪。
报告澄清了一些几个月前的问题,在这以前一直没有任何解释。立法委员和管理委员认识到这些他们不能解释、没法预测或预防的现象的严重性,因而开始严肃地对待计算机算法交易。在此次市场暴跌的警示下,证券交易委员会主席Mary Schapiro公开地表示考虑可能会从收回一部分计算机算法的操控权。“自动交易系统是不会考虑后果、按照它们的代码逻辑去执行交易,”她这样告诉国会小组委员会,“而由人来执行交易的时候,就会避免执行那些价格不合理的交易。”特拉华的参议员Ted Kaufman在九月还曾提出过更严重的警告,“当大量资金注入一个有风险领域的时候,当市场剧烈变化的时候,当市场交易不透明于是缺少有效监管的时候,咱们都面临着灾难。”
在市场暴跌以后的几个月里,证券交易委员会宣布了多个度量手段来预防相似事件的发生。在六月,交易系统安装了巡逻破坏器来自动地阻止那些在五分钟内股票价格波动超过10%的交易。(在九月,证券交易委员会主席Schapiro申明代理机构能够为了预防没必要要的交易阻止而调整巡逻破坏器的参数。)代理机构正在考虑要求在交易算法中加入一个“管理者”,用于限制交易执行的规模和速度。代理机构还建议建立统一审计痕迹,这是一个用于收集每笔交易和执行的信息的独立数据库,证券交易委员会官方的评论表示:“这能够帮助监管者在市场中保持与新技术和交易模式的同步发展。”还有人建议部署一套交易税收系统,但这将给大型、快速的交易执行增长额外的负担。
可是这些都不是控制计算机算法的解决办法,它们只可以放慢算法的速度或者在几分钟内阻止算法的执行。这也是默认了计算机系统发育的成熟度超过了人类当初创造计算机系统时所设计的。今天一只股票每秒钟内能够收到1万个出价邀约;这样大量的、泛滥的数据已经不可以用一个简单的因果关系来解释。“咱们的金融市场已经变成了一个有反馈信息的、庞大的、自动调节的动态系统,”宾州大学计算机科学教授Michael Kearns如是说,他曾经给多家华尔街的公司发明了计算计算法。“我还不知道有哪一门学科可以合理地解释这个系统的潜在含义。”
对于我的投资者,计算机算法交易已经带来了益处:今天,它们能比之前更快、更廉价、更便捷地买卖股票。可是从系统的角度讲,股票市场的风险也已经超过了咱们的控制范围。即便咱们能够天衣无缝地解释每一个独立的算法,整体上这些算法都遵照同一个突发逻辑——人工智能,但不是人造的人类智能。简单说,这是在硅片上工做的外星人,而不是中子和神经。咱们可以让算法放慢速度,可是咱们永远没法控制或者理解算法。如今是计算机操控的市场,咱们只是在市场中交易。