模块|微软亚洲研究院副院长刘铁岩：让智能投资摆脱「纸上谈兵」( 六 )

如果可以预测每一个时间段的交易量TWAP，并且按照这个预测结果调整订单速度，就会得到按照交易量加权平均的价格VWAP。
它们都是市面上常用的交易算法，但显然它们都不是最优的，因为如果我们真有本事在价值最高点去执行订单，一定会有更好的平均价格——但这个事情又不是那么简单，因为在任何时间点都有交易量的上限，很可能在价格最高点没有足够的市场容量去完成订单的交易。
因此，订单的执行不是一件简单的事情，需要很好的算法支撑。

文章插图

我们尝试了使用强化学习来实现自动的订单执行。强化学习是人工智能领域非常重要的门类，大家都听过的AlphaGo就是使用深度强化学习的算法。
我们的订单执行任务因为可以很好地建模成强化学习的问题：给定一个状态（市场信息、剩余时间、剩余订单量），选择合适的动作（控制当前订单执行的速度），从而得到某种奖励（比如订单执行后的平均交易成本、订单是否如期完成、瞬间的交易量是否过大等等）。
看起来强化学习是非常好的工具，可以解决订单学习的问题，但如果大家是行家就知道，强化学习是不容易驾驭的工具。

文章插图

强化学习有很多缺点，其中包括：训练过程不稳定；样本效率比较低。为了解决这些问题我们发明了一套新的技术，叫做先知教练，它具有完美信息的访问权，可以看到未来的价格和交易量，不需要去猜，所以可以通过优化的手段得到全局最优的执行策略。
有了先知教练之后，可以用它为基础，利用策略蒸馏的方式，把它的所知所得传递给RL智能体，以此提高学习智能体的学习效率和稳定性。
最终实际使用AI模型在线实现订单交易时，我们当然不能使用先知教练，但被完美先知教练调教出来的智能体已经有了很好的表现。

文章插图

到此为止我向大家介绍了数据智能、智能预测、智能策略、智能交易等研究的进展。当然，四年的积累远比我今天介绍的内容多得多，如果大家有兴趣，可以通过微软亚洲研究院创新汇的平台和我们建立长期的战略研究合作关系，共同去探索智能投资的边界。
最后还想和大家分享一下我关于智能投资研究与实战的思考。通过这4年的亲身经历，我发现金融投资的实战和研究之间存在巨大的鸿沟，很多算法仅在论文里的小型数据上有效果，拿到实盘上测试表现就大相径庭。
其中一部分原因是这些研究者并不了解金融场景特有的实现细节，缺乏领域知识，缺乏稳定公开的数据源等等。我们只有填平这个鸿沟，架起连接研究和实战的桥梁，才能让学界和金融业界共同促进智能投资的发展。
智能投资如何逃出“纸上谈兵”困局？
文章插图

怀着这样的愿望，我们团队开源了一个项目叫Qlib，是全球第一个智能辅助量化投资的技术框架。我们采用MIT协议，将我们的研究环境，向广大金融从业者开放，未来也会逐步将我们的研究成果通过这个平台进行分享。这个开源项目刚刚上线几个月就得到很多关注，在GitHub上收获了超过五千颗星，很多国际知名的投资机构都因为这个项目和我们建立了交流和合作。

文章插图

那么我们为什么做这个开源项目呢？它对促进金融实战和研究的融合能够起到什么作用？