跳转到主要内容

次世代量化数据:机读新闻技术以及其在金融市场上的应用

2018年9月two sigma公司在机器学习比赛平台上发布了一个关于使用市场新闻情绪来预测未来股价的比赛(Two Sigma: Using News to Predict Stock Movements)。由于比赛内容新颖,奖金丰厚(共10万美元),比赛伊始就吸引了大量的市场关注。

首先,介绍一下比赛使用的数据,Two Sigma共提供了2方面的数据,分别为市场数据和新闻数据,数据从2007年开始至2018年9月。

市场数据较为简单,日频数据,主要包括了前10天,前1天和未来10天该股票的收益,股票涵盖全球市场。

新闻数据是本次比赛的亮点,在此多做一些介绍。本次使用的数据Refinitiv(原森路透)的TRNA产品。该产品首先收集了全球范围内的大量的新闻(news)和事件(events)。然后对其进行细致的分类(topics,product,names,attribution,etc)。最后使用Refinitiv的NLP分析技术提取出每一条新闻所表达出的情绪,TRNA共输出3种情绪的概率,分别为正向,负向和中性(sentimentPositive,sentimentNegative和sentimentNeutral),3个概率的和为100%;除此之外,TRNA还会输出该新闻与涉及股票的相关程度(relevance)和新闻的新颖程度(Novelty)等相关信息。

比赛规则十分简单,使用市场数据和新闻情绪数据来预测股票未来10天的收益(输出-1到1之间的数值)。首先根据提供的已知数据来训练模型,然后使用模型在测试数据(step1)和未来6个月的实盘数据进行预测(step2),最后综合step1和step2的得分来得出最终排名。

笔者也参加了这次比赛,经过约3个月的准备,目前排名80名,在2927只参赛团队中排名top 3%。本文kaggle经验,浅析一下关于新闻类数据在金融市上的,鉴于大部分金融类从业者并非专业的机器学习研究人员,本文将尽量贴近金融量化的日常研究流程,以便大家共同交流。(Refinitiv共收集了70篇世界范围内公开发表的机读新闻相关论文,其中涉及TRNA的免费论文有26篇,涵盖股票和大宗商品)。

关于经济学假

用新闻情绪来预测股价变动确实是一个十分新颖的课题。从数据获取角度来讲,在没有人工智能NLP技术之前,新闻情绪确实难以量化。2015年史蒂文森理工表的“An Extreme Firm-Specific News Sentiment Asymmetry Based Trading Strategy”认为:市场的事件产生长期的情绪变化,而长期的情绪变化会带来持续的市场反应,因此可以产生预测的效果。

在众多的金融市场和新闻的统计学论文中,主要发现了3大类新闻对于市场的影响。3大影响分别为:

1. 新闻信息与未来市场收益相关。
在研究了来自Yahoo的数以百万计的信息之后,Raging Bull,Antweiler和Frank发现发布信息的数量(number of post)与市场收益相关性显著。

2. 金融类新闻可以用来预测未来市场的波动率。
经过对S&P500的研究,发现极端的新闻情绪(abnormal news sentiment)在预测未来几天S&P500指数的隐含波动率方面有显著地作用。

3. 新闻情绪会影响交易量。
Admad通过对个股新闻的测试发现情绪与个股交易量相关;Antweiler和Frank也发表了类似的观点,认为情绪极点的波动(fluctuation of sentiment polarity)会提升交易量。

关于新数据的测试结

就笔者的比赛和研究经验,这里总结出了一些比较有用的论文成果,供读者参考。

在2015年马里兰大学发表了一篇关于新有效性测试“News versus Sentiment Predicting Stock Returns from News Stories”,文章中测试了关于新闻对不同市值公司的影响和新闻预测的时间长度的研究,并且在TRNA之外对比了另外两个NLP技术。

在这里首先普及一下关于NLP技术提取新闻情绪的知识。就常识而言,对于相同的文章,不同的人总会有不同的理解,那么对于NLP人工智能是否也是如此呢?答案是肯定的,不同的NLP技术由于框架和训练数集的不同,会造成对同样的信息提取情绪结果是不同的,有时甚至大相径庭。论文中比较了基于Harvard psychosocial(2008)字典(简称Harvard)的NLP,Loughran and McDonald(2011)字典(简称LM)的NLP和TRNA。在对900,754篇文章使用不同的情感提取技术所得结果的相关性如下图所示。

LM positive和Harvard positive的相关性为-6%,这说明两个NLP技术对于相同信息的理解存在很弱的负相关性。从整体上来讲,不同NLP的相关性并不高,应用效果上或存在很大的差异。

关于新闻对于不同市公司的影响

是一个非常常用的分析因子。在论文中发现市值越高的公司每周新闻数量越多,同时新闻覆盖的公司数量也越多。更加有趣的现象是市值最小的公司,有无新闻(w/news,w/o news)对于公司下周的收益影响越为显著。从这个现象可以引申出的推论在于,市值越大的公司,新闻和情绪对于股票影响相对越小,反之亦然。但是需要考虑的是,市值最小的公司,业绩和流动性亦较差。

对于股票选股策略来讲,笔者认为定义出一个合适的股票池尤为重要,而这其中应当把市值测试和筛选纳入流程。

关于新影响有效时长

每条新闻都有一定的时效性,从这个意义上来讲新闻对于金融市场的影响也具有一定的时效性。论文中共统计了两种时长维度,日和周。

就测试结果来看,在日度上,TRNA预测效果好于HarvardLM,预测的最大时长在4-5天以内;在周维度上,预测的有效性或存在周期性,短期内在3-5周内显著。

有效时长的统计方法为首先计算时间范围内的所有新闻情绪的净值(positive-negative)的均值A,然后筛选出A值最高25%股票X1和最低25%的股票X2,最后计算在lag n期之后X1的收益与X2的收益之差spread,spread越显著说明新闻情绪的分类效果越好。(lag n>0代表新闻的预测能力)

先看一下日维度的测试结果。

我们发现当lag n小于0时,spread的t值在3种NLP下均比较显著,其含义在于滞后的新闻对于之前的spread有很好的分类效果,这在经济学意义上比较合理。当lag n大于0时测试的是NLP的预测效果,我们发现TRNA的分类效果明显好于Harvard和LM,当滞后天数超过5天以后,分类效果消失,也就是说按照TRNA新闻情绪对股票进行分类,分类的有效性在统计学意义上长度约为4-5天,这也给短线策略的定制提供了参考持仓长度。

再看一下周维度上的测试结果。

在周度上,TRNA的分效果也好于HarvardLM站在多因子选股的角度来讲,基于1周新闻情绪的分类,该分类结果在未来1-5周内均显著,说明了按月调仓的多因子策略有一定的可行性。

总结

本文以kaggle平台上的two sigma使用市场新闻情绪来预测未来股价的比赛为引,分享了一下关于TRNA数据在金融市场上的相关应用。Refinitiv分享了大量的关于TRNA的研究论文,在本次分享之后,我继续分享一些更加直接的研究案例。

再多讲一些题外话,目前TRNA已经覆盖了大约2000多家A股上市公司,周均新闻在1条新闻以上的股票有559只股票。目前笔者正在设计一个关于使用TRNA的沪深300增强指数。相关的测试结果会通一系列的文章分享,敬关注。