深度学习在金融领域的应用

深度学习在金融领域的应用现在我们正处在一个深度学习时代，CV领域基本上已经被NN所统治，NLP、推荐也有不同程度的大规模应用。似乎很多从业者对风控领域的认知是我们一定不会使用深度学习方法，归根结底是因为它本身是一个黑箱模型，解释性较差。但是个人理解当我们从LR转向XGBoost的时候，解释性其实就已经不复存在了。纵观整个机器学习界，无外乎都是从传统机器学习逐渐过渡到NN的一个过程，个人觉得深度学习在各个领域的普及是迟早的事情。那么当前深度学习在风控场景都有哪些应用呢？我觉得基本可以总结为以下这三个子场景：1）序列数据建模：代表算法 LSTM2）图谱建模：代表算法 GCN3）传统特征衍生：代表算法 CNN、XDeepFM循环神经网络目前就使用场景来看，与传统风控建模手段区别最大的，莫过于基于RNN的一系列序列模型，不在使用onehot编码或者时间窗口的描述统计特征进行建模，而是使用循环神经网络对时间序列进行拟合，从而学习到一个用户的发展变化。代表场景主要是拥有时间顺序的序列数据： B卡 盗号检测 失联模型 文本分类理论上来说用户在app上的点击数据都可以拿来使用。卷积神经网络CNN中的卷积本质上就是利用一个共享参数的过滤器（kernel），通过计算中心像素点以及相邻像素点的加权和来构成feature map实现空间特征的提取，加权系数就是卷积核的权重系数。代表场景主要是用于拥有拓扑关系的数据上 将可以求和的数据展开成feature-map的样子即可做卷积，从而实现特征交叉，挖掘更深层次的特征深度学习的另一个非常重要的领域就是在我们的知识图谱中。图卷积神经网络的前奏-Node2Vec说GCN之前首先要先知道一个概念叫做Node2Vec，讲Node2Vec之前可能需要先引入一个概念叫做Word2VecWord2Vec的基本流程如下那我们怎么在图中找到“临近”的节点？如何生成节点序列？1）广度优先遍历（BFS）从根节点出发，即下图中的0节点出发首先访问它的子节点1，之后再访问它的子节点2。当根节点0的所有子节点访问完了，再访问节点1的子节点，即节点3和节点4当节点1的所有子节点访问完了，再访问节点2的所有子节点，即节点5和节点6访问顺序为0-1-2-3-4-5-6广度优先遍历得到的是结构相似性 （structural equivalence）：结构相似性是衡量两个节点在网络中所在的位置和结构的相似性。2）深度优先遍历（DFS）从根节点0出发首先访问它的子节点1， 然后再访问节点1的子节点，节点3和节点4再返回访问子节点2，然后再访问节点2的子节点，节点5和节点6访问顺序为 0-1-3-4-2-5-6深度优先遍历得到的是同质性（homophily）：通过两个节点的距离来衡量它们之间的相似性。如果两个节点的距离越近，则它们的同质性越高，也就是相似度越大。那么，有没有可能在某种生成节点序列的过程中同时考虑到homophily和structural equivalence？Random Walk 随机游走随机漫步（Random Walk）思想最早由Karl Pearson在1905年提出，它是一种不规则的变动形式，在变动过程当中的每一步都是随机的。假如我们有下面这样一个小的关系网络。在加权网络结构图，我们还可以根据权重来设置某节点游走到另外一个节点的概率。随机游走在生成节点序列中，在一定程度上既可以照顾到homophily，又可以照顾到structural equivalence。但是很难控制两种相似性所占的比重。node2vecnode2vec 可以改善random walk，更好地反映同质性与结构相似性以下图为例，选择 t 为初始节点，并引入两个参数 p和q返回概率参数（Return parameter）p，对应BFS，p控制回到原来节点的概率，如图中从t跳到v以后，有1/p的概率在节点v处再跳回到t离开概率参数（In outparameter）q，对应DFS，q控制跳到其他节点的概率假设现在已经从节点 t 走到节点 v，那么边的权重如所示:其中dtx表示节点t到节点x之间的最短路径通过上面我们可以发现: q 越大，p越小，结构相似性所占比重越高 p 越大，q越小，同质性所占比重越高图卷积神经网络（Graphs Convolutional Neural Networks ）CNN处理的图像或者视频数据中像素点（pixel）是排列成成很整齐的矩阵。与之相对应,科学研究中还有很多Non Euclidean Structure的数据,社交网络、信息网络中有很多类似的结构。实际上,这样的网络结构(Non Euclidean Structure)就是图论中抽象意义上的拓扑图。因此我们提出GCN.为什么要研究GCN？ CNN无法处理Non Euclidean Structure的数据，学术上的表达是传统的离散卷积（如问题1中所述）在Non Euclidean Structure的数据上无法保持平移不变性。通俗理解就是在拓扑图中每个顶点的相邻顶点数目都可能不同，那么当然无法用一个同样尺寸的卷积核来进行卷积运算。 由于CNN无法处理Non Euclidean Structure的数据，又希望在这样的数据结构（拓扑图）上有效地提取空间特征来进行机器学习，所以GCN成为了研究的重点。 广义上来讲任何数据在赋范空间内都可以建立拓扑关联，谱聚类就是应用了这样的思想（谱聚类（spectral clustering）原理总结）。所以说拓扑连接是一种广义的数据结构，GCN有很大的应用空间。代表场景是金融知识图谱： 提取客户的关系特征 构建反欺诈模型因子分解机对于预测性的系统来说，特征工程起到了至关重要的作用。特征工程中，挖掘交叉特征是至关重要的。交叉特征指的是两个或多个原始特征之间的交叉组合。传统的风控模型中，挖掘交叉特征主要依靠人工提取，这种做法主要有以下三种缺点： 重要的特征都是与应用场景息息相关的，针对每一种应用场景，工程师们都需要首先花费大量时间和精力深入了解数据的规律之后才能设计、提取出高效的高阶交叉特征，因此人力成本高昂 原始数据中往往包含大量稀疏的特征，交叉特征的维度空间是原始特征维度的乘积，因此很容易带来维度灾难的问题 人工提取的交叉特征无法泛化到未曾在训练样本中出现过的模式中作者：慢慢链接：https:/www.zhihu.com/question/390828956/answer/1182493299来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。最近读了一篇DL in finance1的综述，更新论文里面的几张统计图.深度学习应用统计深度学习应用年度统计网络类型统计所发期刊统计-5.4更新-这是我提的问题，自问自答一下，希望能够起到抛砖引玉的作用。在人工智能的语境下，机器学习和深度学习是两个界限分明但是又常常被混淆的概念。为了避免产生误解，我用机器学习指代具有理论依据和数学框架的统计学习方法，比如LASSO、HMM、SVM等等；用深度学习代表以深度神经网络为代表的联结主义框架下的人工智能技术，比如CNN、LSTM等等；强化学习一般不会造成误解；用人工智能指代以上三者。事实上，人工智能技术层出不穷，金融需求种类繁多，如果将二者做一个排列组合的话，会产生非常多的细分方向，我仅仅列出了一些我有所了解的方向，希望能够起到抛砖引玉的作用，也请大家多多讨论，指出不足。1 衍生品定价使用深度学习进行衍生品定价算是开始比较早的研究，主要的驱动是使用深度学习解决数值算法的一些困难，比如数据高维等。衍生的方向包括使用深度学习、强化学习做对冲等等，这个方向我并不是很了解，不再多表，我们系有老师最近在做这个方向。2 信贷审核、反欺诈、保险核保等人工智能技术强大的预测能力天然适合信贷审核任务，可以帮助银行在前端进行风控。但是由于这类业务涉及到对人的评估，会涉及到一系列的社会问题，比如公平、种族歧视等等；神经网络的公平性是最近比较火的一个方向，据朋友聊CMU商学院有教授在做这个问题。此外，这类任务往往需要模型给出的结果具有可解释性，而神经网络一般很难解释，造成一定的应用困难。我之前关注神经网络可解释性很久，但是后来被导师否了，理由是目前可解释性的方法都比较tricky，还没有比较统一的框架。对可解性有兴趣的朋友可以读一下这本书https:/christophm.github.io/interpretable-ml-book/christophm.github.io反欺诈可以在一定程度上理解为异常检测，机器学习和深度学习都有方法可以做异常检测任务。这方面金融服务机构需求比较大，比如银行等， 学术界的研究已经开始使用人工智能的方法，但是实务方面不太清楚走到了哪一步。有兴趣的可以关注 微调，他是这个领域的大佬。3 数据拟合、预测人工智能方法在金融领域比较直接的一个应用，机器学习和深度学习可以处理更高维的数据、具有更强的表征能力，一般具有更强的预测能力。无论是在低频还是在高频上，都有相关研究，比较有趣的方向或许是结合金融数据的特性开发出更加具有针对性的模型和结构。有兴趣的话可以关注我们学校的Justin A. Sirignano.4 资产组合管理资产组合管理是一个比较大的领域，这里仅仅列出我所了解的方向。因子投资. 因子投资的前沿在于挖掘新的因子、以及优化资产组合。使用机器学习、深度学习进行数据挖掘、特征工程是目前比较直接的应用，可以帮助解决非线性、高维数据等问题，神经网络具有更强的信息提取能力，可以更好的完成模式识别、信号提取的任务。在学术界，比较有前景的方向是将深度学习纳入因子投资的框架下，产生了诸如Deep factor model, Deep portfolio等方向，有兴趣的可以关注下芝加哥大学Nicholas Polson、Dacheng Xiu等人。优化择股（portfolio selection）. PS问题一般要结合其他的技术，比如因子投资等等，这里指的是技术层面的优化问题，比如如何进行稀疏优化、稳健优化等。这个方向可能不算严格意义上的人工智能的问题，但是这类问题的解决可以受益于一些机器学习的方法。并不是所有的优化问题都能结合机器学习，但是有些可以结合地很好。5 交易执行学术研究上使用强化学习做交易执行开始的很早，强化学习的特性也符合大众对自动交易机器人的期望，但是这类技术的泛化能力不是很好，应用价值有限。解决高频数据低信噪比、构建稳健并泛化能力强的强化学习模型是一个蛮有趣的方向。6 文本数据挖掘这个方向可以归结于因子投资一类，之所以单独拿出来是因为这个方向又有很多子问题。据我所知美国的大fund很多在布局文本数据，比如Two Sigma。无论是业界还是学术界，可以做的方向包括情绪分析、自动财报分析、文本类因子等等。我不是做这个方向的，但是最近认识了做这方面的朋友，感觉蛮有趣的。6 业务自动化金融科技创业比较火的方向，比如对话机器人、报表自动化、知识图谱、非结构化数据等等，偏业界的方向，感觉学术界没什么好研究的。对这方面创业感兴趣的朋友可以参考这篇国内有哪些比较好的金融科技（Fintech）公司 ？www.zhihu.com7 另类应用金融里面有很多小众的子任务，比如index construction、数据降噪、另类数据挖掘等等，有些小众任务对模型的需求与一些人工智能方法非常契合，二者的结合