ARI:随机过程在数据科学和深度学习中有哪些应用？

“Theonlysimpletruthisthatthereisnothingsimpleinthiscomplexuniverse.Everythingrelates.Everythingconnects”

—JohnnyRich,TheHumanScript

介绍

机器学习的主要应用之一是对随机过程建模。机器学习中一些随机过程的例子如下:

泊松过程:用于处理等待时间以及队列。随机漫步和布朗运动过程:用于交易算法。马尔可夫决策过程:常用于计算生物学和强化学习。高斯过程:用于回归和优化问题(如,超参数调优和自动机器学习)。自回归和移动平均过程:用于时间序列分析(如,ARIMA模型)。在本文中，我将简要地向你介绍这些随机过程。

历史背景

随机过程是我们日常生活的一部分。随机过程之所以如此特殊，是因为随机过程依赖于模型的初始条件。在上个世纪，许多数学家，如庞加莱，洛伦兹和图灵都被这个话题所吸引。

如今，这种行为被称为确定性混沌，它与真正的随机性有着截然不同的范围界限。

由于爱德华·诺顿·洛伦兹的贡献，混沌系统的研究在1963年取得了突破性进展。当时，洛伦兹正在研究如何改进天气预报。洛伦兹在他的分析中注意到，即使是大气中的微小扰动也能引起气候变化。

洛伦兹用来描述这种状态的一个著名的短语是:

“AbutterflyflappingitswingsinBrazilcanproduceatornadoinTexas”(在巴西，一只蝴蝶扇动翅膀就能在德克萨斯州制造龙卷风)—EdwardNortonLorenz(爱德华·诺顿·洛伦兹)

这就是为什么今天的混沌理论有时被称为“蝴蝶效应”。

分形学

一个简单的混沌系统的例子是分形(如图所示)。分形是在不同尺度上不断重复的一种模式。由于分形的缩放方式，分形不同于其他类型的几何图形。分形是递归驱动系统，能够捕获混沌行为。在现实生活中，分形的例子有:树、河、云、贝壳等。

SumSwap已在opensea随机收购二枚会员定制NFT作品:据官方消息，SumSwap宣布于近两日在opensea.io以4000 USDC一枚的价格随机收购4枚NFT作品，今日，SumSwap已成功收购两枚NFT作品。此前消息，数学创新型去中心化协议SumSwap宣布为每位会员定制一枚NFT作品，会员预售仅剩一天，每位会员定制的NFT作品即将发放完毕。SumSwap为会员定制的NFT作品可直接在opensea.io进行交易，当前价格最高100 ETH。[2021/7/3 0:24:07]

图1:MC.Escher，SmallerandSmaller

在艺术领域有很多自相似的图形。毫无疑问，MC.Escher是最著名的艺术家之一，他的作品灵感来自数学。事实上，在他的画中反复出现各种不可能的物体，如彭罗斯三角形和莫比乌斯带。在"SmallerandSmaller"中，他也反复使用了自相似性(图1)。除了蜥蜴的外环，画中的内部图案也是自相似性的。每重复一次，它就包含一个有一半尺度的复制图案。

确定性和随机性过程

有两种主要的随机过程:确定性和随机性。

在确定性过程中，如果我们知道一系列事件的初始条件(起始点)，我们就可以预测该序列的下一步。相反，在随机过程中，如果我们知道初始条件，我们不能完全确定接下来的步骤是什么。这是因为这个过程可能会以许多不同的方式演化。

在确定性过程中，所有后续步骤的概率都为1。另一方面，随机性随机过程的情况则不然。

任何完全随机的东西对我们都没有任何用处，除非我们能识别出其中的模式。在随机过程中，每个单独的事件都是随机的，尽管可以识别出连接这些事件的隐藏模式。这样，我们的随机过程就被揭开了神秘的面纱，我们就能够对未来的事件做出准确的预测。

莱比特创始人江卓尔：加密货币市场是不可预测的，有一定的随机性:12月23日，“瞰见未来—国际区块链技术创新峰会暨Cointelegraph中文一周年”在三亚湾海居铂尔曼酒店拉开序幕，本次大会由Cointelegraph中文主办、Nova联合主办，汇聚重磅嘉宾、聚焦行业热门议题，共讨2020年区块链技术发展、落地应用场景，展望区块链行业的未来发展趋势。

莱比特创始人江卓尔发表了个人主题演讲《加密货币行业最困难的任务》。他表示，加密货币市场是不可预测的，它有一定的随机性，没有人可以预测短期的价格变化，所有的技术分析指标在短期内都是无意义的。对于多数人而言，挖矿是一个很好的选择，可以把挖矿当做一个经营行为，而不是投资行为。一旦你开始挖矿，一定要把挖出来的币屯下来，而不是把币卖掉。[2020/12/23 16:17:01]

为了用统计学的术语来描述随机过程，我们可以给出以下定义:

观测值:一次试验的结果。总体:所有可能的观测值，可以记为一个试验。样本:从独立试验中收集的一组结果。例如，抛一枚均匀硬币是一个随机过程，但由于大数定律，我们知道，如果进行大量的试验，我们将得到大约相同数量的正面和反面。

大数定律指出:

“随着样本规模的增大，样本的均值将更接近总体的均值或期望值。因此，当样本容量趋于无穷时，样本均值收敛于总体均值。重要的一点是样本中的观测必须是相互独立的。”--JasonBrownlee

随机过程的例子有股票市场和医学数据，如血压和脑电图分析。

泊松过程

泊松过程用于对一系列离散事件建模，在这些事件中，我们知道不同事件发生的平均时间，但我们不知道这些事件确切在何时发生。

如果一个随机过程能够满足以下条件，则可以认为它属于泊松过程:

事件彼此独立(如果一个事件发生，并不会影响另一个事件发生的概率)。两个事件不能同时发生。事件的平均发生比率是恒定的。让我们以停电为例。电力供应商可能会宣传平均每10个月就会断电一次，但我们不能准确地说出下一次断电的时间。例如，如果发生了严重问题，可能会连续停电2-3天(如,让公司需要对电源供应做一些调整)，以便在接下来的两天继续使用。

动态 | EOS DApp EOSPlay 遭遇新型随机数攻击:据慢雾区情报，EOS DApp EOSPlay 中的 DICE 游戏于昨晚遭受新型随机数攻击，损失数万 EOS。目前项目方已经把游戏暂停。经过慢雾安全团队的分析，发现攻击者（账号：muma******mm）可能使用下列方式达到攻击目的。

1、攻击者为自己和项目方租用了大量的 CPU

2、攻击者发大量 defer 交易

3、由于以上两点原因，导致 CPU 价格被拉高，从而导致其它用户 CPU 不足

4、因为 CPU 不足的原因，其他用户难以发送交易，攻击者得以使用自己交易占满区块

5、根据提前构造的交易内容，攻击者可以成功预测出区块哈希

由于项目方采用的是使用未来区块 id 的方式开奖，通过控制区块内的交易内容，就能控制区块信息，进而控制区块 id，达到预测开奖结果的目的。慢雾安全团队建议 DApp 开发者使用更为安全的随机数生成方式，避免遭到随机数攻击。同时，特别感谢 WhaleEx 在此次分析过程中提供的帮助。[2019/9/14]

因此，对于这种类型的随机过程，我们可以相当确定事件之间的平均时间，但它们是在随机的间隔时间内发生的。

由泊松过程，我们可以得到一个泊松分布，它可以用来推导出不同事件发生之间的等待时间的概率，或者一个时间段内可能发生事件的数量。

泊松分布可以使用下面的公式来建模(图2)，其中k表示一个时期内可能发生的事件的预期数量。

图2:泊松分布公式

一些可以使用泊松过程模拟的现象的例子是原子的放射性衰变和股票市场分析。

随机漫步和布朗运动过程

随机漫步是可以在随机方向上移动的任意离散步的序列(长度总是相同)(图3)。随机漫步可以发生在任何维度空间中(如:1D，2D，nD)。

美国国家标准和技术研究所的研究人员宣布 密码学中随机数的方面出现突破:美国国家标准和技术研究所的研究人员最近宣布，在密码学最重要的一个“随机数的产生”方面取得了突破。这种实验性的新技术可能会对网络安全产生巨大影响。在以电子方式运行现代世界的“1”和“0”的数字面纱后面，随机数字每天都要在加密过程中进行数千亿次的排序，这些过程通过不断扩大的互联网为全球提供数据。[2018/4/19]

图3:高维空间中的随机漫步

现在我将用一维空间(数轴)向您介绍随机漫步，这里解释的这些概念也适用于更高维度。

我们假设我们在一个公园里，我们看到一只狗在寻找食物。它目前在数轴上的位置为0，它向左或向右移动找到食物的概率相等(图4)。

图4:数轴

现在，如果我们想知道在N步之后狗的位置是多少，我们可以再次利用大数定律。利用这个定律，我们会发现当N趋于无穷时，我们的狗可能会回到它的起点。无论如何，此时这种情况并没有多大用处。

因此，我们可以尝试使用均方根(RMS)作为距离度量(首先对所有值求平方，然后计算它们的平均值，最后对结果求平方根)。这样，所有的负数都变成正数，平均值不再等于零。

在这个例子中，使用RMS我们会发现，如果我们的狗走了100步，它平均会从原点移动10步(√100=10)。

如前面所述，随机漫步用于描述离散时间过程。相反，布朗运动可以用来描述连续时间的随机漫步。

隐马尔科夫模型

丹华资本Doyey Wan：随机性是挖矿过程中的重要属性:2月21日消息，今日，Dovey Wan在区块链第一社群“三点钟无眠区块链”里发表观点称：随机性是挖矿过程中的重要属性，是保证分布式记账公平公正的基石。当前的全球算力约为9211434 TH/s，每产生一个符合条件的随机值大概需要十分钟的计算，也就是需要尝试9211434 T * 10 * 60 次哈希运算，每一次尝试计算得出正确结果的可能性都是随机分布的。在假设挖矿节点足够多的情况下，多次连续被同一节点找到正确解的可能性是很低的，从而保证挖矿的公平性。[2018/2/21]

隐马尔可夫模型都是关于认识序列信号的。它们在数据科学领域有大量应用，例如:

计算生物学。写作/语音识别。自然语言处理(NLP)。强化学习HMMs是一种概率图形模型，用于从一组可观察状态预测隐藏(未知)状态序列。

这类模型遵循马尔可夫过程假设:

“鉴于我们知道现在，所以未来是独立于过去的"

因此，在处理隐马尔可夫模型时，我们只需要知道我们的当前状态，以便预测下一个状态(我们不需要任何关于前一个状态的信息)。

要使用HMMs进行预测，我们只需要计算隐藏状态的联合概率，然后选择产生最高概率(最有可能发生)的序列。

为了计算联合概率，我们需要以下三种信息:

初始状态：任意一个隐藏状态下开始序列的初始概率。转移概率：从一个隐藏状态转移到另一个隐藏状态的概率。发射概率：从隐藏状态移动到观测状态的概率举个简单的例子，假设我们正试图根据一群人的穿着来预测明天的天气是什么(图5)。

在这种例子中，不同类型的天气将成为我们的隐藏状态。晴天，刮风和下雨)和穿的衣服类型将是我们可以观察到的状态(如,t恤，长裤和夹克)。初始状态是这个序列的起点。转换概率，表示的是从一种天气转换到另一种天气的可能性。最后，发射概率是根据前一天的天气，某人穿某件衣服的概率。

图5:隐马尔可夫模型示例

使用隐马尔可夫模型的一个主要问题是，随着状态数的增加，概率和可能状态的数量呈指数增长。为了解决这个问题，可以使用维特比算法。

如果您对使用HMMs和生物学中的Viterbi算法的实际代码示例感兴趣，可以在我的Github代码库中找到它。

从机器学习的角度来看，观察值组成了我们的训练数据，隐藏状态的数量组成了我们要调优的超参数。

机器学习中HMMs最常见的应用之一是agent-based情景，如强化学习(图6)。

图7:掷骰子公平的概率分布

无论如何，你玩得越多，你就越可以看到到骰子总是落在相同的面上。此时，您开始考虑骰子可能是不公平的，因此您改变了关于概率分布的最初信念(图8)。

图8:不公平骰子的概率分布

这个过程被称为贝叶斯推理。

贝叶斯推理是我们在获得新证据的基础上更新自己对世界的认知的过程。

我们从一个先前的信念开始，一旦我们用全新的信息更新它，我们就构建了一个后验信念。这种推理同样适用于离散分布和连续分布。

因此，高斯过程允许我们描述概率分布，一旦我们收集到新的训练数据，我们就可以使用贝叶斯法则(图9)更新分布。

图9:贝叶斯法则

自回归移动平均过程

自回归移动平均(ARMA)过程是一类非常重要的分析时间序列的随机过程。ARMA模型的特点是它们的自协方差函数只依赖于有限数量的未知参数(对于高斯过程是不可能的)。

缩略词ARMA可以分为两个主要部分:

自回归=模型利用了预先定义的滞后观测值与当前滞后观测值之间的联系。移动平均=模型利用了残差与观测值之间的关系。ARMA模型利用两个主要参数(p,q)，分别为：

p=滞后观测次数。q=移动平均窗口的大小。ARMA过程假设一个时间序列在一个常数均值附近均匀波动。如果我们试图分析一个不遵循这种模式的时间序列，那么这个序列将需要被差分，直到分割后的序列具有平稳性。

这可以通过使用一个ARIMA模型来实现，如果你有兴趣了解更多，我写了一篇关于使用ARIMA进行股票市场分析的文章。

谢谢阅读！

参考文献

MCEscher,“SmallerandSmaller”—1956.访问:https://www.etsy.com/listing/288848445/m-c-escher-print-escher-art-smaller-and

机器学习中大数定律的简要介绍。MachineLearningMastery,JasonBrownlee.访问:https://machinelearningmastery.com/a-gentle-introduction-to-the-law-of-large-numbers-in-machine-learning/

正态分布，二项分布，泊松分布,MakeMeAnalyst.访问:http://makemeanalyst.com/wp-content/uploads/2017/05/Poisson-Distribution-Formula.png

通用维基百科.Accessedat:https://commons.wikimedia.org/wiki/File:Random_walk_25000.gif

数轴是什么?MathematicsMonste.访问:https://www.mathematics-monster.com/lessons/number_line.html

机器学习算法:SD(σ)-贝叶斯算法.SagiShaier,Medium.访问:https://towardsdatascience.com/ml-algorithms-one-sd-%CF%83-bayesian-algorithms-b59785da792a

DeepMind的人工智能正在自学跑酷，结果非常令人惊讶。TheVerge,JamesVincent.访问:https://www.theverge.com/tldr/2017/7/10/15946542/deepmind-parkour-agent-reinforcement-learning

为数据科学专业人员写的强大的贝叶斯定理介绍。KHYATIMAHENDRU,AnalyticsVidhya.Accessedat:https://www.analyticsvidhya.com/blog/2019/06/introduction-powerful-bayes-theorem-data-science/

viahttps://towardsdatascience.com/stochastic-processes-analysis-f0a116999e4

今日资源推荐：AI入门、大数据、机器学习免费教程

35本世界顶级原本教程限时开放，这类书单由知名数据科学网站KDnuggets的副主编，同时也是资深的数据科学家、深度学习技术爱好者的MatthewMayo推荐，他在机器学习和数据科学领域具有丰富的科研和从业经验。

点击链接即可获取：https://ai.yanxishe.com/page/resourceDetail/417

雷锋网雷锋网雷锋网

标签：ARMARMAARIARM币是什么币ARMA币ARMA价格ARI价格ARI币

中币交易所热门资讯