回顾使用线性回归预测股价的例子,我采用了最简单的线性模型,y=Ax+b。在这个例子中,x是长度为5的列向量,分别记为x1、x2、x3、x4、x5。y和b是标量,A是长度为5的向量,记这5个量分别是A1、A2、A3、A4、A5,则这个模型可以表示为方程:y=A1*x1+A2*x2+A3*x3+A4*x4+A5*x5+b。sklearn从输入的样本中,算出A是多少,b是多少。sklearn是怎么找出A和b的值呢?就想我们学习任何新事物一样,很难一蹴而就的,总是一点一点学会的,学习的过程中经常有曲折,会不断地尝试、犯错然后改正,机器学习也有类型的过程。

在预测股价的这个例子中,我们要找出六个未知数。这六个未知数可能的取值范围是从负无穷大到正无穷大。模型假设这六个未知数是各不相干的,即当我们缩小了A1的取值范围,我们并不能据此缩小其他五个未知数的取值范围。如果可以,说明我们的方程可以进一步简化。这六个未知数的取值范围就是他们说的解空间。因为六个未知数是各不相干的,用他们的那套说辞就是,这个解空间是六维正交的。每一个未知数就是模型在其中一维上的长度,也是某个特征的权重。开玩笑地说,当然为了追求高大上,我们也可以把上面的方程用矩阵表示,然后说什么奇异矩阵,非奇异矩阵,进一步提高进入这一行的门槛。如果特征变多,我们也不能确定特征之间的相干性,其实用矩阵表示会方便一点。总之解空间就是模型或者方程组的未知系数的所有可能的取值范围。

初始的解空间很大,而计算机很笨的,只能一个一个地去尝试,速度再快的计算机也需很久的时间才能尝试完整个解空间。我们需要对解空间进行一些挑选,明显不可能的地方就不用搜索了。对解空间的挑选就是正则化。以预测股价的例子为例,我们知道A股有涨停跌停的限制的,可以对开盘价的权重进行一些限制。计算机在0.9到1.1之间搜寻就行了,其他范围多半是白费功夫。

什么样的A和b是好的?这个模型是用来预测股价的,当然是预测得越准越好。那我们怎么判断预测的准确性呢?

发表回复

您的电子邮箱地址不会被公开。 必填项已用*标注

此站点使用Akismet来减少垃圾评论。了解我们如何处理您的评论数据