机器学习中的分类具有一定的哲学意义,因为人类一旦知道了事物的分类,就可以采取一定的行动。下面粤嵌重庆嵌入式培训机构为你解密一下机器学习中的“哲学”到底有哪些?
NFL定理。它由Wolpert在1996年提出,其应用领域原本为经济学,NFL讲的是优化模型的评估问题。在机器学习领域中,NFL的定律指明,如果我们对要解决的问题一无所知且并假设其分布完全随机且平等,那么任何算法的预期性能都是相似的。这个定理对于“盲目的算法崇拜”有毁灭性的打击。然而,从另一个角度说,我们对于要解决的问题往往不是一无所知,因此大部分情况下我们的确知道什么算法可以得到较好的结果。正因如此,我们才需要研究和发明更多的机器学习算法来处理不同的假设和数据。
奥卡姆剃刀定理。它是由十二世纪的英国教士及哲学家奥卡姆提出的:“ 如无必要,勿增实体”。奥卡姆剃刀定理对于机器学习的意义在于它给出了一种模型选择的方法,对待过拟合问题有指导意义。但读者应该注意,奥卡姆剃刀定理只是一种对于模型选择的指导方向,不同的选择方向如集成学习就给出了近似相反的选择标准。现实世界是非常复杂的,切勿滥用。
集成学习。集成学习的哲学思想是“众人拾柴火焰高”,和其他机器学习模型不同,集成学习将多个较弱的机器学习模型合并起来来一起决策。比较常见的方法有多数投票法,即少数服从多数。从某种意义上说,神经网络也是一种集成学习,相信敏锐的读者已经发现,集成学习似乎和前面提到的奥卡姆剃刀定理相违背。奥卡姆剃刀定理并非不可辩驳的真理,而只是一种选择方法从事科学研究,切勿相信有普遍真理。
频率学派和贝叶斯学派。对于不熟悉的读者来说,无论是机器学习还是统计学习都是一种寻找一种映射,或者更广义的说,进行参数估计。频率学派相信参数是客观存在的,虽然未知,但不会改变。因此频率学派的方法一直都是试图估计“哪个值接近真实值”,相对应的我们使用似然估计,置信区间, 和p-value。因此这一切都是体现我们对于真实值估算的自信和可靠度。而贝叶斯学派相信参数不是固定的,我们需要发生过的事情来推测参数,这也是为什么总和先验及后验过不去,才有了后验即MAP。贝叶斯学派的优势在于承认未知的存在,因此感觉更符合我们的常识“不可知论”。据我不权威观察,统计学出身的人倾向于频率学派而机器学习出身的人更倾向于贝叶斯学派。
接触机器学习的早期阶段,时间往往都花在了研究算法上。随着学习的深入,相信大家会慢慢发现其实算法思想的精髓是无处不在的妥协。以上是粤嵌重庆嵌入式培训机构为你解密机器学习中的“哲学”。