大数据时代统计学面临的机遇与挑战

【引言】在人类利用观察认知自然的方法论发展的历程中，最初神学、哲学和科学合为一体，巫术、占星术和宗教是哲学和科学的前身。人类旧石器期用神学解释自然，根据蛙鸣预测下雨，用巫术和占星术祈祷、预测和干预自然。中国古代利用阴阳太极图和八卦图作为思辨模型，分析和解释自然和人文社会的现象。古希腊文明孕育了演绎逻辑、归纳逻辑。文艺复兴前后哲学家提出观察和试验的方法，培根( FBacon，1620，新工具) 提出通过观察实验，运用三表法: 存在与具有表、差异表、程度表。穆勒( J SMill，1843，逻辑体系) 提出归纳四法: 求同法、求异法、共变法、剩余法。在统计方法论的发展中，贝叶斯( T Bayes，1764) 提出逆概率方法，利用观察结果推断事件的概率。高尔顿( F Galton，1886) 将变量间的相关关系进行了形式化，提出了相关系数，进一步在相关性的基础上提出了回归预测的方法。皮尔逊( K Person，1900) 提出了拟合优度检验的方法，使得人们能够利用概率度量观测现象与科学假说的拟合程度。在此后的一个多世纪中统计方法有了突飞猛进的发展，被广泛地应用到自然科学、经济金融和人文社会科学的各个领域。在人类利用观察探索自然和社会规律的历程中，从远古时代的观察加臆想，古希腊时代的观察加理性推理，文艺复兴时代的试验加理性推理，直到现代的抽样加统计模型。当今时代，一方面人们在主动地获取数据。各个科学领域都在大量地获取数据，自然科学领域收集着从宏观的天文数据到微观的基因数据，经济、金融和人文社会科学收集着大量的观察和调查数据。一些人们在通宵达旦地制造和收集数据，他们相信这些数据会对别人有用。也有一些人们脱离了实验室，仅依靠网络数据从事研究。另一方面人们在被动地囤积数据。随着计算机互联网、搜索引擎、电子商务、多种传感器和多媒体技术的发展和广泛使用，各种形式的数据如江河流水般地涌来。当今数据的获取和规模发生了根本的变化，统计学面临着新的机遇和挑战，需要在方法论上有所突破。