2015-11-17 00:00:00

大数据时代并不会自动生成，总是需要不断地提出和解决大数据发展所遇到的问题和矛盾，才会有切实的进步。事物发展的不同阶段有不同的“时务”，需要不同的应对。统计数据的搜集方面，传统的统计抽样调查不再适用，这需要我们结合大数据的来源来搜集数据；数据整理方面，不再是传统的计算机所能运行的，它需要更大的存储以及计算机处理数据的能力；数据分析方面，很多传统的统计方法不再有效，利用这些方法对数据进行分析，未必能得到我们想要的结果，这就需要我们对统计方法的创新与发展做进一步的努力。

对统计工作者而言，这种改变不仅意味着拓宽了统计研究的范畴"丰富了统计研究的内容"增强了统计学的生命力，还意味着统计工作及统计研究的四个转变：

1.转变统计研究过程。传统的统计研究过程包括统计设计、收集数据、整理与分析和统计资料的积累、开发与应用等四个基本环节。大数据时代，由于数据规模巨大、数据结构复杂等特点，以及整理数据可能损坏原有数据中有价值信息，针对大数据的统计研究过程仅包括数据整理与分析和数据的积累、开发与应用两个基本环节。进一步的分析表明，大数据整理与分析过程仅指数据储存工作。总的说来，大数据统计研究过程包括数据储存和数据的积累、开发与应用两个环节；

2.转变统计研究方法。传统的统计研究方法，如建立回归方程、估计模型参数、检验参数估计结果等因为大数据的特点而无法实施，对大数据的统计分析是以相关关系为基础展开的。但针对大数据的相关关系分析不同于传统的相关关系的分析，传统的相关分析基本是线性相关分析，大数据研究的相关关系分析的不仅是线性相关，更多的是非线性相关以及不明确函数形式的线性关系；

3.转变统计研究目的。传统统计研究的目的主要是为了探寻现象或变量间的相关关系、因果关系以及建立在相关关系或因果关系基础上的预测分析。大数据由于数据规模巨大和数据结构复杂以及要求数据处理速度快等特点，因果分析往往不可行。大数据时代统计研究分析的目的主要是研究现象间的相关关系以及建立在相关分析基础上的预测分析；

4.转变统计研究工作思想。传统统计研究工作中，由于计算技术的限制，总是希望用尽量少的数据和相对复杂的模型尽量获取有价值的信息。传统的统计抽样调查方法虽然在小数据时代有助于节省费用、了解总体信息，但可能存在抽样框不稳定、调查样本片面、调查结果经不起细分以及纠偏成本高昂的缺陷。在大数据时代，样本即总体，由于计算机超前的数据处理能力，可以通过分析处理大数据了解总体各方面的信息。另外，还需将传统统计质量管理控制中的事后检验转变为事先预测，以及转变尽量利用复杂模型的思想为巧用简单模型的思想。

从统计学角度定义，大数据不是基于人工设计、借助传统方法而获得的有限、固定、不连续、不可扩充的结构型数据，而是基于现代信息技术与工具可以自动记录、储存和连续扩充的、大大超出传统统计记录与储存能力的一切类型的数据。大数据时代下，统计学发生了很多的变化，传统的统计学方法已经不能够很好的处理大数据问题。这要求我们必须改变传统的统计学分析思维，从数据获取、处理、分析方面找到更加适合大数据的一套完整的统计分析方法。对于每一位统计工作者来说，这既是机遇，有是挑战。机遇在于，在大数据时代下，统计学的地位不容忽视，它是处理大数据问题的有效途径。挑战在于，要得到一套适合大数据的统计分析方法实属不易，这需要我们每一位统计学者和工作者的不懈努力。

2015年11月17日