大数据建模和算法特征

析技术：第一，数据体量巨大。从

TB

级别到

PB

级别，甚至跃升至

EB

乃至

ZB

级别

;

第

二，数据 类型多样。包括网络文本、日志、视频、图片、地理位置信息等各种结构化和非

结构化的 数据都有，一切信息皆为数据。第三，处理速度快。利用各种大数据分析工具，

比如

hadoop

和

SPSS

< br>，可从各种类型的数据中快速获得高价值的信息，这一点和传统的数

据分析技术有 着本质的区别。第四，只要合理利用数据并对其进行正确、准确的分析，挖

掘出数据内部 隐藏的相关关系将会带来很高的价值回报。

与传统的逻辑推理 研究不同，大数据研究是对数量巨大的数据做统计性的搜索、比

较、聚类和分类等分析归 纳。大数据分析比较关注数据的相关性或称关联性，所谓“相关

性”是指两个或两个以上 变量的取值之间存在着某种规律。“相关分析”的目的是找出数

据集里隐藏的相互关系网

(

关联网

)

。 因此大数据是侧重找出相关关系而不是找出因果关

系。也许正是由于大数据分析侧重于寻 找相关关系，才促使大数据分析技术在商业领域广

泛应用。商业的运用在于盈利，因此只 要从数据挖掘中发现某种因素与增加盈利有较强的

关联性，然后全面开发该相关因素就行 。

大数据分析建模的基本思路技巧

有了大量数据之后，下一步就是分析这些数据，期望通过合适的数据分析挖掘技术建

立模型找到蕴藏在数据下面的客观规律。大数据分析技术经过这么多年的发展，已经形成

了一些分析建模的基本思路。

CRISP-DM(

< br>即“跨行业数据挖掘标准流程”的缩写

)

是一种业

界认可的用于指导大数据分析挖掘工作的方法。

CRISP-DM

认为在大数据分析中存在一个大数据分析挖掘 生命周期模型。在这个生命

周期模型中存在着商业理解、数据理解、数据准备、建立模型 、模型评估和结果部署这六

个阶段。图

1

中展示了这六个阶段的关系，其中箭头的多少表示各个阶段间依赖关系的使

用频率和重 要程度，每个阶段之间并不一定要严格遵守顺序。实际上，大多数项目都会根

据需要在这 些不同的阶段之间来回移动。

商业理解通常是指理解业务的实 际类型，业务上的实际问题并且尝试尽可能多地了解

数据挖掘的业务目标。数据理解是指 数据理解阶段包含深入了解可用于挖掘的数据，此过

程包括初始数据的收集，初始数据的 描述以及数据质量的验证。数据准备是数据挖掘最重

要的阶段之一，通常需要花费大量的 时间。据估算，实际的数据准备工作通常占

50-70%

的项目 时间和工作量。

数据准备通常包含以下任务：合并数据集和记录、选择数据子集样本、汇总记录、导

出新的属性、排序数据以便建模、删除或替换空白值或缺失值、分为训练数据集和测试数

据集等。经过数据准备，下一阶段就是建立模型。建模时通常会执行多次迭代，选择合适

的模型算法，运行多个可能的模型，然后再对这些参数进行微调以便对模型进行优化，最

终选择出一个最佳的模型。在模型评估阶段，需要对项目结果是否达到业务成功标准进行

评估。此步骤的前提条件是对声明的业务目标有清晰的了解，因此在前期的商业理解越发

显得重要。模型评估完成之后就进入到结果部署阶段，在该阶段就是将前期选择出来的最

佳模型应用到实际业务中去，并得到最终报告。

大数据分 析通过预测未来趋势及行为，做出知识的决策。大数据分析挖掘的主要目标

功能有以下几 个：

第一，自动预测趋势和行为。数据挖掘自动在大型数据库 中寻找预测性信息，以往需

要进行大量手工分析的问题如今可以迅速直接由数据本身得出 结论。比如在

GOOGLE

流感

分析案 例中预测流感爆发的时间和地点。

第二，关联分析。数据关联 是数据库中存在的一类重要的可被发现的知识，若两个或

多个变量的取值之间存在某种规 律性，就称为关联。关联分析旨在找出具有强相关关系的

几个属性。典型案例是啤酒和尿 布的关联分析，关联分析经常用在电子商务的产品推荐

中。

< /p>

第三，聚类。数据库中的一些相类似的记录可以划归到一起，即聚类。聚类常常帮助

人们对事物进行再认识。在社交网络分析中经常用到聚类技术。

大数据分析技术经过这几年的发展，已经形成了一些比较成熟稳定的模型算法。常见