数据分析

一

.

数据分析概述

1.

数据分析的概念

数据分析就是分析数据，

从一大堆数据中提取你想要的信息。

比较专业的回答：

数据分析是

有针对性的收集、加工、 整理数据，并采用统计、挖掘技术分析和解释数据的科学与艺术。

比较客观的回答：

从行业的角度看，

数据分析是基于某种行业目的，

< br>有目的地对数据进行收

集、整理、加工和分析，提炼有价值信息的过程。

理解数据分析的三个方面：目标、方法、结果。

2.

数据挖掘的概念

数据挖掘是从大量的、不完全的、有噪声的、模糊的、随机的 数据集中识别有效的、新

颖的、

潜在有用的，

< br>以及最终可理解的模式的非平凡过程。

它是一门涉及面很广的交叉学科，

包括机器学习、数理统计、神经网络、数据库、模式识别、粗糙集、模糊数学等相关技术。

3.

商业数据分析预测的本质

数据分析和 业务是紧密联合在一起的，

其目的就是满足商业决策的需求。

预 测未

来发展情况，及早发现问题，对业务进行优化，制定最优的决策方案。

4.

数据分析的

8

个层次

常规报表

即席查询

多维分析

警报

统计分析

预报

预测型建模

优化

5.

大数据对传统小数据的拓展

（

1

）大数据与小数据，大量数据的区别与转变就是，放弃对因果关系的 渴求，而取而代之

关注相关关系。也就是说只要知道“是什么”，而不需要知道“为什么 ”。这就颠覆了千百

年来人类的思维惯例，对人类的认知和与世界交流的方式提出了全新 的挑战。

（

2

）

.

还有一个重要的区别是在用途上，过去的数据很大程度上 停留在说明过去的状态，拿

数据说话，

实际上是用过去的数据说 明过去，

而大数据的核心就是预测。

大数据将为人类的

生活创造前所未有的可量化的维度。

使数据从原来停留在说明过去变为驱 动现在，

我以为预

测对企业的作用从两个方向：

A.

宏观是对趋势的预测，给企业做大势分析，

B.

微观是对个体的精准分析，给企业做 个性化精准营销

（

3

）

.

从结构上，大数据更多的体现在海量非结构化数据 本身与处理方法的整合

大数据与小数据判断原则：

A.

数据的量

B.

数据的种类、格式

C.

数据的处理速度

D.

数据复杂度

（

4

）

.

分析基础不同，大数据是只有在大规模数据的基础上才可以做的事情，而这需要有从

量变 到质变的过程，

也正因为科技的创新在方法上打下基础，

而利用 互联网展开的新的生活

与工作方式，

让信息积累到可以引发变革 的程度，

而很多事情在小规模数据的基础上是无法

完成的

6.

明确数据分析目标的意义

数据分析的关键在于设定目标，专业上叫做“有针对性”。

< /p>

数据分析的前提是有清晰的目标。

对数据分析目的的把握，

是数据分析成败的关键。

只有对

数据分析的目 的深刻理解，

才能整理出完整的分析框架和思路，

因为根据不同 的分析目标所

选择的分析方法是不同的。

7.

数据分析的过程

明确分析的目的和内 容——

>

数据收集——

>

数据预处理——

>

数据分析——

>

数据展现

——

>

撰写报告

8.

统计分析和数据挖掘的区别和联系

联 系：

都来源于统计基础理论，

数据挖掘中也经常会用到统计分析 方法，如主成分分析、回

归分析

区别：

数据挖掘是统计分析方法 的延伸和发展。统计分析常需要先做假设或判断，

然后

利用数据 分析技术来验证假设是否成立。

数据挖掘则不需要对数据内在的关系做任何假设和

判断，

而是让数据挖掘工具中的算法自动去寻找数据中隐藏的关系和规 律。

统计分析在预

测中的应用常表现为一个或者一组函数关系式，

而数据挖掘在预测中有时候不会 从结果中生

产明确的函数关系，不知道哪些变量起作用，缺乏解释性，例如“神经网络” 。

实际应用中，统计分析和数据挖掘是不可分割开来。

9.

CRISP-DM

CRISP-DM

(cross-industry

standard

process

for

data

mining),

即为

跨行业数据挖

掘标准流程

CRISP-DM

模 型为一个

KDD

工程提供了一个完整的过程描述

.

该模型将一个

KDD

工程分 为

6

个不同的

,

但顺序并非完全不变的阶段。

是一种数据挖掘项目关系方法论。

10.

SEMMA

SAS

公司的数据挖掘项目实施方法论。对

CRIS P-DM

方法中的数据准备和建模环节进行了

拓展。