数据挖掘与数据分析的主要区别是什么？

未来已来提问于 2018-11-27 13:27

• 猪小花1号2018-11-27 13:37

  百科是这样定义数据挖掘和数据分析的。

  数据分析：是指用适当的统计分析方法对收集来的大量数据进行分析，提取有用信息和形成结论而对数据加以详细研究和概括总结的过程。这一过程也是质量管理体系的支持过程。在实用中，数据分析可帮助人们作出判断，以便采取适当行动。数据分析的数学基础在20世纪早期就已确立，但直到计算机的出现才使得实际操作成为可能，并使得数据分析得以推广。数据分析是数学与计算机科学相结合的产物。

  数据挖掘：又译为资料探勘、数据采矿。它是数据库知识发现中的一个步骤。数据挖掘一般是指从大量的数据中通过算法搜索隐藏于其中信息的过程。数据挖掘通常与计算机科学有关，并通过统计、在线分析处理、情报检索、机器学习、专家系统（依靠过去的经验法则）和模式识别等诸多方法来实现上述目标。

  
  

  更详细的将两者进行区分的话，可以从下面几个方面进行理解：

  数据分析可以分为广义的数据分析和狭义的数据分析。广义的数据分析就包括狭义的数据分析和数据挖掘，我们常说的数据分析就是指狭义的数据分析。

  
  

  数据分析(狭义)：

  (1)定义：简单来说，数据分析就是对数据进行分析。专业的说法，数据分析是指根据分析目的，用适当的统计分析方法及工具，对收集来的数据进行处理与分析，提取有价值的信息，发挥数据的作用。

  (2)作用：它主要实现三大作用：现状分析、原因分析、预测分析(定量)。数据分析的目标明确，先做假设，然后通过数据分析来验证假设是否正确，从而得到相应的结论。

  (3)方法：主要采用对比分析、分组分析、交叉分析、回归分析等常用分析方法。

  (4)结果：数据分析一般都是得到一个指标统计量结果，如总和、平均值等，这些指标数据都需要与业务结合进行解读，才能发挥出数据的价值与作用。

  数据挖掘：

  (1)定义：数据挖掘是指从大量的数据中，通过统计学、人工智能、机器学习等方法，挖掘出未知的、且有价值的信息和知识的过程。

  (2)作用：数据挖掘主要侧重解决四类问题：分类、聚类、关联和预测(定量、定性)，数据挖掘的重点在寻找未知的模式与规律；如我们常说的数据挖掘案例：啤酒与尿布、安全套与巧克力等，这就是事先未知的，但又是非常有价值的信息。

  (3)方法：主要采用决策树、神经网络、关联规则、聚类分析等统计学、人工智能、机器学习等方法进行挖掘。

  (4)结果：输出模型或规则，并且可相应得到模型得分或标签，模型得分如流失概率值、总和得分、相似度、预测值等，标签如高中低价值用户、流失与非流失、信用优良中差等。

  综合起来，数据分析(狭义)与数据挖掘的本质都是一样的，都是从数据里面发现关于业务的知识(有价值的信息)，从而帮助业务运营、改进产品以及帮助企业做更好的决策，所以数据分析(狭义)与数据挖掘构成广义的数据分析。

  
  

  数据分析，是对数据的一种操作手段。或者算法。目标是针对先验的约束，对数据进行整理、筛选、加工，由此得到信息。

  数据挖掘，是对数据分析手段后的信息，进行价值化的分析。

  而数据分析和数据挖掘，又是甚至是递归的。就是数据分析的结果是信息，这些信息作为数据，由数据去挖掘。而数据挖掘，又使用了数据分析的手段，周而复始。

  数据分析和数据挖掘的最大区别在于，数据分析，是以输入的数据为基础，通过先验的约束，对数据进行处理，但是不以结论何如为调整。例如你需要图像识别，这个属于数据分析。你要分析人脸。数据通过你的先验的方法，就是出来个猫脸。你的数据分析也没有问题。你需要默默的承受结果，并 且尊重事实。因此数据分析的重点在于数据的有效性、真实性和先验约束的正确性。

  而数据挖掘则不同，数据挖掘是对信息的价值化的获取。价值化自然不考虑数据本身，而是考虑数据是否有价值。由此，一批数据，你尝试对它做不同的价值挖掘。评估，则就是数据挖掘。此时对比数据分析，最大的特点就是，你需要调整你的不同的先验约束，再次对数据进行分析。而先验的约束已经不是针对数据来源自身的特点，例如信噪比处理算法。而是你期望得到的一个有价值的内容，做先验的约束。以观测，数据根据这个约束，是否有正确的反馈。

  大数据是互联网的海量数据挖掘，而数据挖掘更多是针对内部企业行业小众化的数据挖掘，数据分析就是进行做出针对性的分析和诊断，大数据需要分析的是趋势和发展，数据挖掘主要发现的是问题和诊断。

  
  

  职业上，有数据分析师和数据挖掘师，这两者的相似点可总结如下：

  1、都跟数据打交道。

  他们玩的都是数据，如果没有数据或者搜集不到数据，他们都要丢饭碗。

  2、知识技能有很多交叉点。

  他们都需要懂统计学，懂数据分析一些常用的方法，对数据的敏感度比较好。

  3、 在职业上他们没有很明显的界限。

  很多时候数据分析师也在做挖掘方面的工作，而数据挖掘工程师也会做数据分析的工作，数据分析也有很多时候用到数据挖掘的工具和模型，很多数据分析从业者使用SAS、R就是一个很好的例子。而在做数据挖掘项目时同样需要有人懂业务懂数据，能够根据业务需要提出正确的数据挖掘需求和方案能够提出备选的算法模型，实际上这样的人一脚在数据分析上另一只脚已经在数据挖掘上了。

  事实上没有必要将数据分析和数据挖掘分的特别清，但是我们需要看到两者的区别和联系，作为一名数据行业的从业者，要根据自身的特长和爱好规划自己的职业生涯，以寻求自身价值的最大化。

  网易猛犸大数据平台：网易大数据实践经验积累，一站式大数据应用开发和数据管理平台。内嵌多种数据挖掘算法/包，支持Spark机器学习等，基于业务场景设计的用户操作界面提高了系统的易用性，结束了平台命令行运维的繁琐状态，数据开发工程师和数据分析师通过简单拖拽和表单填写即可完成数据科学相关工作。平台提供多租户支持，不同租户之间相互隔离，底层使用Kerberos认证，实现了数据的安全性和隔离性，除了认证系统，利用ranger实现了细粒度权限控制，保证了各个租户之间只能查看授权访问的库、表或者字段，此外，平台提供审计功能，通过对用户平台行为的记录、分析和汇报，用来帮助事后生成合规报告、事故追根溯源，提高平台的安全性。