大数据、云计算和商业智能这三者的关系如何，以后的发展前景怎么样？

小笨提问于 2018-01-21 09:27

• 杨帆2018-01-22 00:03

  从产业现状来看，说云计算、大数据是“筐”确实没错，题主既然有此问，还是想透过喧嚣的概念抓住技术演进和应用发展的本质。长久的技术，最终应该是能够转化为生产力，或者是能够提升生活品质，这里从商业角度分享目前比较好的模型：

  
  

  
  

  云计算：负责让业务能够以互联网的方式运行，在提升效率的同时，产生各种数据为后续决策优化提供依据，互联网方式也包括成为大数据基础设施，包括把大数据能力通过网络管道输送给业务方。

  
  

  
  

  大数据：负责把互联网系统中的数据转化为企业管理和业务运营需要的信息，同时也指导云计算服务的创新和优化（比如准确度很高的鉴黄、人脸识别云服务，背后都有大数据）。

  
  

  
  

  商业智能（BI）：基于业务理解把数据分析结果显性化，是大数据转化为商业洞察发挥实际价值的必经之路。BI可以以云的方式提供。

  
  

  
  

  当然，现实的情况，并不是所有的企业都到了“一切都为了数据”的阶段；并不是所有的业务都会部署在云上（甚至包括私有云）；云计算的部署不一定就是为了采集和分析数据；大数据处理平台也不一定就是严格意义上的云计算系统；BI平台也不一定是基于云和大数据。不过，即便在互联网行业之外，也有越来越多的企业意识到云计算和大数据的作用，都在制定云计算和大数据的规划，至少，如何发挥现有数据的价值已经被提上日程，比如平安、华大基因、三一重工。而屈臣氏这样的企业，也采用云服务来打造美妆问答购物平台。

  
  

  
  

  先说云计算，性能、安全、弹性、可靠性、可用性、自助租用、精准计费等等，这些确实不可或缺，但这只是云计算的基础能力，云的意义更在于让企业不用死磕基础设施运维和产品基础功能（比如IM、音视频、语音识别、内容安全）研发，而是专注于业务，分布式系统的意义不仅在于解决资源瓶颈，更在于业务架构分布化之后的灵活性。对于企业来说，重要的是产品特性可以满足这些需求，对于云计算服务商来说，重要的则是技术的积累，是功能背后非功能性需求的满足。在此之后，更高段的，就是用大数据、人工智能实现科学化决策、智能化服务、精细化运营了。

  
  

  
  

  数据分析反作用于业务的流程，可以分为采集、存储、计算、分析、展现五个环节，大数据就是这些相关技术的组合。大数据概念的出现，因为几年前数据的容量、类型、处理速度需求（3V）确实对当时的IT系统来造成压力，这个流程不能顺利进行，但在社区的共同努力之下，3V问题已经基本解决（当然开源还有很多坑要平，流式计算也还不能真正做到实时）。但若只从存储和计算成本说“40MB数据在20年前也是大数据”则有失偏颇，对于数据挖掘、机器学习来说，数据丰富程度是会影响最终效果的，所以现在大数据应该重点关注价值，而不是容量。企业业务系统中的数据，比如CRM数据，容量不一定很大，但价值密度非常高，很符合大数据的定义，应当优先分析。

  
  

  
  

  上面之所以说以互联网的方式产生数据，因为数据通常是孤立的（包括系统架构、组织架构造成的孤立），建模会受到数据的限制，而且大数据注重相关性分析，所以数据的连通对大数据很重要，如果都采用同一套云计算架构，管理和业务活动都会有数据可循，数据的整合也不是障碍。当然，数据互联互通还有很多非技术问题需要解决。但是我们在可能的情况下，就没有必要人为地制造障碍了。

  
  

  
  

  至于说用云架构来处理大数据，对于业务运行和数据分析负载来说，一个偏向分布式，一个偏向集群计算，资源调度的关注点其实有区别，大规模数据也不愿意承担虚拟化带来的性能损失，比如IO饥渴的Hadoop，内存饥渴的Spark，社区也会有掰着手指数不尽的流行方案。互联网公司中，云平台和大数据平台是两套的，其实并不新鲜。但从长远来说，还是一套架构比较方便，一来互联和传输更便捷，二来虚拟机（VM）或者容器对于部署和管理来说更简单。

  
  

  
  

  数据展现的环节，就是BI大显身手的时刻了，包括传统BI和现在的敏捷BI。传统BI需要专业IT人员介入所有的工作，谈不上实时，分析效率大打折扣；敏捷BI则让更了解业务的人（更了解数据的意义）可以通过拖拽的方式完成可视化分析，也就是前端要尽可能灵活。鉴于数据的分布情况，数据集成、快速传输需要解决；支持非专业人员分析，自然语言的支持应当事先；而为适应大数据，底层一般都是MPP（Massively Parallel Processing），PB级规模就应该用Hadoop了。

  
  

  
  

  至于发展前景，网易云相信，云计算、大数据和敏捷BI都会成为常态，基本上所有的业务和管理工作都离不开这些系统，区别无非是公有云还是私有云或者专属云（可以理解为公有云上的私有云）。当然，业务对于性能、弹性、可用性、数据处理速度、数据展现能力这些指标的渴求，是不会有止境的。故而对于企业来说，随着平台更智能更健壮，从业者对业务理解将更加重要；对于基础平台研发来说，挑战会更大。然而解决这些问题，正是技术从业者工作的意义所在。