大数据架构开发中,hadoop系列,spark系列和go,docker系列,是什么关系?

未来已来提问于 2018-03-12 10:26
1 个回答
  • 活动主持人2018-03-12 20:58


    作为目前最为流行的两种大数据框架,Hadoop 和 Spark 本身属于 JVM 阵营,Hadoop 生态圈的项目大都基于 Java,Scala,Clojure 等 JVM 语言开发。Hadoop/Spark 底层的资源管理,主流采用 Yarn 或者 Mesos ,但我们也可以采用 Docker 搭建 Hadoop 或 Spark 集群,Docker 的好处是 Build once,Run anywhere。而 Docker 是采用 Go 开发的。


    业界也有 Scala 的拥趸,变成了 Go 的粉丝,选择使用 Go 开发大数据平台,原因是 Scala 对程序员要求更高。