如今，不仅数据量空前增长，对数据的洞察和发掘也呈现出惊人的潜力。然而，其中涉及到海量的计算，会对性能提出严峻的挑战。 Apache Spark 是当下流行的开源数据处理引擎，主要用于批处理、机器学习 (ML)、流处理和大规模 SQL，旨在加速和简化大数据处理。

Spark 内存计算框架在大数据处理领域内占有举足轻重的地位，2014 年 Spark 风靡 IT 界，Twitter 数据显示 Spark 已经超越 Hadoop、Yarn 等技术，成为大数据处理领域中最热门的技术，如图 1 所示。2015 年 6 月 17 日，IBM 宣布它的”百万数据工程师计划”，承诺大力推进 ...

导读本文将分享丁香园大数据基于 Apache Kyuubi / Celeborn 的实践。 引入 Apache Kyuubi 是为了统一 Spark 程序入口，下图是 Kyuubi 的整体架构。Kyuubi 最吸引我们的特性包括兼容 Hive Beeline 和 RESTful API，支持多租户隔离，配合不同的 Share Level 使用，可以有效提升 Yarn 资源 ...

分布式RPC 模型实现的一个实例就是 Apache Storm. Storm 实现了无边界元组的无状态毫秒级延迟处理，结合数据流作为喷发源使用了拓扑或定向环图的及时，提供了过滤， join, 聚合和转换. Storm 也实现了一个高层抽象叫做 Trident , 与Spark类似, 以微型批处理进行流式数据处理。

Cluster Managers： 集群管理，Spark 自带一个集群管理是单独调度器。 常见的其他集群管理包括Hadoop YARN，Apache Mesos Spark 的组件之间都是紧密集成的，基于Spark底层优化了，其紧密继承的组件也会得到相应优化。 紧密集成，节省了各个组件组合使用时的部署、测试时间、 ...