Flink基础教程

《Flink基础教程》

近年来,流处理变得越来越流行。作为高度创新的开源流处理器,Flink拥有诸多优势,包括容错性、高吞吐、低延迟,以及同时支持流处理和批处理的能力。本书分为6章,侧重于介绍Flink的核心设计理念、功能和用途,内容涉及事件时间和处理时间、窗口和水印机制、检查点机制、性能测评,以及Flink如何实现批处理。本书面向有兴趣学习如何分析大规模流数据的读者。

Flink原理、实战与性能优化

《Flink原理、实战与性能优化》

这是一部以实战为导向,能指导读者零基础掌握Flink并快速完成进阶的著作,从功能、原理、实战和调优等4个维度循序渐进地讲解了如何利用Flink进行分布式流式应用开发。作者是该领域的资深专家,现就职于第四范式,曾就职于明略数据。全书一共10章,逻辑上可以分为三个部分:第一部分(第1~2章)主要介绍了Flink的核心概念、特性、应用场景、基本架构,开发环境的搭建和配置,以及源代码的编译。第二部分(第3~9章)详细讲解了Flink的编程范式,各种编程接口的功能、应用场景和使用方法,以及核心模块和组件的原理和使用。第三部分(第10章)重点讲解了Flink的监控和优化,参数调优,以及对反压、Checkpoint和内存的优化。

Flink内核原理与实现

《Flink内核原理与实现》

《Flink内核原理与实现》既讲解了Flink的入门、安装、流计算开发入门、类型和序列化系统、监控运维、安全管理配置等基础知识,又讲解了Flink的时间概念、Window的实现原理及其代码解析,Flink的容错机制原理,Flink容错的关键设计、代码实现分析,FlinkJob从源码到执行整个过程的解析,FlinkJob的调度策略、资源管理策略、内存管理、数据交换的关键设计和代码实现分析,Flink的RPC通信框架等深度内容。《Flink内核原理与实现》适合对实时计算感兴趣的大数据开发、运维领域的从业人员阅读,此外对机器学习工程技术人员也有所帮助。

Flink入门与实战

《Flink入门与实战》

本书旨在帮助读者从零开始快速掌握Flink的基本原理与核心功能。本书首先介绍了Flink的基本原理和安装部署,并对Flink中的一些核心API进行了详细分析。然后配套对应的案例分析,分别使用Java代码和Scala代码实现案例。最后通过两个项目演示了Flink在实际工作中的一些应用场景,帮助读者快速掌握Flink开发。学习本书需要大家具备一些大数据的基础知识,比如Hadoop、Kafka、Redis、Elasticsearch等框架的基本安装和使用。本书也适合对大数据实时计算感兴趣的读者阅读。学习本书需要大家具备一些大数据的基础知识,例如Hadoop、Kafka、Redis、Elasticsearch等框架的基本安装和使用。本书也适合对大数据实时计算感兴趣的爱好者阅读。

基于Apache Flink的流处理

《基于Apache Flink的流处理》

ApacheFlink项目的资深贡献者FabianHueske和VasilikiKalavri展示了如何使用FlinkDataStreamAPI实现可伸缩的流式应用,以及怎样在业务环境中持续运行和维护这些应用。流处理的理想应用场景有很多,包括低延迟ETL、流式分析、实时仪表盘以及欺诈检测、异常检测和报警。你可以在任意类型的持续数据(包括用户交互、金融交易和物联网等数据)生成后,立即对它们进行处理。了解有关分布式状态化流处理的概念和挑战。探索Flink的系统架构,包括事件时间处理模式和容错模型。理解DataStreamAPI的基础知识和构成要素,包括基于时间和有状态的算子。以精确一次的一致性读写外部系统。部署和配置Flink集群。对持续运行的流式应用进行运维。

Mesos 实战

《Mesos 实战》

本书汇集了以Mesos为核心的新一代数据中心操作系统的*佳实践,全面展示了Mesos集群对数据中心资源管理的集成高效性,和对应用部署和计划任务创建扩容操作的便捷性的优点。基于ApacheMesos开源项目和Mesosphere公司的开创性工作,作者由浅到深地介绍了Mesos数据中心操作系统下各个相关组件和主流的计算框架,主要内容包括:1.构建你的**个Mesos集群:Mesos+Docker+Zookeeper2.管理Mesos集群:任务调度,资源管理以及日志3.使用主流计算框架部署容器化应用:Mesosphere公司的Marathon+Chronos以及ApacheAurora4.以python为例,自开发计算框架在每个部分,RogerIgnazio都给出了:关键原理及组件组成、安装部署过程、注意事项、日志和诊断方法等*佳实践,并结合相关实例、研究成果和附加资源进行阐述。每个部分的内容组织都着力于条理清晰的、系统的展现Mesos集群的优点。作者对书中建议和使用指南进行了补充说明,以便读者深入了解其合理性,还有实用指南明确每个动作是否成功执行。《Mesos实战》可以作为新一代数据中心架构设计以及管理的**性参考和教程,也可作为自建PaaS、CaaS平台的辅助参考,又或是分布式计算框架开发的参考书籍。

Mesos:大数据资源调度与大规模容器运行最佳实践

《Mesos:大数据资源调度与大规模容器运行最佳实践》

  本书结合大量实例介绍了Mesos的使用方法、核心原理及框架开发的相关内容。通过这些内容读者可以在数据中心环境中利用Mesos搭建分布式系统、进行大数据分析及开发分布式应用。  本书分为8章分别从使用、开发和运维等角度全面展示了Mesos作为数据中心内核的强大能力、设计方面的精髓及在工程中的**实践。《Mesos:大数据资源调度与大规模容器运行**实践还介绍了Mesos项目的全新进展和未来的发展方向,并给出了大量参考文献和相关链接方便读者进一步深入了解Mesos。适合分布式系统的研发、运维人员及相关技术爱好者阅读。

PaaS实现与运维管理:基于Mesos +Docker+ELK的实战指南

《PaaS实现与运维管理:基于Mesos +Docker+ELK的实战指南》

    本书主要阐述了云计算中PaaS平台的实现与运维管理,分为四大部分,分别是概念模型、基础资源、平台实现与运维管理,共十五章。第一部分阐述了运维与开发之间的关系、这层关系存在的矛盾,以及PaaS是如何有效缓解其矛盾的;第二部分勾勒出了数据中心的计算、网络、存储三大资源的主干,避免让人陷入上层的种种产品中;第三部分通过开源产品来构建一个完整的PaaS平台,包括资源管理、任务调度、计算单元打包、分布式协调、日志集中等;第四部分对运维管理进行了实践。  本书适合运维工程师、运维管理人员,以及希望在PaaS上运行分布式、可伸缩、高可用的后端开发工程师阅读。

实时大数据分析:基于Storm、Spark技术的实时应用

《实时大数据分析:基于Storm、Spark技术的实时应用》

本书详细阐述了实时大数据分析的实现过程,主要包括大数据技术前景及分析平台;熟悉Storm平台;用Storm处理数据;Trident介绍和Storm性能优化;熟悉Kinesis;熟悉Spark;RDD编程;Spark的SQL查询引擎;SparkStreaming分析流数据以及Lambda架构等内容。此外,本书还提供了相应的示例、代码,以帮助读者进一步理解相关方案的实现过程。本书适合作为高等院校计算机及相关专业的教材和教学参考书,也可作为相关开发人员的自学教材和参考手册。

Storm分布式实时计算模式

《Storm分布式实时计算模式》

  《Storm分布式实时计算模式》由ApacheStorm项目核心贡献者吉奥兹、奥尼尔亲笔撰写,融合了作者丰富的Storm实战经验,通过大量示例,全面而系统地讲解使用Storm进行分布式实时计算的核心概念及应用,并针对不同的应用场景,给出多种基于Storm的设计模式,为读者快速掌握Storms分布式实时计算提供系统实践指南。  《Storm分布式实时计算模式》分为10章:第l章介绍使用storm建立一个分布式流式计算应用所涉及的核心概念,包括storm的数据结构、开发环境的搭建,以及Storm程序的开发和调试技术等;第2章详细讲解storm集群环境的安装和搭建,以及如何将topology部署到分布式环境中;第3章通过传感器数据实例详细介绍Tridenttopology;第4章讲解如何使用Storm和Tridentj挂行实时趋势分析;第5章介绍如何使用Storm进行图形分析,将数据持久化存储在图形数据库中,通过查询数据来发现其中潜在的联系;第6章讲解如何在Storm上使用递归实现一个典型的人工智能算法;第7章演示集成Storm和非事务型系统的复杂性,通过集成Storm和开源探索性分析架构Druid实现一个可配置的实时系统来分析金融事件。  第8章探讨Lambda体系结构的实现方法,讲解如何将批处理机制和实时处理引擎结合起来构建一个可纠错的分析系统;第9章讲解如何将Pig脚本转化为topology,并且使用Storm-YARN部署topology,从而将批处理系统转化为实时系统;第10章介绍如何在云服务提供商提供的主机环境下部署和运行Storm。

微信公众号

热门文章

更多