本书以Python作为开发Spark应用程序的编程语言，系统介绍了Spark编程的基础知识。全书共8章，内容包括大数据技术概述、Spark的设计与运行原理、Spark环境搭建和使用方法、RDD编程、SparkSQL、SparkStreaming、StructuredStreaming、SparkMLlib等。

　　《Spark大数据分析技术（Scala版）》系统介绍了Spark大数据技术的相关知识，内容包括Spark概述、Scala基础编程、基于Scala的Spark编程、Windows环境下的Spark综合编程、SparkSQL结构化数据处理、SparkStreaming流计算、SparkGraphX图计算、SparkMLlib机器学习。　　《Spark大数据分析技术（Scala版）》还给出了Spark大数据相关技术的许多编程示例与详细注解。　　《Spark大数据分析技术（Scala版）》可作为高等院校计算机、软件工程、数据科学与大数据技术、智能科学与技术、人工智能等专业的大数据课程教材，也可供相关技术人员参考。

　　　　本书对Spark源代码进行了全面而深入的分析，旨在为Spark的优化、定制和扩展提供原理性的指导。阿里巴巴集团专家鼎力推荐，阿里巴巴资深Java开发和大数据专家撰写。本书对Spark的核心模块、部署和协作模块的实现原理与使用技巧进行了深入的剖析与解读。　　本书分为三篇：　　准备篇（第1～2章），介绍了Spark的环境搭建、设计理念与基本架构，帮助读者了解一些背景知识。　　核心设计篇（第3～7章），着重讲解SparkContext的初始化、存储体系、任务提交与执行、计算引擎及部署模式的原理和源码分析。通过这部分的内容，读者可以通过源码剖析更加深入理解Spark的核心设计与实现，以便在实际使用中能够快速解决线上问题并对性能进行调优。　　扩展篇（第8～11章），主要讲解基于Spark核心的各种扩展及应用，包括SQL处理引擎、Hive处理、流式计算框架SparkStreaming、图计算框架GraphX、机器学习库MLlib等内容。通过阅读这部分内容，读者可以扩展实际项目中对Spark的应用场景，让Spark焕发活力。

　　这是一本根据应用场景讲解如何通过Spark进行大数据分析与应用构建的著作，以实战为导向。作者结合典型应用场景，抽象出通用与简化后的模型，以便于读者能举一反三，直接应用。　　本书首先从技术层面讲解了Spark的机制、生态系统与开发相关的内容；然后从应用角度讲解了日志分析、推荐系统、情感分析、协同过滤、搜索引擎、社交网络分析、新闻数据分析等多个常见的大数据场景下的数据分析。在每个场景中，首先是对场景进行抽象与概括，然后将Spark融入其中构建数据分析算法与应用，最后结合其他开源系统或工具构建更为丰富的数据分析流水线。

本书基于Spark2.4.x新版本编写，从Spark核心编程语言Scala讲起，涵盖当前整个Spark生态系统主流的大数据开发技术。全书共9章，第1章讲解Scala语言的基础知识，包括IDEA工具的使用等；第2章讲解Spark的主要组件、集群架构原理、集群环境搭建以及Spark应用程序的提交和运行；第3~9章讲解离线计算框架SparkRDD、SparkSQL和实时计算框架Kafka、SparkStreaming、StructuredStreaming以及图计算框架GraphX等的基础知识、架构原理，同时包括常用Shell命令、API操作、内核源码剖析，并通过多个实际案例讲解各个框架的具体应用以及与Hadoop生态系统框架Hive、HBase、Kafka的整合操作。本书内容丰富，以实操案例为主，理论为辅，可作为Spark新手的入门书，也可作为大数据开发人员和从业者的学习用书，还可以作为培训机构或大中专院校的教学用书。

机器学习是一门多领域交叉学科，可以通过模拟来让计算机获取新的知识或技能。ApacheSpark是一种通用大数据框架，也是一种近实时弹性分布式计算和数据虚拟化技术，Spark使人们可以大规模使用机器学习技术，而无须在专用数据中心或硬件上进行大量投资。本书提供了ApacheSpark机器学习API的全面解决方案，不仅介绍了用Spark完成机器学习任务所需的基础知识，也涉及一些Spark机器学习的高级技能。全书共有13章，从环境配置讲起，陆续介绍了线性代数库、数据处理机制、构建机器学习系统的常见攻略、回归和分类、用Spark实现推荐引擎、无监督学习、梯度下降算法、决策树和集成模型、数据降维、文本分析和SparkSteaming的使用。本书是为那些掌握了机器学习技术的Scala开发人员准备的，尤其适合缺乏Spark实践经验的读者。本书假定读者已经掌握机器学习算法的基础知识，并且具有使用Scala实现机器学习算法的一些实践经验。但不要求读者提前了解SparkML库及其生态系统。

　　10多位技术专家结合自己10多年的经验，以电信、航空、医疗等多个行业的实战案例为主线，深入浅出地讲解了如何基于Hadoop架构技术进行大数据挖掘建模、数据分析和二次开发。　　本书共16章，分三个部分：基础篇、实战篇、高级篇。　　基础篇（第1~6章），第1章的主要内容是数据挖掘概述、大数据餐饮行业应用；第2章针对大数据理论知识进行基础讲解，简明扼要地对Hadoop安装、原理等做了介绍；第3章介绍了大数据仓库Hive的安装、原理等内容；第4章介绍了大数据数据库HBase的安装、原理等内容；第5章介绍了几种大数据挖掘建模平台，同时重点介绍了本书使用的开源TipDM-HB大数据挖掘平台；第6章对数据挖掘的建模过程，各种挖掘建模的常用算法与原理及其在大数据挖掘算法库Mahout的实现原理进行了介绍。　　实战篇（第7~14章），重点对大数据挖掘技术在法律咨询、电子商务、航空、移动通信、互联网、生产制造以及公共服务等行业的应用进行了分析。在案例结构组织上，本书是按照先介绍案例背景与挖掘目标，再阐述大数据时代针对大数据的分析方法与过程，最后完成模型构建的顺序进行，对建模过程等关键环节进行了详细的分析。最后通过上机实践，加深对大数据挖掘技术以及分析流程的认识。　　高级篇（第15~16章），介绍了基于Hadoop大数据开发的相关技术以及开发步骤，同时使用实例来展示这些步骤，使读者可以自己动手实践，亲自体会开发的乐趣；同时，还介绍了基于TipDM-HB大数据挖掘平台的二次开发实例，借助TipDM-HB大数据挖掘平台二次开发工具，可以更加快捷、高效地完成相关大数据应用的二次开发，降低开发难度，使读者更方便地体会到大数据分析与挖掘的强大魅力。　　图书配套提供原始样本数据文件、相关代码及教学用PPT等。

本书详细阐述了与Spark实时大数据分析以及SparkStreaming框架相关的基本解决方案，主要包括大数据漫游指南，实时RDD，高速流：链接外部数据源，边界效应，实时ETL和分析技术，大规模机器学习，云、Lambda及Python等内容。此外，本书还提供了丰富的示例以及代码，以帮助读者进一步理解相关方案的实现过程。本书适合作为高等院校计算机及相关专业的教材和教学参考书，也可作为相关开发人员的自学教材和参考手册。

本书重点关注Spark项目的基本知识，从Spark核心开始，然后拓展到各种Spark扩展、Spark相关项目、Spark子项目，以及Spark所处的丰富的生态系统里各种别的开源技术，比如Hadoop、Kafka、Cassandra等。

本书重点关注Spark项目的基本知识，从Spark核心开始，然后拓展到各种Spark扩展、Spark相关项目、Spark子项目，以及Spark所处的丰富的生态系统里各种别的开源技术，比如Hadoop、Kafka、Cassandra等。

本书主要介绍了Spark运行原理及性能调优的相关实践，从Spark框架内部及外部运行环境等不同角度分析Spark性能调优的过程。第1章介绍了Linux系统中各种监控工具的使用，对CPU、内存、网络、I/O等方面进行介绍，并提供了集群监控报警的解决方案。第2章介绍了Java虚拟机（JVM）的基本知识、垃圾回收机制，以及对JVM运行状态的监控。第3章和第4章介绍了Spark内核架构、任务运行的流程，对各个组件的实现进行了深入的剖析。尤其在Spark内存管理、存储原理、Shuffle阶段，详细介绍了每个实现的细节，这些实现的细节为后期Spark性能调优提供了参数调节的理论依据。第5章介绍了Spark性能调优的详细实践过程，首先介绍了SparkUI和Spark日志的使用，通过这两项可以迅速定位瓶颈问题；然后根据定位的问题，分别从程序调优、资源调优、Shuffle过程调优等不同角度介绍了调优的实践过程。本书在理论部分提供了大量的概念原理图、运行流程图，在实践部分提供了大量的示例。让读者对性能的调节不仅停留在参数调节的层面，而且能理解每个参数的修改对程序的内部运行产生的影响。本书既可以作为Spark开发者的参考用书，也可以作为高等院校计算机与软件相关专业的教材。

这是一本适合教学和零基础自学的Hadoop与大数据挖掘的教程，即便你完全没有Hadoop编程基础和大数据挖掘基础，根据本书中的理论知识和上机实践，也能迅速掌握如何使用Hadoop进行大数据挖掘。全书主要分为两篇：基础篇（1-7章），首先从宏观上介绍了大数据相关概念和技术，然后逐一对Hadoop、Hive、HBase、Pig、Spark、Oozie等一系列大数据技术的概念、原理、架构，以及企业应用方法进行了详细介绍，同时配有大量的案例。掌握了这些内容，就具备了大数据技术的基础；挖掘实战篇（8章），主要是一个企业级大数据应用项目——电子商务智能推荐系统。通过分析应用背景、构建系统，使读者了解针对系统的每一层应用使用什么大数据技术来解决问题。涉及的流程有数据采集、数据预处理、模型构建等，在每一个流程中会进行大数据相关技术实践，运用实际数据来进行分析，使读者切身感受到利用大数据技术解决问题的魅力。

　　本书比较系统地讲解了利用Hadoop和Spark及其生态系统里的一系列工具进行大数据分析的方法，既涵盖ApacheSpark和Hadoop的基础知识，又深入探讨所有Spark组件——SparkCore、SparkSQL、DataFrame、DataSet、普通流、结构化流、MLlib、Graphx，以及Hadoop的核心组件（HDFS、MapReduce和Yarn）等，并配套详细的实现示例，是快速掌握大数据分析基础架构及其实施方法的详实参考。　　全书共10章，第1章从宏观的角度讲解大数据分析的概念，并介绍在Hadoop和Spark平台上使用的工具和技术，以及一些*常见的用例；第2章介绍Hadoop和Spark平台的基础知识；第3章深入探讨并学习Spark；第4章主要介绍DataSourcesAPI、DataFrameAPI和新的DatasetAPI；第5章讲解如何用SparkStreaming进行实时分析；第6章介绍Spark和Hadoop配套的笔记本和数据流；第7章讲解Spark和Hadoop上的机器学习技术；第8章介绍如何构建推荐系统；第9章介绍如何使用GraphX进行图分析；第10章介绍如何使用SparkR。

全书一共分三大部分：基础篇（1-2章）对Spark机器学习进行概述、并通过Spark机器学习开始进行数据分析；算法篇（3-8章）针对分类、聚类、回归、协同过滤、关联规则、降维等算法进行详细讲解，并进行案例支持；综合案例篇（9-12章）重点通过异常检测、用户画像、广告点击率预估、智慧交通大数据4个综合场景，详细讲解基于Spark机器学习的综合应用。

　　《Spark大数据处理与分析》对Spark应用程序开发的基本概念和技术进行了系统的介绍，并通过简单易懂的实例说明了其具体实现过程。通过《Spark大数据处理与分析》的学习，读者可以掌握Spark编程技术的基本概念、原理和编程方法，通过灵活的实践运用，能够进行应用程序的实际开发。　　《Spark大数据处理与分析》适用于Spark程序设计的初学者，可作为高等学校计算机专业的教材，也可作为Spark程序设计的培训教材。

本书是关于大数据和Spark的一个简明手册。它将助你学习如何用Spark来完成很多大数据分析任务，其中覆盖了高效利用Spark所需要知道的重要主题：如何使用SparkShell进行交互式数据分析、如何编写Spark应用、如何在Spark中对大规模数据进行交互分析、如何使用SparkStreaming处理高速数据流、如何使用Spark进行机器学习、如何使用Spark进行图处理、如何使用集群管理员部署Spark、如何监控Spark应用等。本书还对其他配合Spark一起使用的大数据技术进行了介绍，包括HDFS、Avro、Parquet、Kafka、Cassandra、HBase、Mesos等。本书也对机器学习和图的概念进行了介绍。

本书针对spark从验证性环境迁移到实际生产环境时会遇到的各种问题给出了实际的帮助，涵盖了开发及维护生产级Spark应用的各种方法、组件与有用实践。全书分为6章，第1~2章帮助读者深入理解Spark的内部机制以及它们在生产流程中的含义；第3章和第5章阐述了针对配置参数的法则和权衡方案，用来调优Spark，改善性能，获得高可用性和容错性；第4章专门讨论Spark应用中的安全问题；第6章则全面介绍生产流，以及把一个应用迁移到一个生产工作流中时所需要的各种组件，同时对Spark生态系统进行了梳理。

本书开头部分讲了如何按照深度学习的需求来配置ApacheSpark，以实现不同类型的神经网络，接下来讲述了在分布式环境中实现深度学习涉及的常见和不那么常见的需求。另外，你还将学到Spark中的深度学习代码，这些代码可以复用到其他类似的问题中，或者稍作改动用于略有不同的问题。本书将带你一起用Spark对数据进行分流和聚类，用TensorFlow、Deeplearning4j和Caffe在Spark中实现和部署深度学习模型，例如CNN、RNN和LSTM。学完本书的内容，你将能够在Spark上训练和部署有效的深度学习模型。

本书基于Spark2.3.x、Spark2.4.x系列版本，采用“理论+实践”的形式编写。全书共有90个实例，1个完整项目。第1篇“准备”，包括认识大数据和Spark、安装与配置Spark集群、第1个Spark程序；第2篇“入门”，包括读写分布式数据、处理分布式数据；第3篇“进阶”，包括RDD的高级操作、用SQL语法分析结构化数据、实时处理流式数据；第4篇“高阶”，包括实时处理流式数据、Spark的相关优化；第5篇“商业项目实战”，用Spark的各种组件实现一个学生学情分析商业项目。本书结构清晰、实例丰富、通俗易懂、实用性强，特别适合Spark的初学者和进阶读者作为自学用书。另外，本书也适合社会培训学校作为培训教材，还适合大中专院校的相关专业作为教学参考书。

本书全面介绍了Hadoop大数据分析的基础知识、14个核心组件模块及4个项目实战案例。为了帮助读者高效、直观地学习，作者特意为本书录制了20小时同步配套教学视频。本书共19章，分为3篇。第1篇Hadoop基础知识，涵盖大数据概述、Hadoop的安装与配置、Hadoop分布式文件系统及基于Hadoop3的HDFS高可用等相关内容；第2篇Hadoop核心技术，涵盖的内容有Hadoop的分布式协调服务——ZooKeeper；分布式离线计算框架——MapReduce；Hadoop的集群资源管理系统——YARN；Hadoop的数据仓库框架——Hive；大数据快速读写——HBase；海量日志采集工具——Flume；Hadoop和关系型数据库间的数据传输工具——Sqoop；分布式消息队列——Kafka；开源内存数据库——Redis；Ambari和CDH；快速且通用的集群计算系统——Spark。第3篇Hadoop项目案例实战，主要介绍了基于电商产品的大数据业务分析系统、用户画像分析、基于个性化的视频推荐系统及电信离网用户挽留4个项目实战案例，以提高读者的大数据项目开发水平。本书内容全面，实用性强，适合作为Hadoop大数据分析与挖掘的入门读物，也可作为Java程序员的进阶读物。另外，本书还特别适合想要提高大数据项目开发水平的人员阅读。对于专业的培训机构和相关院校而言，本书也是一本不可多得的教学用书。

　　本书以大数据处理引擎Spark的稳定版本1.6.x为基础，从应用案例、原理、源码、流程、调优等多个角度剖析Spark上的实时计算框架SparkStreaming。在勾勒出SparkStreaming架构轮廓的基础上，从基本源码开始进行剖析，由浅入深地引导已具有Spark和SparkStreaming基础技术知识的读者进行SparkStreaming的进阶学习，理解SparkStreaming的原理和运行机制，为流数据处理的决策和应用提供了技术参考；结合SparkStreaming的深入应用的需要，对SparkStreaming的性能调优进行了分析，也对SparkStreaming功能的改造和扩展提供了指导。　　本书适合大数据领域CTO、架构师、高级软件工程师，尤其是Spark领域已有SparkStreaming基础知识的从业人员阅读，也可供需要深入学习Spark、SparkStreaming的高校研究生和高年级本科生参考。

SparkSQL是Spark大数据框架的一部分，支持使用标准SQL查询和HiveQL来读写数据，可用于结构化数据处理，并可以执行类似SQL的Spark数据查询，有助于开发人员更快地创建和运行Spark程序。全书分为4篇，共9章，第一篇讲解了SparkSQL发展历史和开发环境搭建。第二篇讲解了SparkSQL实例，使得读者掌握SparkSQL的入门操作，了解SparkRDD、DataFrame和DataSet，并熟悉DataFrame各种操作。第三篇讲解了基于WiFi探针的商业大数据分析项目，实例中包含数据采集、预处理、存储、利用SparkSQL挖掘数据，一步一步带领读者学习SparkSQL强大的数据挖掘功能。第四篇讲解了SparkSQL优化的知识。本书适合Spark初学者、Spark数据分析人员以及Spark程序开发人员，也适合高校和培训学校相关专业的师生教学参考。

SparkSQL是Spark技术体系中较有影响力的应用（Killerapplication），也是SQL-on-Hadoop解决方案中举足轻重的产品。《SparkSQL内核剖析》由11章构成，从源码层面深入介绍SparkSQL内部实现机制，以及在实际业务场景中的开发实践，其中包括SQL编译实现、逻辑计划的生成与优化、物理计划的生成与优化、Aggregation算子和Join算子的实现与执行、Tungsten优化技术、生产环境中的一些改造优化经验等。《SparkSQL内核剖析》不属于入门级教程，需要读者对基本概念有一定的了解。在企业中任职的系统架构师和软件开发人员，以及对大数据、分布式计算和数据库系统实现感兴趣的研究人员，均适合阅读《SparkSQL内核剖析》。

SparkSQL是Spark生态环境中核心和基础的组件，是掌握Spark的关键所在。本书完全从企业级开发的角度出发，结合多个企业级应用案例，深入剖析SparkSQL。全书共分为8章，包括：认识SparkSQL、DataFrame原理与常用操作、SparkSQL操作多种数据源、Parquet列式存储、SparkSQL内置函数与窗口函数、SparkSQLUDF与UDAF、ThriftServer、SparkSQL综合应用案例。本书可以使读者对SparkSQL有深入彻底的理解，本书适合于Spark学习爱好者，是学习SparkSQL的入门和提高教材，也是Spark开发工程师开发过程中查阅SparkSQL的案头手册。

　　本书是一本全面介绍Spark以及Spark生态系统相关技术的书籍。主要内容包括Spark系统概述、Spark安装和集群的部署、RDD的编程实践、Spark的运行模式、Spark的运行机制以及Spark的四大子框架（SparkSQL、SparkStreaming、SparkGraphX、MLlib）的详细讲解。本书通过理论和实践相结合的方式对Spark的核心框架和生态圈做了详细的解读，不仅对Spark的原理进行详细阐述，还结合Spark的源码和案例操作展示了Spark框架的所具有的优雅和丰富的表现力。　　本书适合大数据从业者、Spark技术爱好者阅读。相信通过学习本书，读者能够熟悉和掌握Spark这一当前流行的大数据计算框架，并将其投入到实践中去。

　　本书是一本以Spark1.4为基础，详细介绍了Spark技术的概况、内部机制和企业界的应用情况。作者结合国内外众多资料和项目经验，力求深入浅出地讲解Spark技术的生态应用和发展状况，此外还选取了SparkSummit中的典型案例进行解析，为读者全面展现Spark技术在企业界的应用情况。本书适合Spark技术初学者、Spark技术爱好者、Spark运维工程师和开源软件爱好者，也可以作为相关培训学校和大专院校相关专业的教学用书。

　　使用PySpark构建机器学习模型、自然语言处理应用程序以及推荐系统，从而应对各种业务挑战。该书首先介绍Spark的基础知识及其演进，然后讲解使用PySpark构建传统机器学习算法以及自然语言处理和推荐系统的全部知识点。　　《PySpark机器学习、自然语言处理与推荐系统》阐释如何构建有监督机器学习模型，比如线性回归、逻辑回归、决策树和随机森林，还介绍了无监督机器学习模型，比如K均值和层次聚类。该书重点介绍特征工程，以便使用PySpark创建有用的特征，从而训练机器学习模型。自然语言处理的相关章节将介绍文本处理、文本挖掘以及用于分类的嵌入。　　在阅读完该书后，读者将了解如何使用PySpark的机器学习库构建和训练各种机器学习模型。此外，还将熟练掌握相关的PySpark组件，比如数据获取、数据处理和数据分析，通过使用它们开发数据驱动的智能应用。

本书介绍了Spark应用程序及更高级应用的工作流程，主要从使用角度进行了描述，每个具体内容都有对应的代码。本书涵盖了ApacheSpark和它丰富的API，构成Spark的组件（包括SparkSQL、SparkStreaming、SparkMLlib和SparkGraphX），在Sparkstandalone、HadoopYARN以及Mesosclusters上运行Spark应用程序的部署和安装。通过对应的实例全面、详细地介绍了整个Spark实战开发的流程。*后，还介绍了Spark的高级应用，包括Spark流应用程序及可扩展和快速的机器学习框架H2O。本书可以作为高等院校计算机、软件工程、数据科学与大数据技术等专业的大数据课程材料，可用于指导Spark编程实践，也可供相关技术人员参考使用。

　　《Hadoop安全大数据平台隐私保护》阐述了Hadoop从早期开放的消费互联网时代到现在作为敏感数据可信平台的演变历程，介绍了包括身份验证、加密、密钥管理和商业实践在内的诸多主题，并在实际环境下加以讨论。第1章是介绍性内容，随后分为四大部分：第一部分是安全架构，第二部分是验证、授权和安全审计，第三部分是数据安全，第四部分是归纳总结。最后介绍了几个使用案例，融合了书中诸多概念。　　《Hadoop安全大数据平台隐私保护》适合对Hadoop感兴趣的读者，有大数据平台保护需求的读者。

本书是使用Spark进行大规模数据分析的实战宝典，由知名数据科学家撰写。本书在第1版的基础上，针对Spark近年来的发展，对样例代码和所使用的资料进行了大量更新。新版Spark使用了全新的核心API，MLlib和SparkSQL两个子项目也发生了较大变化，本书为关注Spark发展趋势的读者提供了与时俱进的资料，例如Dataset和DataFrame的使用，以及与DataFrameAPI高度集成的SparkMLAPI。