Mesos:大数据资源调度与大规模容器运行最佳实践

《Mesos:大数据资源调度与大规模容器运行最佳实践》

  • 出版社:电子工业出版社
  • ISBN:9787121269028
  • 版次:1
  • 商品编码:11758357
  • 品牌:博文视点
  • 包装:平装
  • 开本:16开
  • 出版时间:2015-09-01
  • 用纸:胶版纸
  • 页数:192
  • 正文语种:中文
基本介绍书籍目录点评信息
  • 书籍内容

      本书结合大量实例介绍了Mesos 的使用方法、核心原理及框架开发的相关内容。通过这些内容读者可以在数据中心环境中利用Mesos搭建分布式系统、进行大数据分析及开发分布式应用。  本书分为8章分别从使用、开发和运维等角度全面展示了Mesos 作为数据中心内核的强大能力、设计方面的精髓及在工程中的**实践。《Mesos:大数据资源调度与大规模容器运行**实践还介绍了Mesos 项目的全新进展和未来的发展方向,并给出了大量参考文献和相关链接方便读者进一步深入了解Mesos。适合分布式系统的研发、运维人员及相关技术爱好者阅读。

    编辑推荐

    适读人群 :适合分布式系统的研发、运维人员及相关技术爱好者阅读。
      Apache Mesos是集群管理器,它能够为分布式的应用程序或框架提供高效的资源隔离和共享。它允许开发人员在一个动态共享节点池上并行运行Hadoop、Spark、Storm和其他应用程序。有了Mesos,你就可以在多租户环境里管理各种资源了。  能从书中学到什么  ◎能够在数据中心或者云环境中搭建Mesos集群。  ◎能够在Mesos上使用Hadoop、Spark和Storm等框架进行数据分析。  ◎熟悉如何在Mesos上使用Marathon、Chronos和Aurora来管理服务。  ◎深入理解如何使用Mesos API编写分布式应用程序。  ◎学会如何自动化并管理Mesos集群,以及其他运维技能,比如日志和监控。  ◎深入理解Mesos的基础和内在工作机制。

    作者简介

      DharmeshKakadia,微软研究院的研究员,负责开发下一代集群管理系统。在加入微软研究院之前,他在海得拉巴信息技术国际研究所获得硕士学位,致力于改进云和大数据系统的任务调度。他对系统和数据的交集部分非常感兴趣,在资源管理领域发表了多篇研究报告。他热衷于开源技术,活跃在多个开源社区里。他的Twitter 账号是@DharmeshKakadia。  DockOne.io成立于 2014 年,是国内大的容器社区。社区主要关注 Docker、Mesos、CoreOS、Kubernetes、Ceph、OpenStack 等容器生态圈相关软件,致力于为广大容器爱好者提供一个分享、学习和交流的平台,目前已有活跃会员逾50000,精品文章 1000 余篇。  刘梦馨,灵雀云软件工程师,从事CaaS平台的研发工作。曾任开发、测试、运维相关职位,专注于云计算和虚拟化技术。  崔婧雯,具有近10年软件测试开发经验。现就职于IBM,高级软件工程师,负责IBM WebSphere业务流程管理软件的系统测试和自动化CI测试平台的开发工作。曾就职于VMware从事桌面虚拟化产品的质量保证工作。对Dokcer,虚拟化,业务流程管理等技术有浓厚的兴趣。
  • 前言 xiv
    第1章运行Mesos 1
    1.1 现代数据中心 1
    1.2 集群计算框架 2
    1.3 Mesos简介 2
    1.3.1 master 3
    1.3.2 slave 4
    1.3.3 框架 4
    1.4 为什么使用Mesos 4
    1.5 单节点Mesos集群 5
    1.5.1 Mac OS 5
    1.5.2 Fedora 6
    1.5.3 安装依赖软件包 6
    1.5.4 构建Mesos 8
    1.5.5 启动Mesos 10
    1.6 运行测试框架 11
    1.7 Mesos Web UI 15
    1.8 多节点Mesos集群 15
    1.9 Amazon EC2 上的Mesos集群 16
    1.10 使用 Vagrant 运行Mesos 18
    1.11 Mesos社区 19
    1.11.1 案例研究 19
    1.11.2 邮件列表 20
    1.12小结 20
    第 2 章在Mesos上运行 Hadoop 21
    2.1 Hadoop 介绍 21
    2.2 Mesos上的 Hadoop 22
    2.3 在Mesos上安装 Hadoop 23
    2.4 Hadoop 作业示例 26
    2.5 Mesos上 Hadoop 的高级配置 27
    2.5.1 任务资源分配 27
    2.5.2 度量报告 29
    2.5.3 认证 32
    2.5.4 容器隔离 33
    2.5.5 其他配置参数 33
    2.6 小结 34
    第 3 章在Mesos上运行 Spark 35
    3.1 Spark 介绍 35
    3.2 Spark 作业调度 36
    3.3 Spark Standalone模式 38
    3.4 在Mesos上的 Spark 40
    3.5 在Mesos上 Spark 的调优 41
    3.6 小结 43
    第 4 章Mesos上的复杂数据分析44
    4.1 复杂数据和 Lambda 架构的兴起 44
    4.2 Storm 46
    4.2.1 Mesos上的 Storm 47
    4.2.2 Storm-Mesos配置 49
    4.3 Spark Streaming 50
    4.3.1 在Mesos上运行 Spark Streaming 52
    4.3.2 Spark Streaming 调优 53
    4.4 Mesos上的 NoSQL 55
    4.4.1 Mesos上的 Cassandra 55
    4.5 小结 57
    第 5 章在Mesos上运行服务 59
    5.1 服务的介绍 59
    5.2 Marathon 60
    5.2.1 Marathon API 61
    5.2.2运行 Marathon 62
    5.2.3 Marathon 样例 63
    5.2.4约束条件 65
    5.2.5事件总线 66
    5.2.6 artifact store 66
    5.2.7应用组 66
    5.2.8应用程序健康检查 67
    5.3 Chronos 68
    5.3.1 Chronos REST API 68
    5.3.2运行Chronos 70
    5.3.3 Chronos样例 71
    5.4 Aurora 71
    5.4.1 作业的生命周期 73
    5.4.2运行 Aurora 74
    5.4.3 Aurora 集群配置 75
    5.4.4 Aurora 作业配置 76
    5.4.5 Aurora 客户端 80
    5.4.6 Aurora 样例 82
    5.4.7 Aurora cron作业 83
    5.5 服务发现 83
    5.5.1 Mesos-DNS 83
    5.5.2安装Mesos-DNS 84
    5.5.3 Mesos-DNS 配置 85
    5.5.4运行Mesos-DNS 86
    5.6 打包 87
    5.7 小结 87
    第 6 章理解Mesos内部机制 88
    6.1Mesos架构 88
    6.1.1 Mesos slave 90
    6.1.2 Mesos master 91
    6.1.3框架 92
    6.1.4通信 92
    6.1.5附属服务 93
    6.2 资源分配 94
    6.2.1 Mesos调度器 95
    6.2.2 加权 DRF 96
    6.2.3 资源预留 97
    6.3 资源隔离 101
    6.3.1 Mesos容器机 102
    6.3.2 Docker 容器机 103
    6.3.3 外部容器机 105
    6.4 容错 107
    6.4.1 ZooKeeper 108
    6.4.2 故障检测及处理 109
    6.4.3 Registry 111
    6.5 扩展Mesos 112
    6.5.1 Mesos模块 112
    6.5.2分配模块 116
    6.5.3 Mesos hook 和修饰器 119
    6.5.4任务标签 119
    6.6 小结 119
    第 7 章开发Mesos框架 120
    7.1 Mesos API 120
    7.1.1 Mesos消息 121
    7.1.2调度器 API 122
    7.1.3调度器驱动 API 124
    7.1.4执行器 API 125
    7.1.5调度器驱动 API 126
    7.2 开发一个Mesos框架 127
    7.2.1 搭建开发环境 127
    7.2.2加入框架调度器 128
    7.2.3加入框架启动器 130
    7.2.4部署框架 131
    7.3 构建框架 133
    7.3.1 给框架加入执行器 137
    7.3.2 更新框架调度器 141
    7.3.3 运行多个执行器 144
    7.4 高级主题 147
    7.4.1 一致性调解 147
    7.4.2 有状态应用 148
    7.5 开发者资料 148
    7.5.1 框架设计模式 149
    7.5.2 框架测试 149
    7.5.3 RENDLER 149
    7.5.4 Akka-mesos 150
    7.6 小结 150
    第 8 章管理Mesos 151
    8.1 部署 151
    8.2 升级 152
    8.3 监控 153
    8.3.1 容器网络监控 153
    8.4 多租户 155
    8.4.1 授权和鉴权 155
    8.4.2 API 速率限制 158
    8.5 高可用 160
    8.5.1 master 高可用 160
    8.5.2 限制 slave 移除速率 162
    8.5.3 slave 恢复 162
    8.6 维护状态 163
    8.7 Mesos接口 165
    8.7.1 Mesos REST 接口 165
    8.7.2 Mesos CLI 167
    8.8配置 170
    8.8.1 Mesos master 171
    8.8.2 Mesos slave 174
    8.8.3 Mesos构建选项 179
    小结 181
微信公众号

热门文章

更多