Mesos 实战

《Mesos 实战》

  • 出版社:电子工业出版社
  • ISBN:9787121311642
  • 版次:1
  • 商品编码:12193042
  • 品牌:博文视点
  • 包装:平装
  • 开本:16开
  • 出版时间:2017-05-01
  • 用纸:胶版纸
  • 页数:260
  • 字数:364000
  • 正文语种:中文
基本介绍书籍目录点评信息
  • 书籍内容

    本书汇集了以Mesos为核心的新一代数据中心操作系统的*佳实践,全面展示了Mesos集群对数据中心资源管理的集成高效性,和对应用部署和计划任务创建扩容操作的便捷性的优点。 基于Apache Mesos开源项目和Mesosphere公司的开创性工作,作者由浅到深地介绍了Mesos数据中心操作系统下各个相关组件和主流的计算框架,主要内容包括:1.构建你的**个Mesos集群:Mesos+Docker+Zookeeper2.管理Mesos集群:任务调度,资源管理以及日志3.使用主流计算框架部署容器化应用:Mesosphere公司的Marathon+Chronos以及Apache Aurora4.以python为例,自开发计算框架在每个部分,Roger Ignazio都给出了:关键原理及组件组成、安装部署过程、注意事项、日志和诊断方法等*佳实践,并结合相关实例、研究成果和附加资源进行阐述。每个部分的内容组织都着力于条理清晰的、系统的展现Mesos集群的优点。作者对书中建议和使用指南进行了补充说明,以便读者深入了解其合理性,还有实用指南明确每个动作是否成功执行。 《Mesos实战》可以作为新一代数据中心架构设计以及管理的**性参考和教程,也可作为自建PaaS、CaaS平台的辅助参考,又或是分布式计算框架开发的参考书籍。

    编辑推荐

    适读人群 :数据中心架构设计以及管理者等,阅读本书的读者需要熟悉数据中心管理的核心理念,也需要了解 Python 或者类似编程语言的基础知识。
    Mesos是一个开源的集群任务调度管理系统,帮读者实现更小的系统开销,更方便的管理。随着虚拟化技术的发展,数据中心的架构组成越来越复杂。除了传统的物理机,云计算技术的虚拟机外,当前以docker为代表的容器技术也在数据中心里承担重要的服务角色。因此如何以*简单统一的方式来管理、调度混杂式数据中心的资源,实现大规模的应用部署,已经成为每个数据中心管理从业者眼前*大的需求。
    相信这本书会为对大规模分布式系统、集群任务调度管理、云计算和大数据感兴趣的读者带来收益。

    作者简介

    Roger Ingnazio是一名经验丰富的系统工程师,专注研究分布式、具备容错性和伸缩性的基础架构。他对于通过更好的自动化、工具化和报告来提高生产效率极富热情。目前他是Mesosphere工程团队的一个技术指导,与他的妻子Sarah及他们的两只猫居住在俄勒冈州波特兰市。余何:众神的大师兄,湖南长沙人也;高效运维公众号专栏作者;著有《PaaS实现与运维管理》,具有十余年数据中心运维管理经验。国家软件设计师、PMP项目管理认证、Juniper互联网专员(JNCIS)、NetApp解决方案架构师(NCSA),热衷于开源技术,广结天下英豪,以运维心灵捕手著称。陈秋浩:基础架构资深工程师,拥有6年大型IT数据中心运维和开发经验,早期活跃于基础架构服务交付和异常事件处理一线。爱好开发,拥抱开源技术,2014年末借Docker和Mesos技术兴起之势,辅以业界日益成熟的自动化运维理念,负责开发搭建企业内部基于Mesos+Marathon的高容错性、弹性伸缩的Docker平台。杨永帮:2011年毕业于中山大学软件工程专业,多年的大型金融集团的IT基础架构运维的丰富经验,解决过IT基础架构的各种疑难问题杂症。深深感受到了云计算的发展带来的运维方式的变革,目前致力于Mesos与Docker的研究工作。
  • 第 1 部分 你好,Mesos ................................................... 1
    1 初识 Mesos .............................................................................. 3
    1.1 遇见 Mesos ......................................................................................................... 4
    1.1.1 理解它如何工作 .................................................................................... 5
    1.1.2 虚拟机和容器的比较 ............................................................................ 7
    1.1.3 知道何时及为何使用 Mesos................................................................. 9
    1.2 为什么我们要重新思考数据中心 .................................................................. 10
    1.2.1 资源划分 .............................................................................................. 11
    1.2.2 应用部署 .............................................................................................. 12
    1.3 Mesos 分布式架构 ........................................................................................... 13
    1.3.1 masters .................................................................................................. 13
    1.3.2 slaves .................................................................................................... 14
    1.3.3 frameworks ........................................................................................... 15
    1.4 小结 .................................................................................................................. 15
    2 使用 Mesos 管理数据中心资源 .................................................17
    2.1 Spark 简要介绍 ................................................................................................ 18
    2.1.1 独立集群上的 Spark............................................................................ 18
    2.1.2 Mesos 上的 Spark ................................................................................ 19
    2.2 在 Mesos 上运行 Spark job ............................................................................. 21
    2.2.1 在集合中寻找素数 .............................................................................. 22
    2.2.2 获取与打包代码 .................................................................................. 23
    2.2.3 提交作业 .............................................................................................. 24
    2.2.4 观察输出 .............................................................................................. 24
    2.3 进一步探索 ...................................................................................................... 26
    2.3.1 Mesos UI .............................................................................................. 26
    2.3.2 Spark UI................................................................................................ 26
    2.4 小结 .................................................................................................................. 28
    第 2 部分 Mesos 核心.................................................... 31
    3 安装 Mesos ............................................................................33
    3.1 部署 Mesos ....................................................................................................... 34
    3.1.1 Mesos 集群组件................................................................................... 34
    3.1.2 开发环境的注意事项 .......................................................................... 35
    3.1.3 生产环境的注意事项 .......................................................................... 36
    3.2 安装 Mesos 和 ZooKeeper ............................................................................... 38
    3.2.1 使用安装包部署 .................................................................................. 38
    3.2.2 从源文件编译并安装 .......................................................................... 40
    3.3 配置 Mesos 和 ZooKeeper ............................................................................... 43
    3.3.1 ZooKeeper 配置 ................................................................................... 43
    3.3.2 Mesos 配置........................................................................................... 45
    3.4 安装并配置 Docker.......................................................................................... 50
    3.4.1 安装 Docker ......................................................................................... 51
    3.4.2 配置 Docker ......................................................................................... 53
    3.4.3 配置 Docker 专用的 Mesos slaves ...................................................... 54
    3.5 升级 Mesos ....................................................................................................... 54
    3.5.1 升级 Mesos masters ............................................................................. 55
    3.5.2 升级 Mesos slaves ................................................................................ 55
    3.6 小结 .................................................................................................................. 56
    4 Mesos 原理 ............................................................................57
    4.1 调度和分配数据中心资源 .............................................................................. 57
    4.1.1 理解资源调度 ...................................................................................... 58
    4.1.2 理解资源分配 ...................................................................................... 59
    4.1.3 定制 Mesos slave 资源和属性 ............................................................ 61
    4.2 使用容器隔离资源 .......................................................................................... 62
    4.2.1 隔离并监控 CPU、内存和磁盘 ......................................................... 63
    4.2.2 网络监控和限速 .................................................................................. 65
    4.3 了解容错和高可用 .......................................................................................... 68
    4.3.1 容错 ...................................................................................................... 70
    4.3.2 高可用 .................................................................................................. 70
    4.3.3 处理出错和升级 .................................................................................. 70
    4.4 小结 .................................................................................................................. 76
    5 日志记录和调试 .....................................................................77
    5.1 理解和配置 Mesos 日志记录 .......................................................................... 78
    5.1.1 日志文件的路径和解释 ...................................................................... 78
    5.1.2 配置日志记录 ...................................................................................... 80
    5.2 调试 Mesos 集群及其任务 .............................................................................. 81
    5.2.1 使用 Mesos Web 接口 ......................................................................... 82
    5.2.2 使用内置命令行工具 .......................................................................... 89
    5.2.3 使用 Mesosphere 的 mesos-cli 工具 ................................................... 90
    5.3 小结 .................................................................................................................. 92
    6 生产环境中的 Mesos ...............................................................93
    6.1 监控 Mesos 和 Zookeeper 集群....................................................................... 94
    6.1.1 监控 Mesos master ............................................................................... 94
    6.1.2 监控 Mesos slave ................................................................................. 96
    6.1.3 监控 ZooKeeper ................................................................................... 97
    6.2 修改 Mesos master 的法定数目 ...................................................................... 99
    6.2.1 添加 master 节点 ............................................................................... 100
    6.2.2 移除 master 节点 ............................................................................... 100
    6.2.3 替换 master 节点 ............................................................................... 101
    6.3 安全和权限控制的实施 ................................................................................ 101
    6.3.1 Slave 和 framework 的身份认证....................................................... 102
    6.3.2 用户授权和访问控制列表 ................................................................ 104
    6.3.3 framework 速率限制.......................................................................... 107
    6.4 小结 ................................................................................................................ 110
    第 3 部分 运行 Mesos................................................... 113
    7 使用 Marathon 部署应用 ....................................................... 115
    7.1 了解 Marathon................................................................................................ 115
    7.1.1 探索 Marathon 的 Web 接口和 API .................................................. 117
    7.1.2 服务发现和路由 ................................................................................ 118
    7.2 部署 Marathon 和 HAProxy .......................................................................... 121
    7.2.1 安装并配置 Marathon........................................................................ 121
    7.2.2 安装并配置 HAProxy........................................................................ 124
    7.3 创建并伸缩应用 ............................................................................................ 127
    7.3.1 部署简单的应用 ................................................................................ 127
    7.3.2 部署 Docker 容器 .............................................................................. 130
    7.3.3 执行健康检查和滚动应用更新 ........................................................ 131
    7.4 创建应用组 .................................................................................................... 134
    7.4.1 理解应用组的构成 ............................................................................ 134
    7.4.2 部署应用组 ........................................................................................ 135
    7.5 日志和调试 .................................................................................................... 137
    7.5.1 配置 Marathon 日志........................................................................... 137
    7.5.2 调试 Marathon 应用和任务............................................................... 138
    7.6 小结 ................................................................................................................ 140
    8 使用 Chronos 管理计划任务 .................................................. 143
    8.1 了解 Chronos.................................................................................................. 144
    8.1.1 探索 Chronos 的 Web 接口和 API .................................................... 145
    8.2 安装并配置 Chronos...................................................................................... 147
    8.2.1 先决条件的检验 ................................................................................ 147
    8.2.2 安装 Chronos...................................................................................... 148
    8.2.3 配置 Chronos...................................................................................... 149
    8.3 使用简单的作业来工作 ................................................................................ 150
    8.3.1 创建基于计划的作业 ........................................................................ 150
    8.3.2 使用 Docker 创建基于计划的作业 .................................................. 153
    8.4 使用复杂的作业来工作 ................................................................................ 155
    8.4.1 组合基于计划和基于依赖的作业 .................................................... 155
    8.4.2 形象化作业的依赖关系 .................................................................... 158
    8.5 监控 Chronos 作业的输出和状态................................................................. 159
    8.5.1 作业失败事件的通知和监控 ............................................................ 159
    8.5.2 通过 Mesos 观察作业的标准输出和标准错误................................ 161
    8.6 小结 ................................................................................................................ 162
    9 使用 Aurora 部署应用和管理计划任务 .................................... 165
    9.1 Aurora 简介 .................................................................................................... 166
    9.1.1 Aurora 调度器 .................................................................................... 167
    9.1.2 Thermos 执行器和观察者 ................................................................. 167
    9.1.3 Aurora 的用户和管理员客户端 ........................................................ 168
    9.1.4 Aurora DSL(Domain-Speci?c Language,特定领域语言)........... 169
    9.2 部署 Aurora .................................................................................................... 169
    9.2.1 在开发环境尝试 Aurora.................................................................... 170
    9.2.2 构建和安装 Aurora............................................................................ 171
    9.2.3 配置 Aurora........................................................................................ 174
    9.3 部署应用 ........................................................................................................ 178
    9.3.1 部署一个简单的应用 ........................................................................ 179
    9.3.2 部署基于 Docker 的应用 .................................................................. 182
    9.4 管理计划任务 ................................................................................................ 184
    9.4.1 创建 Cron 作业 .................................................................................. 184
    9.4.2 创建基于 Docker 的 Cron 作业 ........................................................ 185
    9.5 管理 Aurora .................................................................................................... 187
    9.5.1 管理用户和配额 ................................................................................ 187
    9.5.2 执行维护 ............................................................................................ 189
    9.6 小结 ................................................................................................................ 190
    10 framework 开发 ................................................................ 191
    10.1 framework 基础............................................................................................ 192
    10.1.1 编写 framework 的时机和缘由....................................................... 194
    10.1.2 调度器的实现 .................................................................................. 194
    10.1.3 执行器的实现 .................................................................................. 197
    10.2 调度器开发 .................................................................................................. 201
    10.2.1 使用调度器 API............................................................................... 202
    10.2.2 使用 SchedulerDriver....................................................................... 204
    10.3 执行器开发 .................................................................................................. 205
    10.3.1 使用执行器 API............................................................................... 205
    10.3.2 使用执行器驱动程序 ...................................................................... 207
    10.4 运行 framework............................................................................................ 208
    10.4.1 在开发环境中部署 .......................................................................... 208
    10.4.2 生产环境部署的注意事项 .............................................................. 210
    10.5 小结 .............................................................................................................. 211
    附录 A 案例研究 :Mesosphere DCOS,企业版 Mesos 分布式集群.. 213
    附录 B Mesos 框架与工具的列表 ................................................. 225
微信公众号

热门文章

更多