初识大数据

x33g5p2x  于2021-03-14 发布在 Hadoop  
字(0.7k)|赞(0)|评价(0)|浏览(474)

一、什么是大数据?

概述

大数据(BIGDATA),指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程 优化能力的海量、高增长率和多样化的信息资产

单位换算

1Byte = 8bit

1K=1024KByte

1MB = 1024K

1G = 1024MB

1T =1024G

1PB = 1024TB

大数据的特征

容量(Volume):数据的大小决定所考虑的数据的价值和潜在的信息;

种类(Variety):数据类型的多样性;

速度(Velocity):指获得数据的速度;

可变性(Variability):妨碍了处理和有效地管理数据的过程。

真实性(Veracity):数据的质量

复杂性(Complexity):数据量巨大,来源多渠道

价值(value):合理运用大数据,以低成本创造高价值

二、学习路线

  • JAVA 面向对象编程语言
  • Linux 类Unix操作系统
  • Hadoop生态圈
    • HDFS 解决存储问题
    • MapReduce 解决计算问题
    • Yarn 资源协调者
    • Zookeeper 分布式应用程序协调服务
    • Flume 日志收集系统
    • Hive 基于Hadoop的数仓工具
    • HBase 分布式、面向列的开源数据库
    • Sqoop 数据传递工具
  • Scala 多范式编程语言、面向对象和函数式编程的特性
  • Spark 目前企业常用的批处理离线/实时计算引擎
  • Flink 目前最火的流处理框架、既支持流处理、也支持批处理
  • Elasticsearch 大数据分布式弹性搜索引擎
  • 离线/实时项目

三、专业技能

三、就业大数据岗位

  • 大数据开发工程师
  • 大数据清洗开发工程师
  • 大数据仓库开发工程师
  • 大数据运维开发工程师
  • 大数据平台开发工程师

相关文章

微信公众号

最新文章

更多