Flink学习之环境搭建

x33g5p2x  于2022-02-07 转载在 Flink  
字(1.2k)|赞(0)|评价(0)|浏览(424)

🌰 记得上一次写flink的博客还是在公司,又过去几个月,最近这段时间,被Flink的环境折磨的半死不活,但是,最终还是成功了,于是,就接着来到了flink的学习,接下来我将介绍flink的相关的内容,对往期内容感兴趣的小伙伴可以查看下面👇:

🐷博主不会java,也不会scala,只会python和SQL,于是就准备学习Flink SQL 和 PyFlink,于是盯上了docker,在docker上部署Flink环境,有了流式计算,还有了流式数据源Kafka,一切安排妥当!

1. docker部署

1.1 被坑记录

我开始用的deepin系统和centos7的系统,安装docker,都是Linux版本过低,无法安装,于是,我就在我m1的macbook上安装docker,docker是arm64位的,可是运行镜像会出现警告信息,以及镜像启动不了的情况:

这里放上docker的一些资料:

1.2 下载ubuntu系统安装docker

下载ubuntu系统并安装docker,我下载的是ubuntu20,大家依照自己的喜好下载。

ubuntu系统下载: https://cn.ubuntu.com/download.

unbuntu安装docker: 菜鸟教程unbuntu安装docker.

输入docker出现以下内容就是安装成功了:

2. Flink部署

mkdir flink-demo

2.2 放入docker-compose.yml文件

在flink-demo文件夹中放入我们的docker-compose.yml文件,我们这个文件里有一些镜像配置:flink组件,kafka,ES,mysql,flink sql等。

文件下载地址,如果嫌麻烦,也可以评论区说一下,我就做个百度云链接了: docker-compose.yml.

2.3 运行命令

我们这里运行命令启动镜像

sudo docker-compose up -d

经过一系列下载之后就到了这一步:说明各个组件拉取成功。

组件安装成功后,输入如下命令开启flink sql客户端

docker-compose exec sql-client ./sql-client.sh

出现如下大松鼠就算是安装成功了:

3. 总结

本文主要是参考阿里云 Apache Flink中0基础学习flink的教程,有说的不明白的地方大家可以去:

进行更加细致地学习。

4. 参考文章

  1. 《Apache Flink 必知必会》
  2. 《docker菜鸟教程》
  3. 《Apache Flink 零基础入门》
  4. 《Flink 基础教程》

相关文章