Flink 学习笔记_1

环境搭建

使用Docker搭建分布式环境(windows)

  • 从flink官网下载Flink Playgound代码
  • 挂载示例代码中配置文件目录到/var/conf中
    在windows下本地目录不能直接挂载到docker image中。我们需要将配置文件夹先挂载到docker虚拟机的文件目录。
    然后才能通过docker启动命令,或docker-compose的配置文件指定挂载方式。因为所有的docker命令都会实际运行在virtual box中。
    有一个比较奇怪的地方是使用docker而不是docker-compose启动镜像时,可以以相对路径方式挂载命令行当前的windows目录。
1
2
3
4
5
6
7
8
9
10
11
12
13
14
sudo mount -t vboxsf conf /var/conf
# setup into flink-playgrounds/operations-playground
# 启动服务
docker-compose up -d
# 查看服务列表
docker-compose ps
# 查看日志
docker-compose logs -f jobmanager
docker-compose logs -f taskmanager
docker-compose logs -f kafka
# 进入启动容器中查看
docker exec -it operationsplayground_jobmanager_1 bash
# 终止服务
docker-compose down -v
  • 服务管理

    Web console: http://localhost:8081 (使用virtual box的IP地址替换localhost)
    RESTful API: curl localhost:8081/jobs