Flink入门教程

2017-04-17 00:05阅读：

http://blog.sina.cn/dpool/blog/u/1653392055

目录
一、 Flink开发环境搭建 2
二、基本API概念 5
1、DataSet和DataStream 5
2、解剖Flink程序 6
3、惰性评估 6
4、指定Keys 7
5、为Tuples指定Keys 7

6、指定转化函数 7
7、支持的数据类型 8
8、累加器和计数器 9
三、 DataStreaming API使用 10
1、 DataStream转化 10
2、物理分区方法 12
3、任务链 13

一、Flink开发环境搭建

本文主要是基于java语言开发的环境搭建。
1、必备工具，红色部分为必须安装的
（1）Java 1.8版本
（2）Eclipse
（3）Maven
（4）Netcat：用于模拟网络包发送
（5）Git或者cgwin
（6）Curl工具
2、搭建步骤
（1）在Eclipse中创建maven工程，pom.xml配置信息如下：
<dependencies>

<dependency>
<groupId>junit</groupId>
<artifactId>junit</artifactId>
<version>3.8.1</version>
<scope>test</scope>
</dependency>

<dependency>
<groupId>org.apache.flink</groupId>
<artifactId>flink-; font-size: 7.5pt;'>>
<version>1.2.0</version>
</dependency>
<dependency>
<groupId>org.apache.flink</groupId>
<artifactId>flink-streaming-; font-size: 7.5pt;'>>
<version>1.2.0</version>
</dependency>
<dependency>
<groupId>org.apache.flink</groupId>
<artifactId>flink-clients_2.10</artifactId>
<version>1.2.0</version>
</dependency>

<dependency>
<groupId>org.codehaus.jackson</groupId>
<artifactId>jackson-core-asl</artifactId>
<version>1.9.0</version>
</dependency>

<dependency>
<groupId>com.google.code.findbugs</groupId>
<artifactId>jsr305</artifactId>
<version>3.0.2</version>
</dependency>

<dependency>
<groupId>com.google.protobuf</groupId>
<artifactId>protobuf-; font-size: 7.5pt;'>>
<version>3.2.0</version>
</dependency>

<dependency>
<groupId>com.sun.jersey</groupId>
<artifactId>jersey-core</artifactId>
<version>1.19.3</version>
</dependency>

<dependency>
<groupId>o

举报/Report

我的更多文章

下载客户端阅读体验更佳

APP专享

新浪博客

Flink入门教程

一、Flink开发环境搭建

分享

我的更多文章

下载客户端阅读体验更佳

疯狂捕鱼