IT技术之家

首页 > TAG信息列表 > flink

  • 【Flink 源码系列】Flink Collector Output 接口源码解析_JasonLee实时计算

    0在 Flink 中 Collector 接口主要用于 operator 发送（输出）元素，Output 接口是对 Collector 接口的扩展，增加了发送 WaterMark 的功能，在 Flink 里面只要涉及到数据的传递都必须实现这两个接口，下面就来梳理一下这些接口的源码。Output Collector UML 图WatermarkGaugeExposingOutputCollector...


    标签： java android flink 编程语言 spring

  • Flink问题整理_unexpected error in initproduceridresponse; the tr_sf_www

    问题执行 sh start-cluster.sh脚本启动集群，报错：/xxx/bin/config.sh:行32: syntax error near unexpected token `(`/xxx/bin/config.sh:行32: ` done << (find "$FLINK_LIB_DIR" ! -type d -name '*.jar' -print0 | sort -z)'解决不要使用sh来启动，使用 bash start-clu


    标签： flink java 大数据

  • Flink Java 之 Savepoints_flink canonical_程序员 Harry

    Savepoint 是依据 Flink checkpointing 机制所创建的流作业执行状态的一致镜像。 你可以使用 Savepoint 进行 Flink 作业的停止与重启、fork 或者更新。 Savepoint 由两部分组成：稳定存储（列入 HDFS，S3，…) 上包含二进制文件的目录（通常很大），和元数据文件（相对较小）。 稳定存储上的文件表示作业执行状态的数据镜像。 Savepoint 的元数据文件以（相对路径）的形式包含（主要）指向作为 Savepoint 一部分的稳定存储上的所有文件的指针。


    标签： flink java bash

  • Flink cdc 介绍及使用 FlinkCDC读取mysql 及 jdbc 连接参数配置_yuhh_

    Flink cdc 介绍常见cdc开源方案Flink cdc 使用案例Flink cdc读取mysql 及 jdbc 连接参数配置1.Maven POM 文件2.Flink CDC 代码补充CDC 的全称是 Change Data Capture ，在广义的概念上，只要是能捕获数据变更的技术，我们都可以称之为 CDC。目前通常描述的 CDC 技术主要面向数据库的变更，是一种用于捕获数据库中数据变更的技术。CDC 技术的应用场景非常广泛；Mysql binlog 开启


    标签： mysql flink java 大数据

  • Flink 滚动窗口、滑动窗口详解_flink 滑动窗口_响彻天堂丶

    滚动窗口有固定的大小，是一种对数据进行“均匀切片”的划分方式。窗口之间没有重叠，也不会有间隔，是“首尾相接”的状态。如果我们把多个窗口的创建，看作一个窗口的运动，那就好像它在不停地向前“翻滚”一样。这是最简单的窗口形式，我们之前所举的例子都是滚动窗口。也正是因为滚动窗口是“无缝衔接”，所以每个数据都会被分配到一个窗口，而且只会属于一个窗口。滚动窗口可以基于时间定义，也可以基于数据个数定义；需要的参数只有一个，就是窗口的大小（window size）。比如我们可以定义一个长度为 1 小时的滚动时间窗口，那么


    标签： flink 算法 java

  • 大数据Flink进阶（十二）：Flink本地模式开启WebUI_Lansonli

    在导入flink-runtime-web依赖之后最好重启开发工具，重新加载对应的依赖包，否则可能执行代码之后访问本地WebUI时出现"{"errors":["Not found: /"]}"错误，访问不到WebUI情况。在工作中我们一般使用IntelliJ IDEA开发工具进行代码开发，为了能方便快速的调试Flink和了解Flink程序的运行情况，我们希望本地开发工具中运行Flink时能查看到WebUI，这就可以在编写Flink程序时开启本地We


    标签： 大数据 flink scala

  • SpringBoot整合Flink（施耐德PLC物联网信息采集）_斯普润布特

    施耐德PLC设备（TM200C16R）设置好信息采集程序，连接局域网，SpringBoot订阅MQTT主题，消息转至kafka，由flink接收并持久化到mysql数据库；失效数据清理机制（为了方便测试，所以清理机制执行频率高且数据失效低）202303171001/p（发布话题，由设备发送，应用端接收）202303171001/s（订阅话题，由应用端发送，设备接收）采集报文测试（如下图表示成功，并且已经发送到了kafka主题上）应用端账号：admin@tenlink。应用端密码：Tenlink@123。


    标签： flink 大数据 物联网

  • Flink 实践教程：入门（11）：MongoDB Sink 的使用_flink mongodb_腾讯云大数据

    SQL 作业快速写入 MongoDB


    标签： 大数据 mongodb 数据分析 flink bigdata

  • Flink中的CEP_芋辕-

    1 CEP的概念一个或多个简单事件构成的事件流满足通过一定的匹配规则，然后输出用户想得到的数据，满足规则的复杂事件。2 CEP特点具有低延迟，高吞吐的处理3 CEP的开发基本开发规则1）定义规则//begin("规则的名字")//.where()条件//创建where()中的IterativeConditionPattern<WaterSensor, WaterSensor> pattern= Pattern.<WaterSensor&


    标签： flink 大数据

  • Presto介绍及常用查询优化方法总结（推荐收藏）_presto regexp_like_硬核林川（公众号同名）

    ?1、Presto简介Presto是Facebook开源的MPP（Massive Parallel Processing）SQL引擎，其理念来源于一个叫Volcano的并行数据库，该数据库提出了一个并行执行SQL的模型，它被设计为用来专门进行高速、实时的数据分析。Presto是一个SQL计算引擎，分离计算层和存储层，其不存储数据，通过Connector SPI实现对各种数据源（Storage）的访问。1.1 架构Presto沿用了通用的Master-Slave架构，一个Coordinat


    标签： 大数据 spark flink presto sql

  • Flink窗口_flink拥塞窗口_吐泡泡的铁憨憨

    window在Flink中，StreamExecutionEnvironment是无界流，而在项目中有时会需要统计一段时间内。这个时候我们就需要用Flink中的窗口来将无界流拆分为有界流官方定义：Windows are at the heart of processing infinite streams. Windows split the stream into “buckets” of finite size, over which we can apply computations.窗口是处


    标签： flink 大数据 bigdata

  • flink的onYarn模式环境搭建_奶糖~

    一.onYarn模式把资源管理器交给yarn模式进行管理1.两种运行模式1）session-cluster模式session：会话，开辟一块新的公共的空间先启动集群，直接向yarn申请空间，资源（session）保持不变，这个集群会常驻在yarn的集群中，不需要时进行手动停止，job任务可以向这个session提交，所有任务共享这个session，如果资源用完，需要等待之间的任务执行完毕释放资源才可以使用。例：有100个工人，装修公司有5家，a公司有30人，b公司有10人等，a公司不


    标签： flink 大数据 bigdata

  • 日志中心现有架构下的优化方案记录_飞鸟还巢

    同时，由于软件和系统机制的制约，一套flink集群并不能真正分配到足量的cpu和内存资源，多一套集群也可以进一步使用剩余系统资源。生产环境已经采用，对照组是测试环境的独立集群，负载能力和容错能力远远超过测试环境的集群，且可能动态调整性能使用，例如slot的使用量；中间件flink、redis、kafka和mysql均在同一套三台主机上，CPU总数100C，256G内存，2T的磁盘。日志格式配置中，包含过滤方法，要业务侧给出过滤规则，屏蔽一些不需要的日志，减少日志的同时，提升日志可用性和命中率。


    标签： java elasticsearch flink kafka 日志处理

  • Flink_flink 集群 工作_渣渣苏

    Apache Flink 是一个框架和分布式处理引擎，用于对无界和有界数据流进行状态计算。Flink 被设计为在所有常见的集群环境中运行，以内存中的速度和任何规模执行计算。


    标签： flink 大数据 hadoop

  • Flink学习第十天——玩转Flink Core Api常用Transformation算子 多案例实战_flink cores api_Java天下第1

    需求：多数算子，我们会用订单 转换-过滤-分组-统计 来实现结果类型 idea自动提示什么是java里面的Map操作什么是java里面的FlatMap操作。


    标签： flink 学习 java 大数据