生活学习记录 生活学习记录
七七

七七

  • 累计撰写 150 篇文章
  • 累计创建 34 个分类
  • 累计收到 0 条评论

flinkSQL提交SQL异常

  • 2024-03-12 17:03
  • 20
  • 0
  • 0
  • 26.0℃
大数据数据 
错误： org.codehaus.janino.CompilerFactory cannot be cast to org.codehaus.commons.compiler.ICompilerFactory 问题是在Flink SQL Client中碰到的 Flink SQL> select *

Flink提交TaskManager日志无法查看

  • 2024-03-12 17:03
  • 17
  • 0
  • 0
  • 25.7℃
大数据数据 
错误提示: The file LOG/STDOUT is not available on the TaskExecutor 场景:

FlinkSQL验证与执行计划查看

  • 2024-03-12 17:03
  • 10
  • 0
  • 0
  • 25.0℃
大数据数据 
import org.apache.flink.api.java.tuple.Tuple2; import org.apache.flink.streaming.api.datastream.DataStream; import org.apache.flink.streaming.api.en

FlinkSQL写入Hive报ClassNotFound. org.apache.hadoop.mapred.JobConf

  • 2024-03-12 17:01
  • 72
  • 0
  • 0
  • 31.2℃
大数据数据 
场景 在flinksql-client下创建hive的表,读取kafka数据写入分区时报错 Caused by: java.lang.NoClassDefFoundError: org/apache/hadoop/mapred/JobConf at java.lang.Class.getDecl

FlinkSQL用例

  • 2024-03-12 17:01
  • 41
  • 0
  • 0
  • 28.1℃
大数据数据 
FlinkSQL用例 PV|UV 数据准备 mysql示例 CREATE TABLE MySQLTable ( ... ) WITH ( 'connector.type' = 'jdbc', -- 必选: jdbc方式 'connector.url' = 'jdbc:mysql://local

Flink SQL 数据sink到mysql时，非空列存在null值问题

  • 2024-03-12 17:01
  • 44
  • 0
  • 0
  • 28.4℃
大数据数据 
flink sql 数据sink到mysql时，非空存在null值，插入mysql报错，配置下面的参数进行解决: -- 默认值error table.exec.sink.not-null-enforcer 对表的NOT NULL列约束强制执行不能将空值插入到表中。 Flink支持“error”（默

如何实现web接口提交flinkSQL

  • 2024-03-12 17:01
  • 10
  • 0
  • 0
  • 25.0℃
大数据数据 
开发思路 Schema信息 hive的catalog保存管理已有schema信息 任务模式 yarn的资源管理，并且每个SQL任务独立，任务失败后Application自动结束 优先思考的问题

flink写入Es报Limit of total fields [1000]

  • 2024-03-12 17:00
  • 53
  • 0
  • 0
  • 29.3℃
大数据数据 
ElasticsearchSinkFunction class StringData { private String data; } StringData data = new StringData(jsonData); IndexRequest indexRequest = R

Flink异步读取外部数据（Mysql、Redis）

  • 2024-03-12 17:00
  • 41
  • 0
  • 0
  • 28.1℃
大数据数据 
使用 SingleOutputStreamOperator<String> sream = AsyncDataStream.unorderedWait(stream, new AsyncMySQLRequest() , 20000, T
弹