生活学习记录 生活学习记录
七七

七七

  • 累计撰写 154 篇文章
  • 累计创建 34 个分类
  • 累计收到 0 条评论

FlinkSQL验证与执行计划查看

  • 2024-03-12 17:03
  • 15
  • 0
  • 0
  • 25.5℃
大数据数据 
import org.apache.flink.api.java.tuple.Tuple2; import org.apache.flink.streaming.api.datastream.DataStream; import org.apache.flink.streaming.api.en

单节点HDFS配置

  • 2024-03-12 17:03
  • 22
  • 0
  • 0
  • 26.2℃
大数据数据 
core-site.xml <?xml version="1.0" encoding="UTF-8"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <!-- Licensed under the Apache Lice

Yarn之日志分析

  • 2024-03-12 17:03
  • 50
  • 0
  • 0
  • 29.0℃
大数据数据 
前言 Yarn中的id种类繁多，比较乱，下面整理下yarn中常出现的几种id，分别介绍一下。 1）jobId描述：出自MapReduce，对作业的唯一标识。 格式：job_${clusterStartTime}_${jobid} 例子：job_1498552288473_2742 2）applica

PRESTO使用过程中调整参数记录

  • 2024-03-12 17:02
  • 17
  • 0
  • 0
  • 25.7℃
大数据数据 
参数名称 参数作用 配置位置 使用场景 hive.recursive-directories(true|false) 读取hive数据时,是否允许递归读取 hive catalog的配置文件中 在hive中有 tez 引擎生成的hive表,每个tez的job的stage会产生一个子文件夹,具体的数据

常用数据源获取字段备注信息

  • 2024-03-12 17:02
  • 17
  • 0
  • 0
  • 25.7℃
数据库数据 
mysql show full columns from table_name; hive desc table_name; presto desc table_name; postgresql SELECT col_description (A .attrelid, A .attnum) AS C

HADOOP联邦

  • 2024-03-12 17:02
  • 23
  • 0
  • 0
  • 26.3℃
大数据数据 
Federation即为“联邦”，该特性允许一个HDFS集群中存在多个NameNode同时对外提供服务，这些NameNode分管一部分目录（水平切分），彼此之间相互隔离，但共享底层的DataNode存储资源。 在hadoop1.x中HDFS的架构 文件的存储是放在块上的（Block Storage）

KYLIN使用异常处理

  • 2024-03-12 17:02
  • 21
  • 0
  • 0
  • 26.1℃
大数据数据 
一、点击加载hive表出现如下异常： java.lang.NoClassDefFoundError: org/apache/hadoop/hive/cli/CliSessionState java.lang.NoClassDefFoundError: org/apache/hadoop/hive/q

FlinkSQL写入Hive报ClassNotFound. org.apache.hadoop.mapred.JobConf

  • 2024-03-12 17:01
  • 81
  • 0
  • 0
  • 32.1℃
大数据数据 
场景 在flinksql-client下创建hive的表,读取kafka数据写入分区时报错 Caused by: java.lang.NoClassDefFoundError: org/apache/hadoop/mapred/JobConf at java.lang.Class.getDecl

FlinkSQL用例

  • 2024-03-12 17:01
  • 45
  • 0
  • 0
  • 28.5℃
大数据数据 
FlinkSQL用例 PV|UV 数据准备 mysql示例 CREATE TABLE MySQLTable ( ... ) WITH ( 'connector.type' = 'jdbc', -- 必选: jdbc方式 'connector.url' = 'jdbc:mysql://local

Flink SQL 数据sink到mysql时，非空列存在null值问题

  • 2024-03-12 17:01
  • 50
  • 0
  • 0
  • 29.0℃
大数据数据 
flink sql 数据sink到mysql时，非空存在null值，插入mysql报错，配置下面的参数进行解决: -- 默认值error table.exec.sink.not-null-enforcer 对表的NOT NULL列约束强制执行不能将空值插入到表中。 Flink支持“error”（默
弹