生活学习记录|七七和春春

PRESTO使用过程中调整参数记录

大数据数据

参数名称参数作用配置位置使用场景 hive.recursive-directories(true|false) 读取hive数据时,是否允许递归读取 hive catalog的配置文件中在hive中有 tez 引擎生成的hive表,每个tez的job的stage会产生一个子文件夹,具体的数据

常用数据源获取字段备注信息

数据库数据

mysql show full columns from table_name; hive desc table_name; presto desc table_name; postgresql SELECT col_description (A .attrelid, A .attnum) AS C

browserHistory和hashHistory的差别 history

web前端前端编程

1.browserHistory和hashHistory的差别 hashHistory 使用如 https://cdn.com/#/users/123 这样的 URL，取井号后面的字符作为路径。browserHistory 则直接使用 https://cdn.com/users/123 这样的 UR

HADOOP联邦

大数据数据

Federation即为“联邦”，该特性允许一个HDFS集群中存在多个NameNode同时对外提供服务，这些NameNode分管一部分目录（水平切分），彼此之间相互隔离，但共享底层的DataNode存储资源。在hadoop1.x中HDFS的架构文件的存储是放在块上的（Block Storage）

Java:Annotation(注解)–原理到案例

Java 编程基础

1.Annotation为何而来 JDK5开始，java增加了对元数据(MetaData)的支持，通过Annotation(注解）来实现。Annotation提供了为程序元素设置元数据的方法。元数据：描述数据的数据。 Annotation可以设置元数据程序元素：包括修饰包、类、构造器、方法、成员变量

KYLIN使用异常处理

大数据数据

一、点击加载hive表出现如下异常： java.lang.NoClassDefFoundError: org/apache/hadoop/hive/cli/CliSessionState java.lang.NoClassDefFoundError: org/apache/hadoop/hive/q

基于Redis实现分布式锁解决OLAP中SQL重复执行

解决方案后端开发

基于Redis实现分布式锁解决OLAP中SQL重复执行在大数据的报表系统中，OLAP引擎处于一个报表初步制作、短期使用的阶段，此阶段报表处于需要固化，但还不能固化的状态，此时大量的查询会进入OLAP引擎，引擎层会承受巨大的压力只是简单的将查询结果使用缓存保存，可能依旧存在风险当用户的查询需要较

Ubuntu切换python(包版本)

运行环境系统

当系统中存在python2 和python3 两个版本时如何管理切换python版本 root@ubuntu:/home/q# update-alternatives –list python update-alternatives: error: no alternatives for pyth

Ubuntu 安装python机器学习常用包

运行环境系统

apt-get install software-properties-common apt-get install python2.7 apt-get install python-pip python --version pip install --upgrade pip pip --versi

element-ui默认样式修改

web前端前端编程

我们在使用element-ui的时候经常会遇到需要修改组件默认样式。我目前知道的有两种方法： 1.通过创建一个css文件，然后在某一个组件中引用，css文件中使用和组件样式一样的命名，这样组件的默认样式就会被覆盖。 2.使用 /deep/ .homePage /deep/ .el-main { p