生活学习记录

大数据架构详解

大数据数据

大数据架构详解从数据获取到深度学习常用linux调优命令和工具 top 监控Linux的系统状态 CPU、内存的使用情况 vmstat 获取有关进程、虚拟内存、页面交换空间及CPU活动的情况 iostat 丰富的I/O状态数据 nmon 免费的图形化数据采集展示工具 MPP DB的适用场景扩展

Hive常用语法

数仓开发数据

动态分区导入 set hive.exec.dynamici.partition=true; set hive.exec.dynamic.partition.mode=nonstrict; 随机范围日期 select cast(rand()*(1561910400-1514736000)+151473

apache kylin streaming table

大数据数据

1. 无法找到 org.apache.kafka.clients.consumer.Consumer 确认kylin-server的服务器上安装了kafka，且kafka对应的版本为 kylin中依赖的版本 kafka-2.11_1.0.0 由于此版本无法找到，更高版本的是否支持未验证 You ne

Code for parquet writer

大数据数据

import com.sf.presto.jdbc.internal.airlift.slice.Slice; import com.sf.presto.jdbc.internal.airlift.slice.Slices; import org.apache.hadoop.conf.Configu

Code for Presto TestCase

大数据数据

/* * Licensed under the Apache License, Version 2.0 (the "License"); * you may not use this file except in compliance with the License. * You may o

HBASE Shell报错

大数据数据

错误如下 NativeException: java.io.IOException: java.lang.reflect.InvocationTargetException initialize at /usr/local/hadoop/hbase-release/lib/ruby/hbase/

Apache Kylin 2.6.1 源码编译安装

大数据数据

编译环境 ubuntu 16.04 依赖准备 jdk maven nodejs 准备源码 https://github.com/apache/kylin/releases wget https://github.com/apache/kylin/archive/kylin-2.6.1.tar.gz

mysql使用

数据库数据

1.查询正在commit的事务查询正在执行的事务： SELECT * FROM information_schema.INNODB_TRX 查看正在锁的事务 SELECT * FROM INFORMATION_SCHEMA.INNODB_LOCKS; 查看等待锁的事务 SELECT * FROM

Mybatis查询返回异常(返回代理对象)

持久化数据

使用嵌套子查询分页查询时,错误的返回了代理对象没有返回实际的bean 在collection 指定fetchType = “lazy”导致 ,修改为 fetchType=”eager” 解决在使用**ListPage分页工具类进行分页操作时，如果使用一对多查询，会造成查询出来每一页数据数量不等于实

Apache Kylin的自定义函数实现

大数据数据

思路: 直接查询百度 Kylin UDF实现发现一篇已经删除的博客http://cache.baiducontent.com/c?m=9f65cb4a8c8507ed19fa950d100b8738440197634b86914323c3933fcf331d5c063fa8f062630d5793