生活学习记录|七七和春春

Spark性能优化之Whole-stage code generation

大数据数据

一、技术背景 Spark1.x版本中执行SQL语句，使用的是一种最经典，最流行的查询求职策略，该策略主要基于 Volcano Iterator Model（火山迭代模型）。一个查询会包含多个Operator，每个Operator都会实现一个接口，提供一个next（）方法，该方法返回Operator

大数据架构详解

大数据数据

大数据架构详解从数据获取到深度学习常用linux调优命令和工具 top 监控Linux的系统状态 CPU、内存的使用情况 vmstat 获取有关进程、虚拟内存、页面交换空间及CPU活动的情况 iostat 丰富的I/O状态数据 nmon 免费的图形化数据采集展示工具 MPP DB的适用场景扩展

JAVA基础知识 2

Java 编程基础

集合类 ArrayList 和 LinkedList 和 Vector区别相同点都实现List接口,使用方式类似不同点实现方式不同 1. ArrayList使用可变长的数组,当元素加入时动态增长每次增长 50%,数组初始空间长度为10 2. LinkedList是双链表,添加和删除元素性能会

JAVA8 ArrayBloackingQueue源码分析

Java 编程基础

构造函数用于创建一个带有给定的（固定）容量和默认访问策略的 ArrayBlockingQueue。 public ArrayBlockingQueue(int capacity, boolean fair) { // 初始容量必须大于0 if (capacity <= 0) throw new Il

kubernetes系列：（二）、kubernetes部署mysql（单节点）

容器环境系统

from https://www.cnblogs.com/haoprogrammer/p/10827287.html 一、环境说明 kubernetes 1.13.1 docker 18.06.1-ce mysql 5.7 一、创建mysql-pv.yaml，用来将mysql存储的数据放到宿主

Scala try-with-resources

其他语言编程基础

def using[A, B <: {def close() : Unit}](closeable: B)(f: B => A): A = try { f(closeable) } finally { closeable.close() } 用法

常用排序算法JAVA实现

算法编程基础

import java.util.Arrays; public class Sort { public static int[] nums = {49, 38, 65, 97, 76, 13, 27, 49, 78, 34, 12, 64, 5, 4, 62, 99, 98, 54, 56

javax Filter实现重定向

Java 编程基础

public class ProxyFilter implements Filter { @Override public void init(FilterConfig filterConfig) { } @Override publ

Hive常用语法

数仓开发数据

动态分区导入 set hive.exec.dynamici.partition=true; set hive.exec.dynamic.partition.mode=nonstrict; 随机范围日期 select cast(rand()*(1561910400-1514736000)+151473

apache kylin streaming table

大数据数据

1. 无法找到 org.apache.kafka.clients.consumer.Consumer 确认kylin-server的服务器上安装了kafka，且kafka对应的版本为 kylin中依赖的版本 kafka-2.11_1.0.0 由于此版本无法找到，更高版本的是否支持未验证 You ne