生活学习记录|七七和春春

flink写入Es报Limit of total fields [1000]

大数据数据

ElasticsearchSinkFunction class StringData { private String data; } StringData data = new StringData(jsonData); IndexRequest indexRequest = R

ObjectMapper（Jackson）解析Json对象

常用工具后端开发

ObjectMapper mapper = new ObjectMapper(); // 忽略大小写 mapper.configure(MapperFeature.ACCEPT_CASE_INSENSITIVE_PROPERTIES, true); // 下划线与驼峰转化 mapper.

Flink异步读取外部数据（Mysql、Redis）

大数据数据

使用 SingleOutputStreamOperator<String> sream = AsyncDataStream.unorderedWait(stream, new AsyncMySQLRequest() , 20000, T

Python调用jdbcDriver连接其他数据源

python 编程基础

Python调用jdbcDriver连接其他数据源原因使用python的pyhive pyhs2之类的库，在windows上一直无法正常运行 sasl的库依赖问题采用折中的方式实现与远端hive的通信连接hive 下载hive-jdbc-1.1.0-cdh5.12.1-standalone.

mac下安装scrapy

服务搭建系统

直接执行 pip3 install scrapy error: command ‘/usr/bin/clang’ failed with exit status 1 对应clang的包不正确解决方案直接去Apple 官网下载最新版本的Command Line Tools安装即可安装Comman

如何获取全国省市的经纬点坐标信息

个人项目开发记录

https://lbs.amap.com/api/webservice/guide/api/district/ 登陆高德lbs官网查询行政区划 =》中国 2 base 查询中国的两级行政区的坐标点位置打开控制台（chrome F12）点击运行 =》保存请求响应为 js对象 var data

读书笔记-专有名词

阅读摘录学习

边际效用递减原则合理伤害权论资排辈制（源于北魏）

wordpress修改目录

个人项目开发记录

移动目录文件夹如从 /var/www/html 移动到 /var/www/html/wordpress 选中wordpress的database USE wordpress 查看wp_options表单（数据库的URL存在这里。） mysql> select * from wp_options

HIVE FIRST_VALUE和LAST_VALUE

数仓开发数据

FIRST_VALUE, 返回序列中第一个值 LAST_VALUE，用于返回序列中最后一个值。 last_value返回异常 hive on spark 中可能存在 oracle相同的问题 order by 时取的值为当前行之前的最后一个值。解决方案使用first_value 逆序排列取值参

JVM调优-命令大全(转)

Java 编程基础

JVM调优-命令大全（jps jstat jmap jhat jstack jinfo 常用命令导航 Arnold_zhao：Jps -v 【查看当前进程启动时显示指定的参数】 Jinfo：【查看所有非显示指定的参数】 jinfo -flags 17996 【显示JVM参数等信息】 jinfo -s