0%

最近有一个实际的场景需求,需要实时统计总数,于是想到了flink,从入门到实战,整个过程中一直不断的思考实际业务中的问题,在flink中如何解决,与kafka-stream的对比和spark的对比等等。
整个思考和写出demo的过程中,对window机制有了深入的了解,并通过阅读flink java client的源码,了解了其trigger的实现。
本文从实际需求出发,通过提出问题解决问题,结合源码了解flink。

阅读全文 »

基于ElasticSearch 6.8版本的安装文档,通读安装和配置英文文档后总结。

– 2019-05-30:更新ElasticSearch 7.0节点发现配置更改

阅读全文 »

在使用netty的过程中,第一次是理解错线程模型,导致性能测试结果很差。性能提升后,发现netty客户端工具一直存在20%的丢包率,一直以为是工具的问题,没有理会这个问题,但是昨天面试突然想到可能的解决方案,就花费了不到2天的时间定位问题。

阅读全文 »

初学es,烦杂的api和概念感觉比SQL复杂多了,今日工作需要重拾es,简单总结了一下es的api,仅供自己记录。

阅读全文 »

又见绿柳催新芽
湘湖碧水映夕霞
才子佳人相与对
蝶影翩翩燕双飞
阅读全文 »

本文主要介绍kafka原声api的使用,关于kafka apache官方的文档页面只有简单的说明,不过所有的使用说明都在apache kafka java doc文档页面,每个类的文档都有详细的使用说明,源码中也有详细的注释。

阅读全文 »

本文主要介绍Kafka中的topic、partition、offset的概念,和kafka java使用consumer时,高级消费和低级消费不同场景下的区别,通过本文,大致能够了解kafka是怎么保证至少消费一次,以及什么情况下会出现重复消费和丢失数据。

阅读全文 »

本文是系列教程kafka入门教程的第一篇,介绍了kafka的基础概念:topic、partition、broker、consumer、consumer group和producer。

阅读全文 »

本文适用于kubernetes 1.9-1.11版本,其它版本未验证。
本文介绍了kube-dashboard的安装和访问,主要是官方wiki介绍的比较混乱,初次使用者经常面临kube-dashboard不能访问,kube-dashboard不能登陆,怎么登陆的问题。

For English users: you can refer to my answers at stackoverflow

阅读全文 »