Storm学习笔记二 2015/02/08 数据处理hidehai发表留言 前面了解了Storm的一些基本概念,这篇笔记来搭建一个日志收集系统,Storm在系统中充当一个管道和过滤器,实现从Redis上读取数据,并进行数据索引。 这是架构的一个演变,通过第一种方式,就能实现最…
Storm学习笔记一 2015/02/07 数据处理hidehai发表留言 基本概念: Topology(计算拓补): 一个实时计算应用程序的逻辑在storm里面被封装到topology对象里面,一个storm的topoloy会一直运行,直到显式的杀死它。 St…
kettle任务的远程执行 2014/11/29 数据处理hidehai发表留言 突然发现博客中还没有一篇关于kettle这个工具的文章,自己使用这个工具还是蛮久了,在数据处理方面的确是没有发现出其二的产品。 之前我有篇博客是介绍jaspersoft的,其中提到了pentaho的开…
Java应用性能分析 2014/11/29 后端杂文hidehai发表留言 前阵子处理双十一的事项,其中一个点是关于系统性能的评估和优化. 就当前的业务来说,双十一首要关注的是订单流转相关的性能问题,例如创建、审核、拣货以及末端配送信息的回填。 这些各个业务环节,会对应到系统…
Qcon上海2014(三) 2014/10/19 生活杂文hidehai发表留言 Qcon上海第三天,从日程来看,还是有很多干货,一个是小微金服CTO程立的专题演讲,其他的是关于Java以及隐私安全的专场。 先说一下专题分享《大数据时代的金融技术变革》,分享者程立是支付宝技术平台的…
Qcon上海2014(二) 2014/10/18 生活杂文hidehai发表留言 Qcon上海第二天,上午直接略过了的专场演讲,直接去了移动的专场,主题是移动开发的痛点,原计划是准备去大数据和自动化运维的,由于有运维部门的同事一起参加,大数据专场的云架构又不太感兴趣,就只有移动开发…
Qcon上海2014(一) 2014/10/17 生活杂文hidehai发表留言 这次有幸去参加了上海Qcon,今天已经是第二天了。 http://www.qconshanghai.com/ 周三晚上的飞机到上海,预定的酒店两间房只剩一间,因为更换了170的手机号,客户经理不确定我…
彭州-九峰山 2014/09/18 生活杂文hidehai发表留言 路线: 海会堂-清凉寺-祖师殿-骡祖寺-观音岩-雷洞坪-南天门-雷音寺 计划: D1:早上7点半集合,8点半出发,11点左右到山脚,计划8个小时登顶 阅读全文——共441字
九顶山-九龙池 2014/07/16 生活杂文hidehai发表留言 花了两天时间,和朋友同事去了一趟九顶山后山,登山点挨着茂县,和开发出来的九顶山不同,这里没有路标没有住宿,所有装备都需要小伙伴们准备。 周五在茂县休整了一晚上,问了当地人路线和水源点,在GPS上做了记…
端午牛背行 2014/06/08 生活杂文hidehai发表留言 继昨年骑行了牛背山,今年和小伙伴再次去了牛背山,这次的方式是徒步。 从成都出发两天两夜的行程,回到成都还能休息一天,原计划是带着帐篷睡袋上山,后来考虑到体力等原因没有执行这个方案。 一行7人,加入一个…