Qcon上海2014(一)

Qcon上海2014(一)

这次有幸去参加了上海Qcon,今天已经是第二天了。

http://www.qconshanghai.com/

周三晚上的飞机到上海,预定的酒店两间房只剩一间,因为更换了170的手机号,客户经理不确定我们是否参会,没有留足,到了又折腾到凌晨3点才找到快捷酒店住下。

接着就是连续三天排满的日程,主要关注了几个方向:后端开发、架构和团队文化。

周四上午,按惯例还是开场词,接着是两个老外的专题演讲,一个是容器化的云、另外个是建设强大的工程师文化。

容器化的云主要还是给大家介绍了现在比较火的Docker、它的特性和一些应用场景。

建设强大的工程师文化由Kevin主要给大家讲了一下他所看到和经历的团队文化,他之前在微软,然后成立了自己的团队,关于文化,他的观点是团队成员基于共同认识的的价值观,如果这个价格观存在于每个团队成员中,则团队每个人是相互有交集有话题有目标的,这点我还是很认同。

ps:听不太懂,还好拿了翻译器,将就着听,不过还是感觉同声和原音差距很大。

之后去听了关于Hadoop的专场分享,一个是阿里的离线搜索、另外个是360的实时计算,都是些有基础搞大数据的公司,不过基于不同的业务场景和需求,这些公司在选择方案上也有区别,吞吐量大、计算复杂的业务更倾向于Hadoop、Spark等方案,而对于实时性要求较高的业务会倾向于使用Storm为主的架构。

 

周四下午,还是接着去了Hadoop的专场,几个分享,留下较深印象的是一个关于Hadoop下一代计算引擎的Tez,另一个是AdMaster的营销数据挖掘。

Tez是一个比Hadoop更底层的框架,封装了更加详细的Api,可以更加优化的控制Map和Reduce.

AdMaster的分享,从实际广告应用出发,分析了他们的使用经验,以及在使用过程中对Hadoop、Spark、Storm、Hbase的改造调优,例如支持公网,优化Hbase的SCAN。

大数据这块自己还不太了解,但通过分享,让我对他们在各自领域内的精细化耕作还是很佩服,例如Admaster的广告,精细化的耕作再加上合适的技术,创造出的商业价值,让AdMaster成为行业的内的骄子。

现在问题来了,图书行业的数据如何分析、精细化又如何做呢~

IMG_20141017_13385500

 

 

留下回复