2012年11月30日,为期两天的 如期举行。这是我第一次参加这种盛会。大会主持人介绍HBTC的前身是中国云计算开发者大会。开场前我大概看了看参会嘉宾,以30左右的公司技术骨干居多,还有一部分45左右的经理人,后来发现大部分经理人都是传统行业的例如零售,物流,交通;此外还有一大部分是学生,交谈过的都是博士和研究生。像我这种刚出校门的本科生应属凤毛麟角了。菜鸟之所以来朝凤是有原因的,大四实习的时候我看好大数据的发展前景,然后从JAVA转到Hadoop,毕业后到现在已经用了一年,虽然没上升到看源码,Hadoop,Hive,Pig的使用已经小有心得。这次主要有两个困扰,一是Hive的行里和按列更新问题,二是Pig的性能优化问题。大会开放的主题我很感兴趣,也想趁机看下大公司中是如何把Hadoop应用到生产环境的。
第一天的主题我听的云里雾里。大多数主题都是从市场和架构的角度来分析,市场的面太大,架构的层太深,一天的报告下来基本就是了解到了大数据的发现趋势,Hadoop的技术体系,大公司的Hadoop集群其余的收获不大。但有一个俄亥俄州立大学的教授讲的 研究我深有感触。一个感触是对比哈工大教授的演讲,哈工大教授主要介绍了自己的论文,各种论文,偏于学术性,而这个教授(张教授)是和脸书一起搞的实验,总结了怎么能优化集群,偏于真正的实践;第二个感触是我们公司的一些应用正是和张教授的优化不谋而合,虽然没有全部应用到但是也使我对深藏不漏的老大有了更多的钦佩。
第二天的主题是大家关注的重点。我选择了几个感兴趣的主题,错开时间差然后开始专心的聆听的记录。腾讯的高级程序员赵伟首先分享了 。腾讯的TDW是Hive,Hadoop,PostgreSQL三者的结合,其中对Hive做了很多修改,包括行级更新等很多mysql上的SQL实现。但是大牛不会特定的说明某个问题点的解决方案而是在站在高点,从大的架构上讲解整个系统,对使用层的听众来说只能拓展眼界不能解决问题。然而大会的交互性太差,提问时间不够我想的问题还是没能解决,但是我大概也有了解决的小方案。之后的几个主题印象最深的就是 ,有Pig的开发团队的戴先生带来的分享,不像赵伟的分享,他不仅从大的架构也从某些具体的功能点进行的深入的讲解,只是提问环节的几个问题问的不给力。之后又关注了京东和阿里的集群,京东基本处于应用层,阿里是大牛,单用一天的时间讲解云梯的各种技术壁垒和解决方案恐怕都不够。两天的时间很快就过去了,有很多的内容都需要深刻的思考然后统一整理下,找到对自己有帮助的。总的来说收获还是非常多的,非常感谢CSDN和CFF举办此次盛会。
具体的收获还在整理中,最近需求队列有溢出的趋势....