邮箱地址: ranpanf@gmail.com。
工作地点: 杭州市华星路96号 挖财(地铁2号线古翠路站附近)
有意向的, 可以私信, 也可以发送邮件给题主。
如果没有意向, 麻烦请大家点个赞, 推广一下, 谢谢。
做个简单介绍。
题主所在的公司, HBase的使用场景和其他公司略有不同; 其他公司用HBase做数据抓取后的详情存储, 属于典型的一写多读场景, 并且insert或者append密集型, 是ETL的数据源;而我们的HBase的工作负载是HTAP, 更新为upsert密集型, 有实时查询, 并且还有离线跑批的一些大查询. 业务多半属于先查询然后修改,或者修改后紧接着做一次查询;响应延迟敏感, 正常情况下, 需要RT小于1s.
大家知道, 随着互联网的在线业务的数据规模发展, 工厂里开始搞两套NoSQL系统, 一套做TP,一套做AP,这两套系统在design space的很多点上, 取舍截然相反,所以各自进化。但是有很多业务属于混合负载, 所以往往需要TP往AP复制数据, 技术男们说服业务降低数据upsert对查询的时效性需求, 并且保证可用性, 降低一致性的需求。目前市面上有这种做HTAP的系统, 但要说经过业务验证, 开源并且开箱可用,几乎没有。往往公司内部, 技术人员会自己会搭一套, 持续优化改进,这里面有很多挑战。
从数据库发展的趋势看: 1. NoSQL TP系统和NoSQL AP系统合流搞HTAP;2.Sql over nosql, i.e. NewSQL方向应该没有错. 我们看到几年前就有论文指出在存储设计上使用fractured mirror机制, 搞列存和行存的多副本复制, 然后根据SQL类型, TP走行存, 行存复制给列存,AP走列存. 我们看到很多公司内部在搞, 开源的软件也在搞.
我们采用Phoenix SQL Over Hbase方案, 主要解决的问题有:
- 保留Phoenix协议和HBase协议不变的情况下, 对造成系统瓶颈的部分做置换。
- 多租户和业务隔离。
- AP方面的维度表和物化视图的构建和查询, 二级索引改进。
- 大规模数据热迁移方案。
- 服务治理, 容灾和降级。
有Hbase内核专家, 或者想往Hbase内核开发发展的同学;如果愿意看看机会, 可以和我联系。
以上都是我的理解, 候选人以JD和面试官的说法为准。正式的JD如下:
招聘岗位
中间件技术专家,负责挖财集团Hbase研发,负责Hbase和其他数据中间件稳定性建设,参与中间件内部技术方案评审,参与挖财重大项目技术决策和技术选型,推动挖财业务技术落地。
职位要求
1、具有扎实的java编程功底和良好的编码习惯,有分布式、多线程及高并发系统开发经验和JVM性能调优经验尤佳;
2、熟悉Hbase,hdfs,zookeeper,kafka,redis,dubbo,es等开源框架和常用Apache开源组件尤佳;
3、具有一定的大中型项目参与经验,有中间件、基础组件和框架的研发经验优先;
4、熟悉Linux常用命令和了解常用脚本语言,较丰富的线上系统运维经验,复杂问题排查思路清晰;
5、良好的自我学习和沟通协同能力,有高度的责任感、团队合作和敬业精神,具备较强的推动能力。
工作地点
杭州市 西湖区 杭州挖财网络技术有限公司 杭州西湖区华星路互联网金融大厦19楼