一、概述
1. 从SQL到NoSQL—如何使用表格存储
NoSQL 是一个用于描述高扩展高性能的非关系数据库的术语。 NoSQL 数据库提供的 schemafree 数据模型能够让应用无需预先定义表结构,适应业务的多元化发展,而对超大数据规模和高并发的支持让 NoSQL 数据库得到了广泛的应用。
2. 表格存储数据模型和查询操作
本篇文章主要会详细聊一下表格存储的查询操作,以及如何根据业务的需求来设计表结构以支持特定条件的查询。
在理解查询操作之前,会简单描述一下表格存储的数据模型,以加深对查询操作的理解。
3. 深入对比 HBase 与阿里云的表格存储服务
谷歌的 Bigtable 于 2016 年推出了兼容 HBase 的接口,而作为国内最早推出分布式 NoSQL 数据存储服务的阿里云表格存储也在最近正式发布了HBase Client,能够帮助用户将业务轻松从 HBase 迁移至表格存储。
4. 如何理解表格存储的多版本、生命周期和有效版本偏差
表格存储在8月份推出了容量型实例,直接支持了表级别最大版本号和生命周期,高性能实例也将会在9月中旬支持这两个特性。那么,最大版本号和生命周期以及特有的有效版本偏差该如何理解呢,在实际的使用上对我们又有什么帮助呢? 让我们来详细了解下吧!
5. 表格存储(TableStore)新功能Stream初探
阿里云自研PB级nosql数据库TableStore近期发布了新功能Stream,也就是增量通道,可以让用户实时的获取数据库中的增删改操作。很多使用TableStore的用户会定期把数据导入各类计算平台做数据的离线分析,以前的做法是使用DATAX或者使用TableStore的SDK定期拉取数据。
6. 表格存储(TableStore)新功能Stream应用场景介绍
上面一篇我们介绍了表格存储新功能Stream, 下面我们展开说一些场景,看看有了Stream后,哪些我们常见的应用场景可以更高效的设计和实现。 直播用户行为分析和存储 场景描述 现在视频直播非常火热,假如我们使用TableStore记录用户的每一次进入房间和离开房间,房间内的操作记录等,并希望根据用户的最近的观看记录,更新直播推荐列表。
二、应用场景
1. 现代IM系统中消息推送和存储架构的实现
前言 IM全称是『Instant Messaging』,中文名是即时通讯。在这个高度信息化的移动互联网时代,生活中IM类产品已经成为必备品,比较有名的如钉钉、微信、QQ等以IM为核心功能的产品。当然目前微信已经成长为一个生态型产品,但其核心功能还是IM。
2. 基于云上分布式NoSQL的海量气象数据存储和查询方案
气象数据是一类典型的大数据,具有数据量大、时效性高、数据种类丰富等特点,每天产生的数据量常在几十TB到上百TB的规模,且在爆发性增长。如何存储和高效的查询这些气象数据越来越成为一个难题,本文针对气象领域中海量模式数据的存储和查询问题,分别介绍了传统方案和采用表格存储(TableStore)的方案,并对方案优缺点进行了一些总结。
3. 以物流案例看基于表格存储实时数据流的serverless计算
许多业务有实时数据处理的需求。相较于传统的数据库+流计算+应用服务器方案,使用基于表格存储实时数据流的Serverless计算方案有自动弹性伸缩及开发简单、部署简单等优点。本文通过一个想象的物流案例来说明如何实施“基于表格存储实时数据流的Serverless计算方案”。
4. 基于TableStore的数据采集分析系统介绍
在互联网高度发达的今天,ipad、手机等智能终端设备随处可见,运行在其中的APP、网站也非常多,如何采集终端数据进行分析,提升软件的品质非常重要,例如PV/UV统计、用户行为数据统计与分析等。虽然场景简单,但是数据量大,对系统的吞吐量、实时性、分析能力、查询能力都有较高的要求,搭建起来并不容易。
5. 如何打造千万级Feed流系统
Feed流是一个目前非常常见的功能,在众多产品中都有展现,比如微博,朋友圈,消息广场,通知,IM等。通过Feed流可以把动态实时的传播给订阅者,是用户获取信息流的一种有效方式。在大数据时代,如何打造一个千万级规模的Feed流系统仍然是一个挑战。本文中会介绍如何设计一个千万量级的Feed流系统的架构。
6. 如何高效存储海量GPS数据
GPS数据使用越来越广,但如何高性能存储海量GPS数据仍然具有挑战,本文会介绍一种非常适合存储GPS数据的存储系统:阿里云NoSQL数据库TableStore,同时会介绍多个不同场景的技术方案。
7. 高并发IM系统架构优化实践
介绍如何设计一个稳定、高并发、消息保序的IM系统,以及如何通过使用存储层的高级功能来优化系统架构。
8. 表格存储服务在社交应用场景的实践
阿里云的表格存储服务(http://www.aliyun.com/product/ots)是一款面向PB级结构化/半结构化数据存储和百万级高并发读写访问的NoSQL数据库服务,在移动社交场景中有着非常广发的应用,如今非常火热的钉钉也将后台的消息推送和存储功能从MySQL迁移到表格存储上,以获得更加.
9. 表格存储在互联网风控和金融数据服务上的应用实践
当前,第三方支付、P2P网贷、宝宝类理财、众筹等金融产品层出不穷,随着金融知识的普及,全民参与又进一步促进了互联网的发展。海量交易数据,实时在线访问,业务快速的迭代变化都对传统金融解决方案提出了更高的要求,而互联网金融本身的开放性,低门槛,征信信息的缺乏,又容易发生各类风险问题,这有给传统金融解决方案带来的新的挑战。借助云计算、大数据、搜索引擎等新一代高新技术,给互联网金融带来了新的机会。
10. 如何使用表格存储实现网盘文件的极速秒传
目前不少云备份、网盘等产品都提供了秒传的功能,一方面能够显著的提高了用户的使用体验,另外一方面由于避免了不必要的文件传输,又有效的降低了存储成本与带宽成本。
而实现文件的”秒传”,只需要通过客户端从文件中获取一个特征值,比如常用的 MD5 值,然后在服务器上保存所有文件的特征值进行比较,如果有重复的,就无需再上传数据,只需要复制一份文件的存储路径即可。进一步考虑到文件的分享、保存以及后期的清理,我们将文件的特征值与当前引用计数存储在元数据 DB 中。
“秒传”机制看起来容易,但是在实现细节上也有不少问题需要处理。
11. 超级快递——如何用系统来保证快递准时送达
随着电商的发展,人们对快递的准时性的要求不断提高,而日增量数以亿级的快递状态信息的存储、异常状态的检测都是令人头疼的问题。在本文中,我们使用分布式NoSQL数据库TableStore与全托管的消息服务来解决这个难题。
12.如何搭建亿级社交信息分享平台?
由于移动互联网的兴起,人与人之间的交流、信息分享能够以电子信号的速度传递在各个终端设备之间,像朋友圈、微博、Twitter等社交平台的出现,大大方便和丰富了人们的日常生活。通过本文,我们来看看如何搭建一个高并发、低延时、能够承受亿级活跃用户的社交信息分享平台。
13. 表格存储结合Elasticsearch进行搜索的场景分析和实践
TableStore是一个构建在阿里云飞天分布式系统上的Nosql数据库服务,熟悉阿里云的同学肯定听说过飞天5K,飞天是一个可以管理5000台机器的分布式系统,TableStore作为构建在其上的一个Nosql数据库,可以承载海量(单表几百TB)的数据存储,同时数据有三份拷贝,数据安全性有极高的保证。
14. TableStore和ElasticSearch
简要介绍了 TableStore 和 ElasticSearch 的功能和各自侧重点等。
15. 201604深圳云栖大会Workshop – 使用表格存储开发用户弹幕功能
使用表格存储开发用户弹幕功能 目标 使用表格存储(TableStore,原称OTS)实现视频直播的弹幕功能,通过TableStore存储弹幕,并在TableStore中检索最新弹幕实时显示到直播页面中。
16. 5.22成都workshop:海量用户数据管理及分析
海量用户数据管理及分析 场景描述 X游戏公司有多款手游,页游在线上运营。近期也有一批新款游戏设计出炉准备开发,公司希望根据游戏热度决定未来资源投入的方向。与此同时,近期频发的盗号现象,也让公司倍感苦恼。
17. 10.11杭州Clouder lab 十分钟搭建共享应用1:函数计算及表格存储操作说明
10.11杭州Clouder lab 十分钟搭建共享应用操作说明。
三、数据通道
1. 如何同步TableStore数据到Elasticsearch
TableStore是阿里云自研专业级分布式NoSQL数据库,Elasticsearch是著名的开源搜索引擎,本篇文章会介绍如何同步TableStore中的数据到Elasticsearch中,以便对部分字段支持搜索功能。
2. 使用DataX同步MaxCompute数据到TableStore(原OTS)优化指南
概述 现在越来越多的技术架构下会组合使用MaxCompute和TableStore,用MaxCompute作大数据分析,计算的结果会导出到TableStore提供在线访问。MaxCompute提供海量数据计算的能力,而TableStore提供海量数据高并发低延迟读写的能力。
3. 使用Datax将MySQL中的数据导入到TableStore中
由于我们的数据在MySQL中的数据已经快接近亿级别,在访问MySQL并发读写的时候遇到了很大的瓶颈,严重的Block了我们的业务发展,主要从白天十点到晚上十点之前,并发访问的用户比较多,我们在写的前面加上了队列,系统后台自动同步。但是读上没有很好的办法解决,所以我们急需一个有较高吞吐量的实时存储系统。
4. TableStore: 使用Datax将实例A的数据迁移到实例B中
现在我们需要将数据从一个老的实例A迁移到实例B上面,做一下备份,我们打算使用Datax作为我们的数据传输工具,其中用到了otsreader和otswriter。
5. 使用MaxCompute访问TableStore(OTS) 简明手册
大数据计算服务 MaxCompute 能够提供强大的分析能力,而分布式 NoSQL 数据库表格存储在行级别上的实时更新和可覆盖性写入等特性,相对于 MaxCompute 内置表 append-only 批量操作,提供了一个很好的补充。
四、开发实践
1. 使用HBase Client访问阿里云NoSQL数据库表格存储
如何使用HBase Client访问阿里云分布式NoSQL数据库表格存储。
2. 表格存储新手指南:如何实现分页查询
本篇文章主要介绍如何在表格存储上实现分页查询。
3. 表格存储最佳实践:一种用于存储时间序列数据的表结构设计
在时间序列存储的场景,例如监控数据或者日志数据,通常比较难解决的是写入的问题,传统的数据库难以承载如此大数据量、高并发的写入压力。 表格存储能够提供非常优秀的写入能力,在阿里内部得到到了正好的实践和证明。但是若要发挥其强度的写入能力,需要有一个良好的表结构设计。 本篇文章给出了一个存储时间序。
4. 表格存储新手指南:Java SDK异步接口的使用
本篇文章主要会介绍下表格存储的Java SDK提供的异步接口,如何使用以及应用场景。
5. 表格存储:使用TableStoreWriter进行高并发、高吞吐的数据写入
表格存储(原OTS)的一大特性是能够支撑海量数据的高并发、高吞吐率的写入,特别适合日志数据或物联网场景(例如轨迹追踪或溯源)数据的写入和存储。这些场景的特性是,会在短时间内产生大量的数据需要消化并写入数据库,需要数据库能够提供高并发、高吞吐率的写入性能,需要满足每秒上万行甚至上百万行的写入吞吐率。针对这些场景,我们在存储层做了很多的优化(本篇文章不赘述),同时在SDK接口层也做了一些优化,专门提供了一个简单易用、高性能的数据导入接口。
6. 表格存储的宽行流式读功能
本篇文章介绍表格存储中的宽行流式读功能,简单说就是介绍如何读取一个列很多数据量很大的行,当一次读取不出整行时如何分多次读取,当只需要读取宽行的一部分时如何读取可以性能更好。 宽行与宽行流式读 表格存储的表结构设计中,每行由主键列和属性列构成,主键列按照顺序构成一个主键,唯一的确定一行。
五、高可靠、高可用建设
1. 表格存储如何实现高可靠和高可用
本文会介绍表格存储(阿里自研的一款分布式NoSQL数据库)如何实现数据高可靠和服务高可用,读者可以通过本文了解高可靠和高可用的一些概念和技术,以及分布式系统是如何进行高可靠和高可用设计的,此外,我们还会有一篇专门的文章介绍容灾相关的话题。
2. 表格存储如何实现跨区域的容灾
本文首先会介绍容灾的一些背景和相关场景,以及实现数据库容灾的两个重要能力,即数据同步和切换。然后介绍表格存储如何实现相应的功能,以及我们如何把相应的功能服务化,让用户能够方便而灵活的搭建容灾场景,给业务提供更高级别的可用性保障,或者是通过异地多活优化不同地域的终端用户的延迟。
六、技术分享
表格存储的Java SDK优化经验
本文介绍表格存储服务在优化Java SDK性能时的一些经验,作为一个支持海量数据、高并发访问的NoSQL服务,SDK的性能也显得尤为重要。SDK优化这项工作很久之前就已完成,现在将其中的一些经验再在公众号中与大家进行分享。
七、官网
表格存储
表格存储(Table Store)是构建在阿里云飞天分布式系统之上的分布式NoSQL数据存储服务,根据99.99%的高可用以及11个9的数据可靠性的标准设计。表格存储通过数据分片和负载均衡技术,实现数据规模与访问并发上的无缝扩展,提供海量结构化数据的存储和实时访问。
更多技术干货敬请关注云栖社区知乎机构号:阿里云云栖社区 – 知乎