在我的一个项目中,我在每月中旬收到客户订单详细信息,这是一个大约140亿行的文件.我需要在1周内将它们上传到我的系统(每条记录1行),然后用户可以查询.

我决定根据价格和性能考虑使用表存储来存储.但我发现表存储的性能是“每个分区每秒2000个实体”和“每个帐户每秒20,000个实体”. https://azure.microsoft.com/en-us/documentation/articles/storage-scalability-targets/

这意味着如果我使用1个存储帐户,我需要大约1个月上传它们,这是不可接受的.

有没有解决方案我可以在一周内加快完成上传任务的速度？

最佳答案 对此的简单回答是使用多个存储帐户.如果您对数据进行分区并将其条带化为多个存储帐户,则可以从中获得所需的性能.您只需要另一个层来聚合数据.

您可能有一个较慢的进程,即在后台创建一个大型主表.

您可能已经发现了这一点,但是有关将大型数据集导入Azure表的优秀article