前言： 对于目前的iOS应用，大的数据量操作是一个不可避免的问题，本文仅对sqlite数据库大数据量操作进行优化策略： 优化规则： 1.对查询进行优化, 要尽量避免全表扫描, 首先应考虑在where及order by涉 …

一、数据库结构的设计 如果不能设计一个合理的数据库模型，不仅会增加客户端和服务器段程序的编程和维护的难度，而且将会影响系统实际运行的性能。所以，在一个系统开始实施之前，完备的数据库模型的设计是必须的。 在一个系统分析、设…

前言 在互联网还未崛起的时代,我们的传统应用都有这样一个特点：访问量、数据量都比较小，单库单表都完全可以支撑整个业务。随着互联网的发展和用户规模的迅速扩大,对系统的要求也越来越高。因此传统的MySQL单库单表架构的性能问…

Redis作为高性能的Nosql数据库越来越受欢迎，并在使用很多应用场景。常见的一种用法就是缓存一些用户数据。通常我们也会因为有特殊要求，手动插入一些缓存数据。 数据量小的时候，可以直接插入。由于redis是单线程的模式…

1.什么是分库分表？ 从字面上简单理解，就是把原本存储于一个库的数据分块存储到多个库上，把原本存储于一个表的数据分块存储到多个表上。 2.基本思想之为什么要分库分表？ 数据库中的数据量不一定是可控的，在未进行分库分表的情…

HBase 并不快，只是当数据量很大的时候它慢的不明显。 不适合使用 HBase 的场景： 主要需求是数据分析，比如做报表。 单表数据量不超过千万。 适合使用 HBase 的场景： 单表数据量超千万，而且并发还挺高。 数…

目录 1.系统架构 2.环境搭建 2.1本地环境下kafka批量导入数据 2.2 kafka-manager的安装与配置 3.1 Spark Streaming 性能调优(一): 解决并行度 3.2 Spark Stre…

火山日常啰嗦 学习了一些大数据的相关框架后，发现应用层的东西确实不难，真正难的都是底层原理，所以我查看了很多资料，借鉴了前人的方法再加上自己的理解，写下了这篇文章。 数据倾斜的直白概念： 数据倾斜就是数据的分布不平衡，某…

HBase 简介 HBase是一个分布式的、面向列的开源数据库，就像Bigtable利用了Google文件系统（File System）所提供的分布式数据存储一样，hbase在Hadoop之上提供了类似于Bigtable…

今天公司的游戏接入咪咕的SDK有个要求 就是一个计费点只能购买一次 对于这种需要存储数据量要求极低的 我第一想到的是文件存储 但是相对来说比较麻烦 于是android五大存储方式 网络存储 文件存储 SQLite存储 显…

最近天天在实验室捣鼓一个大数据的项目，前期虽说数据量不是很大，但也算是跑了一个11台机器的集群。在实施之前就预料到了肯定是艰难险阻。毕竟万事开头难，然后中间难，最后结尾难 😢 本文记录下在进行 hbase…

最近公司项目在用sqlserver2012，因数据量非常大，程序跑起来临时表的数据量高达40多G，严重影响C盘的存量，所以决定将临时表文件迁移到存量比较大的分区。 临时方法：重启MSSQLSERVER服务可删除缓存，可是…