谈谈如何确保数据的一致性 数据库必须具备的四个特性 背景 什么是接口的幂等性? 幂等性在哪里会用到? 技术方案 总结 参考https://blog.csdn.net/u011635492/article/details/…
标签:数据处理
C++ 刷新屏幕
C++ 刷新屏幕 方法一:清除文字,重新打印 使用system函数清除控制台的文本,再重新打印,实现刷新屏幕的效果 system函数就不用多讲了,直接上代码: #include <bits/stdc++.h>…
按照两个dataframe的index合并数据
核心方法 import pandas as pd pd.merge(dataframe1,dataframe2,left_index=True,right_index=True) 修改合并的方式,可以更改merge函数中…
pd.DataFrame()快速筛选数据
快速数据筛选 问题场景 实现方法 问题场景 当需要对excel数据根据不同的条件进行筛选,可以利用pandas快速实现。例如筛选出一张表格里来自不同网站的数据,每个网站的数据不超过20条。示例如下: 实现方法 impor…
将excel中的多个sheet合并为一个sheet
比较简单,直接看代码。 import pandas as pd # 获取所有的sheet reader = pd.ExcelFile(r'path') sheet_names = reader.sheet_names #…
Excel表格中怎么快速将公式运用到一整列
转载自百度知道:https://zhidao.baidu.com/question/1303011861654312659.html 有三种快速方法: 方法一:在第一个单元格右下角双击; 方法二:按住第一个单元格右下角的…
分享一个用python实现将pdf转txt的代码
问题背景: 有时候需要用到pdf文件中的信息,但是pdf不易编辑,格式有局限性,需要转成txt这样的格式。 目标: 将给定pdf文件中的文本信息(暂时不考虑表格、图片等)抽取出来,写入txt文件中。 主要工具: pyth…
python更改图片后缀jpg->png
import os pathdir = r"/home/csj/task/task1/train" for file in os.listdir(pathdir): ext = os.path.splitext(file…
如何提高数据处理中的准确性
数据处理的准确性校验一直是个难题,是否存在一些针对据处理准确性的通用做法呢? 下面是一些对于数据进行计算处理后,保证数据准确性的个人实践: 对于大部分数据来说,数据处理可以分为以下五个步骤: 1.数据采集;2.数据传输(…
JS一维数组与二维数组相互转换的要领
一维数组转化为二维数组 let baseArray = [1, 2, 3, 4, 5, 6, 7, 8]; let len = baseArray.length; let n = 4; //假定每行显现4个 let li…
Spark入门基础教程
from: http://www.linuxidc.com/Linux/2016-03/129506.htm 背景 目前按照大数据处理类型来分大致可以分为:批量数据处理、交互式数据查询、实时数据流处理,这三种数据处理方式…
Docker+Spark+Jupyter=文本数据处理逻辑测试平台容器化
写在前面 之前写过一篇“Spark+Jupyter=在线文本数据处理逻辑测试平台” [http://www.jianshu.com/p/bbd4190089e7] 这几天要把这玩意儿放到我自己的阿里云上线,供一些正在学习…