使用pyodbc时读取数据是ok 的，但写入时会报错 import pandas as pd import pyodbc conn = pyodbc.connect( r'DRIVER={SQL Server};' r'…
标签：df
pandas删除空数据行及列dropna()
import pandas as pd # 删除含有空数据的全部行 df4 = pd.read_csv(‘4.csv’, encoding=’utf-8′) d…
Spark SQL填充null值列
df.na.fill("All Null values become this string") df.na.fill(5,Seq("StockCode","InvoiceNo")) val fillColValues=…
sqoop定时增量导入mysql数据到hdfs(hive)
需求 有2张大的mysql表，量级分别是1亿和4.5亿（太大了，DBA的同学正在考虑分表），而且数据是增量的，需要写spark任务做处理，直接读取mysql有点吃力，想通过sqoop定时增量直接导入hive，然后spar…
Spark Sql Row 的解析
在Spark SQL 编程时，经常需要对获取的DataFrame 对象进行map 操作。map 基于的元素是Row. 那么如何操作Row呢？ 1. 使用Row 提供的 get方法，获取需要的列 2. 使用类型匹配，显示的…
spark dataframe 如何保存到本地
在 Spark 2.x 里面，可以直接使用以下命令 df.write.format("csv").save(filepath)
