Python连接HDFS实现文件上传下载及Pandas转换文本文件到CSV

2024年1月22日 79次阅读 来源: 翱翔的江鸟

1. 目标

  1. 通过hadoop hive或spark等数据计算框架完成数据清洗后的数据在HDFS上
  2. 爬虫和机器学习在Python中容易实现
  3. 在Linux环境下编写Python没有pyCharm便利
  4. 需要建立Python与HDFS的读写通道

2. 实现

  1. 安装Python模块pyhdfs
  2. 版本:Python3.6, hadoop 2.9

读文件代码如下

from pyhdfs import HdfsClient
client=HdfsClient(hosts='ghym:50070')#hdfs地址
res=client.open('/sy.txt')#hdfs文件路径,根目录/
for r in res:
    line=str(r,encoding='utf8')#open后是二进制,str()转换为字符串并转码
    print(line)

写文件代码如下

from pyhdfs import HdfsClient
client=HdfsClient(hosts='ghym:50070',user_name='hadoop')#只有hadoop用户拥有写权限
str='hello world'
client.create('/py.txt',str)#创建新文件并写入字符串

上传本地文件到HDFS

from pyhdfs import HdfsClient
client = HdfsClient(hosts='ghym:50070', user_name='hadoop')
client.copy_from_local('d:/pydemo.txt', '/pydemo')#本地文件绝对路径,HDFS目录必须不存在

3. 读取文本文件写入csv

  1. Python安装pandas模块
  2. 确认文本文件的分隔符
# pyhdfs读取文本文件,分隔符为逗号,
from pyhdfs import HdfsClient
client = HdfsClient(hosts='ghym:50070', user_name='hadoop')
inputfile=client.open('/int.txt')
# pandas调用读取方法read_table
import pandas as pd
df=pd.read_table(inputfile,encoding='gbk',sep=',')#参数为源文件,编码,分隔符
# 数据集to_csv方法转换为csv
df.to_csv('demo.csv',encoding='gbk',index=None)#参数为目标文件,编码,是否要索引
    原文作者：翱翔的江鸟
    原文地址: https://blog.csdn.net/wxfghy/article/details/80941088
    本文转自网络文章，转载此文章仅为分享知识，如有侵权，请联系博主进行删除。
点赞