Jupyter显示所有行、使用pandas进行筛选数据、格式转换

Jupyter显示所有行

在运行项目调试过程中,使用Jupyter如果数据行数过多,软件会自动只显示前几行和后几行,这对于我们观察数据十分不方便,使用以下代码可以显示指定数量的数据行或者全部数据行

#设置显示全部行,不省略
pd.set_option('display.max_rows',None)
#设置显示全部列,不省略
pd.set_option('display.max_columns',None)

转换pandas中DataFrame的数据格式

在处理数据过程中,从文件中读取数据可能并不符合我们需要进行操作的数据类型,比如读取数据类型为string,但是我们需要选择大于某个浮点数的大小,这个时候需要使用到数据类型的转换

#使用pandas中的to_numeric() 方法method
# 数据类型转换 string ——> float
import pandas as pd
tmp['xxxxx变化'] = pd.to_numeric(tmp['xxxxx变化'].astype(float))

使用pandas进行数据筛选

  1. 在特定列的数据筛选过程中,pandas使用的语法有点巧妙,相对于其他语言来说是十分方便的,这里我们是针对特定列选择大小。

    #使用DataFrame中的loc[]和iloc[]方法选择指定的行和列
    import pandas as pd
    import numpy as np
    from pandas import Series, DataFrame
    data = { 'H':['后','生','仔'],'S':['young','duty','dream'],'Z':[10,11,12]}
    DF = DataFrame(data)
    print(DF)
    # 使用loc或者iloc时,逗号前面代表行操作,逗号后面代表列操作
    #使用loc选择特定的列 
    print(DF.loc[:,['H','S']])
    #使用iloc选择特定的列
    print(DF.iloc[:,[1,2]])
    
  2. 对数据进行部分预处理筛选

    #使用已经转换的数据
    tmp['xxxxx变化'] = pd.to_numeric(tmp['xxxxx变化'].astype(float))
    #选择tmp中"选择列"大于0.2,小于0.3的数据,并选择 tmp中指定列1,tmp中指定列2
    print(tmp[(tmp['选择列']>0.2) & (tmp['选择列']< 0.3)]['tmp中指定列1''tmp中指定列2'])
    #还可以使用这种方式
    print(tmp[tmp['选择列']>0.2][tmp['选择列']< 0.3]['tmp中指定列1''tmp中指定列2'])
    

参考:

Jupyter显示问题

选择特定的列

pandas按照条件筛选数据

    原文作者:后生仔杂谈
    原文地址: https://blog.csdn.net/laixiangwei/article/details/114023830
    本文转自网络文章,转载此文章仅为分享知识,如有侵权,请联系博主进行删除。
点赞