python实现Excel数据的探索和清洗
python实现Excel数据的探索和清洗
数据的探索和清洗
1、读取Excel文件的数据并转换为dataframe
#1.读取Excel文件的数据并转换为dataframe
file="d:/test/Summary/Data_Summary.xlsx"
data_raw=pd.read_excel(file,header=0,index_col=0)
#header设定为0：是为了使第1行的数据成为列的字段名
2、查看数据集的整体状态，了解基本特征列的情况
data_raw.head()
3、删除无效的数据列
remove_col=["序号"]
data_prep0=data_raw.drop(columns=remove_col,axis=1,inplace=None)
data_prep0.head()
4、查看数据集的整体信息，了解缺失值的分布情况
data_prep0.info()
5、检看数据集中缺失值的状态并删除缺失值
data_prep=data_prep0.dropna(subset=["产品"],axis=0)
data_prep.info()
6、检查数据集中重复值的状态并删除重复值
print("数据集中的重复值数量：",np.sum(data_prep.duplicated()))
#如果重复值的数量不为"0",则表示有重复值存在，可使用下列代码删除
#data_prep.drop_duplicates(keep="first",inplace=True)
以上就是Python实现Excel数据的探索和清洗，希望能对大家有所帮助。更多Python学习教程请关注IT培训机构:千锋教育。
相关推荐HOT
更多>>
python中ndarray与list转换的方法
python中ndarray与list转换的方法在python数据类型中，list元素可以任意类型组合，而ndarray元素类型必须相同，但是ndarray可以更方便的对多维...详情>>
2023-11-10 08:51:14
python中OrdereDict如何使用?
python中OrdereDict如何使用?我们在对数据进行处理时，如果能够使它们保存顺序的排序，那么用起来会非常的便利。不过字典本身就是没有顺序的，...详情>>
2023-11-10 07:05:00
python中如何使用scipy.fftpack模块计算快速傅里叶变换?
python中如何使用scipy.fftpack模块计算快速傅里叶变换?在编程中，快速傅里叶变换是工程中非常有价值的一类算法，它可以将时域和频域的信号相互...详情>>
2023-11-10 05:50:23
zip()函数如何在python中遍历多个列表?
zip()函数如何在python中遍历多个列表?下面我们就python中zip的说明、语法、使用注意点进行讲解，然后带来遍历多个列表的实例。1、说明zip()函...详情>>
2023-11-10 05:38:33热门推荐
python concat函数有何用法?
沸python里函数装饰器怎么使用?
热如何实现python中的continue语句?
热python中的冒泡排序是什么?
新python中str函数是什么
如何使用python实现项目进度显示?
python中ndarray与list转换的方法
python复制文件的方法整理
Python中numpy数组如何添加元素
python有几种可视化图形库?
python中xlwings是什么?
python上下文管理器的基本介绍
Python自动化测试基础必备知识点一
python中OrdereDict如何使用?
技术干货
京公网安备 11010802030320号