使用Pandas进行高效数据汇总与分析:透视表的全面指南

Python大数据分析 2024-12-07 11:40:31编程技术
515

在数据分析领域,数据汇总和统计是不可或缺的步骤。Python的pandas库提供了强大的工具来处理这些任务,其中pivot_table函数尤为突出。本文将详细介绍如何使用pandas的pivot_table函数进行数据汇总和分析,帮助读者掌握这一强大工具,提高数据处理效率。无论你是初学者还是经验丰富的数据科学家,本文都将为你提供实用的技巧和示例代码,让你轻松应对各种数据汇总需求。

什么是透视表?

经常做报表的小伙伴对数据透视表应该不陌生,在excel中利用数据透视表可以快速地进行分类汇总,自由组合字段快速计算,而这些只需要拖拉拽就可以实现。

维基百科对透视表(pivot table)解释是:
pivot table is a table  of statistics that summarizes the data of a more extensive table.
透视表是一种汇总了更广泛表数据的统计信息表。

典型的数据格式是扁平的,只包含行和列,不方便总结信息:

使用Pandas进行高效数据汇总与分析:透视表的全面指南

而数据透视表可以快速抽取有用的信息:

使用Pandas进行高效数据汇总与分析:透视表的全面指南

pandas也有透视表?

pandas作为编程领域最强大的数据分析工具之一,自然也有透视表的功能。

在pandas中,透视表操作由pivot_table()函数实现,不要小看只是一个函数,但却可以玩转数据表,解决大麻烦。

pivot_table使用方法:

pandas.pivot_table(*data*, *values=None*, *index=None*, *columns=None*, *aggfunc='mean'*, *fill_value=None*, *margins=False*, *dropna=True*, *margins_name='All'*, *observed=False*)

参数解释:

  • data:dataframe格式数据

  • values:需要汇总计算的列,可多选

  • index:行分组键,一般是用于分组的列名或其他分组键,作为结果DataFrame的行索引

  • columns:列分组键,一般是用于分组的列名或其他分组键,作为结果DataFrame的列索引

  • aggfunc:聚合函数或函数列表,默认为平均值

  • fill_value:设定缺失替换值

  • margins:是否添加行列的总计

  • dropna:默认为True,如果列的所有值都是NaN,将不作为计算列,False时,被保留

  • margins_name:汇总行列的名称,默认为All

  • observed:是否显示观测值

注意,在所有参数中,values、index、columns最为关键,它们分别对应excel透视表中的值、行、列:

使用Pandas进行高效数据汇总与分析:透视表的全面指南

参数aggfunc对应excel透视表中的值汇总方式,但比excel的聚合方式更丰富:

使用Pandas进行高效数据汇总与分析:透视表的全面指南

如何使用pivot_table?

下面拿数据练一练,示例数据表如下:

使用Pandas进行高效数据汇总与分析:透视表的全面指南

该表为用户订单数据,有订单日期、商品类别、价格、利润等维度。

首先导入数据:

data = pd.read_excel("E:\\订单数据.xlsx")
data.head()

接下来使用透视表做分析:

  • 计算每个州销售总额和利润总额

result1 = pd.pivot_table(data,index='洲' , values = ['销售额','利润'] , aggfunc = np.sum)
result1.head()

使用Pandas进行高效数据汇总与分析:透视表的全面指南

  • 计算每个洲每个城市每单平均销售量

result2 = pd.pivot_table(data,index=['洲','城市'],aggfunc=np.mean,values=['数量'])
result2.head(20)

使用Pandas进行高效数据汇总与分析:透视表的全面指南

  • 计算每个洲的总销量和每单平均销量

result3 = pd.pivot_table(data,index=['洲'],aggfunc=[np.sum,np.mean],values=['数量'])
result3.head()

使用Pandas进行高效数据汇总与分析:透视表的全面指南

  • 看每个城市(行)每类商品(列)的总销售量,并汇总计算

result4 = pd.pivot_table(data,index=['城市'],columns=['商品类别'],aggfunc=[np.sum],values=['数量'],margins=True)
result4.head()

使用Pandas进行高效数据汇总与分析:透视表的全面指南

总结

本文介绍了pandas pivot_table函数的使用,其透视表功能基本和excel类似,但pandas的聚合方式更加灵活和多元,处理大数据也更快速,大家有兴趣可探索更高级的用法。

本文通过详细的示例代码,展示了如何使用pandas的pivot_table函数进行数据汇总和分析。从基本的销售总额和利润总额计算,到复杂的多维度数据聚合,pivot_table函数都表现出色。通过本文的学习,读者不仅能够理解透视表的基本概念,还能掌握如何在实际项目中灵活运用这一功能,提高数据处理的效率和准确性。无论是处理小规模数据集还是大规模数据集,pandas的pivot_table都是一个值得信赖的工具。希望本文的内容能为你的数据分析之旅提供有力支持。

Pandas 透视表
THE END
蜜芽
故事不长,也不难讲,四字概括,毫无意义。

相关推荐

Python中常见的数据清洗库:NumPy、Pandas、re、openpyxl 对比详解
数据清洗是数据分析流程中的核心环节,其质量直接影响后续建模和决策的准确性。在Python生态中,NumPy、Pandas、re和openpyxl四大库构成了数据清洗的技术基石。本文ZHANID工具...
2025-08-19 编程技术
499

Python数据透视表pivot_table使用技巧详解
数据透视表是数据分析中的核心工具,能够将复杂数据转化为结构化视图,揭示隐藏的业务规律。在Python中,Pandas库的pivot_table()函数提供了类似Excel的透视表功能,但通过代...
2025-08-06 编程技术
453

Python操作Excel入门:Pandas 与 Openpyxl 使用指南
Python通过Pandas和Openpyxl库构建了强大的Excel自动化处理体系:Pandas擅长结构化数据的高效分析,Openpyxl提供精细化的单元格级控制。本文ZHANID工具网将系统讲解这两个库的...
2025-07-08 编程技术
610

Pandas实现Excel数据透视表的示例代码详解
数据透视表是一种非常强大的工具,它可以帮助我们快速汇总、分析和可视化大量数据。虽然Excel提供了内置的数据透视表功能,但对于需要进行更复杂操作或自动化处理的场景,Pyt...
2025-05-06 编程技术
465

Pandas中统计汇总可视化函数plot()的使用方法详解
在数据分析和可视化领域,Pandas库是一个不可或缺的工具。Pandas提供了许多强大的数据处理和分析功能,其中plot()函数就是其可视化功能的一个重要组成部分。本文将深入解析Pa...
2025-05-06 编程技术
379

Pandas 数据排序与分组排名:sort_values 和 rank 的实现方法
在数据分析和处理过程中,数据排序和排名是非常常见的操作。Pandas作为Python生态系统中最受欢迎的数据分析库之一,提供了强大的数据排序和排名功能。本文将详细介绍如何使用...
2025-01-15 编程技术
652