glob.glob(‘data/*.xls’)：使用 glob 模块查找 data 目录下的所有 .xls 文件，返回一个文件路径的列表。pd.read_excel(file, engine=‘xlrd’)：使用 pandas 的 read_excel 函数读取每个 Excel 文件，这里指定 xlrd 引擎来处理 .xls 文件。pd.concat(df_list, ignore_index=True)：将所有读取的 DataFrame 合并为一个大的 DataFrame，ignore_index=True 表示忽略原来的行索引，重新生成连续的索引。

输出示例

假设你有三个 Excel 文件，每个文件的内容类似于：

File 1:

Name Age City

0 Alice 25 New York

File 2:

Name Age City

0 Bob 30 Los Angeles

File 3:

Name Age City

0 Charlie 35 Chicago

合并后的 DataFrame 输出如下：

Name Age City

0 Alice 25 New York

1 Bob 30 Los Angeles

2 Charlie 35 Chicago

7.3 实际应用场景

在项目中，你可以使用这个方法来合并多个 Excel 文件的数据，例如汇总多个部门的数据，或者处理分月份、分季度的财务报表。

八、数据清洗与缺失值处理

8.1 场景概述

在数据分析中，数据通常不完美，可能包含缺失值或异常值。你需要掌握如何清洗这些数据，以确保数据质量。

8.2 处理缺失数据

缺失值 是指在数据集中某些字段没有数据，这是常见的问题。我们可以选择删除包含缺失值的行，或者用其他值来填补缺失值。

代码示例：填充和删除缺失值

# 示例数据，假设从 Excel 读取的 DataFrame

data = {

'Name': ['Alice', 'Bob', 'Charlie', None],

'Age': [25, None, 35, 30],

'City': ['New York', 'Los Angeles', None, 'Chicago']

}

df = pd.DataFrame(data)

# 查看原始数据

print("原始数据:\n", df)

# 填充缺失值

df_filled = df.fillna({ 'Name': '未知', 'Age': df['Age'].mean(), 'City': '未知'})

print("\n填充缺失值后的数据:\n", df_filled)

# 删除包含缺失值的行

df_dropped = df.dropna()

print("\n删除缺失值后的数据:\n", df_dropped)

详细解释

填充缺失值：

df.fillna({‘Name’: ‘未知’, ‘Age’: df[‘Age’].mean(), ‘City’: ‘未知’})：使用字典为不同列指定填充值。Name 列的缺失值用 '未知' 填充，Age 列的缺失值用平均值填充，City 列的缺失值用 '未知' 填充。 删除包含缺失值的行：

df.dropna()：删除包含任何缺失值的行，返回一个新的 DataFrame。

输出示例

原始数据：

Name Age City

0 Alice 25.0 New York

1 Bob NaN Los Angeles

2 Charlie 35.0 None

3 None 30.0 Chicago

填充缺失值后的数据：

Name Age City

0 Alice 25.0 New York

1 Bob 30.0 Los Angeles

2 Charlie 35.0 未知

3 未知 30.0 Chicago

删除缺失值后的数据：

Name Age City

0 Alice 25.0 New York

9.3 实际应用场景

在项目中，数据清洗是必不可少的一步。你可以使用这些方法来处理数据集中的缺失值，确保数据完整性和一致性。

十、数据筛选与条件过滤

10.1 场景概述

有时你需要从大数据集中筛选出符合特定条件的数据，比如筛选出所有年龄大于 30 岁的人。

10.2 代码示例：筛选数据

# 示例数据

data = {

'Name': ['Alice', 'Bob', 'Charlie', 'David'],

'Age': [25, 30, 35, 28],

'City': ['New York', 'Los Angeles', 'Chicago', 'San Francisco']

}

df = pd.DataFrame(data)

# 筛选年龄大于 30 岁的数据

filtered_df = df[df['Age'] > 30]

print("年龄大于 30 岁的数据:\n", filtered_df)

详细解释

df[df[‘Age’] > 30]：这是 pandas 中常见的条件筛选方法。它会返回一个新的 DataFrame，其中只包含满足条件（Age > 30）的行。

输出示例

Name Age City

2 Charlie 35 Chicago

10.3 实际应用场景

在项目中，你可以使用这种条件筛选方法来对数据进行初步分析，或者提取出特定子集的数据用于进一步处理。

十一、高效的数据操作与分析

11.1 数据分组与聚合

数据分组和聚合是数据分析中非常常见的操作，它可以帮助你从大数据集中提取总结性信息。

代码示例：按城市分组并计算平均年龄

# 示例数据

data = {

'Name': ['Alice', 'Bob', 'Charlie', 'David', 'Eva'],

'Age': [25, 30, 35, 28, 40],

'City': ['New York', 'Los Angeles', 'Chicago', 'New York', 'Chicago']

}

df = pd.DataFrame(data)

# 按城市分组并计算平均年龄

grouped_df = df.groupby('City')['Age'].mean()

print("按城市分组后的平均年龄:\n", grouped_df)

详细解释

df.groupby(‘City’)[‘Age’].mean()：按 City 列分组，然后计算每个组中 Age 列的平均值。groupby 是 pandas 中的一个强大函数，常用于分组统计。

输出示例

City

Chicago 37.5

Los Angeles 30.0

New York 26.5

Name: Age, dtype: float64

11.2 数据透视表（Pivot Table）

数据透视表是一种将数据重新排列为易于分析的格式的工具，在数据汇总和分析中非常有用。

代码示例：创建数据透视表

# 示例数据

data = {

'Name': ['Alice', 'Bob', 'Charlie', 'David', 'Eva'],

'Age': [25, 30, 35, 28, 40],

'City': ['New York', 'Los Angeles', 'Chicago', 'New York', 'Chicago'],

'Gender': ['Female', 'Male', 'Male', 'Male', 'Female']

}

df = pd.DataFrame(data)

# 创建数据透视表，按城市和性别汇总平均年龄

pivot_table = pd.pivot_table(df, values='Age', index='City', columns='Gender', aggfunc='mean')code>

print("数据透视表:\n", pivot_table)

详细解释