469-2-1、func(必须)：要应用于DataFrame的函数，可以是一个用户定义的函数或numpy的ufunc(通用函数)。

469-2-2、axis(可选，默认值为0)：{0 或 'index', 1 或 'columns'}，确定函数应用方向，如果axis=0或'index'，函数应用于每一列；如果axis=1或'columns'，函数应用于每一行。

469-2-3、raw(可选，默认值为False)：布尔值，如果为True，传递给函数的将是ndarray对象而不是Series对象，可能会提高性能。

469-2-4、result_type(可选，默认值为None)：{‘expand’, ‘reduce’, ‘broadcast’, None}，确定结果的形状：

expand：结果将被扩展成一个DataFrame。reduce：尝试减少结果的维度，例如从DataFrame到Series。broadcast：保持与输入相同的形状，将结果广播回原始DataFrame。

469-2-5、args(可选，默认值为())：元组，传递给func的其他位置参数。

469-2-6、by_row(可选，默认值为'compat')：字符串，适用于DataFrame子类的兼容性参数，目前在Pandas中并未广泛使用。

469-2-7、engine(可选，默认值为'python')：{‘cython’, ‘numba’, 'python'}，指定计算引擎，'cython'和'numba' 可以用于加速计算；'python'使用默认的Python计算。

469-2-8、engine_kwargs(可选，默认值为None)：字典，传递给指定计算引擎的其他关键字参数。

469-2-9、**kwargs(可选)：传递给func的其他关键字参数。

469-3、功能

        将给定的函数应用于DataFrame的行或列上，可以按照行或列进行迭代，并对每一行或列应用指定的函数，该方法非常适合数据转换和清洗工作。

469-4、返回值

        取决于func的返回值和axis参数，如果func应用于列(axis=0)，返回值将是一个Series对象；如果应用于行(axis=1)，返回值可能是一个DataFrame或Series对象。

469-5、说明

        使用场景：

469-5-1、数据转换和清洗：在数据科学和机器学习项目中，经常需要对数据进行转换或清洗，例如处理缺失值、标准化数据或改变数据格式，该方法可以方便地对每一行或每一列应用相同的转换函数。

469-5-2、特征工程：在构建机器学习模型时，特征工程是一个关键步骤，该方法可以用于生成新的特征或转换现有的特征。

469-5-3、数据聚合和汇总：在需要对数据进行聚合操作时，该方法可以用于对每一行或每一列的值进行计算。

469-5-4、条件逻辑操作：可以根据条件对数据进行过滤或转换操作。

469-5-5、复杂计算：在一些复杂的场景下，直接使用内置函数可能不够灵活或高效，此时可以使用该方法编写更为复杂的计算逻辑。

469-5-6、合并和连接操作：当需要在DataFrame内部进行多列的合并操作时，该方法也是一个常用工具。

469-6、用法

469-6-1、数据准备

无

469-6-2、代码示例

# 469、pandas.DataFrame.apply方法

# 469-1、数据转换和清洗

import pandas as pd

import numpy as np

data = {

'A': [1, 2, np.nan, 4],

'B': [5, np.nan, np.nan, 8],

'C': [9, 10, 11, 12]

}

df = pd.DataFrame(data)

print("Original DataFrame:")

print(df)

# 填充列中缺失值为列的均值

df = df.apply(lambda x: x.fillna(x.mean()), axis=0)

print("\nDataFrame after filling missing values with mean:")

print(df)

# 469-2、特征工程

import pandas as pd

data = {'text': ['Python is great', 'Pandas makes things easy', 'Machine learning is fun']}

df = pd.DataFrame(data)

def extract_keywords(text):

# 简单的关键词提取函数，实际使用可以考虑更复杂的方法

return text.split()

df['keywords'] = df['text'].apply(extract_keywords)

print("\nDataFrame with extracted keywords:")

print(df)

data = {'date': pd.to_datetime(['2021-01-01', '2022-05-03', '2023-07-19'])}

df = pd.DataFrame(data)

df['year'] = df['date'].apply(lambda x: x.year)

df['month'] = df['date'].apply(lambda x: x.month)

df['day'] = df['date'].apply(lambda x: x.day)

print("\nDataFrame with extracted year, month, and day:")

print(df)

# 469-3、数据聚合和汇总

import pandas as pd

data = {

'price': [100, 250, 150],

'quantity': [1, 2, 3]

}

df = pd.DataFrame(data)

df['total_spent'] = df.apply(lambda x: x['price'] * x['quantity'], axis=1)

print("\nDataFrame with total spent:")

print(df)

# 469-4、条件逻辑操作

import pandas as pd

data = {

'price': [70, 150, 90]

}

df = pd.DataFrame(data)

df['high_value'] = df.apply(lambda x: 'Yes' if x['price'] > 100 else 'No', axis=1)

print("\nDataFrame with high_value column based on price:")

print(df)

# 469-5、复杂计算

import pandas as pd

data = {

'A': [1, 2, 3],

'B': [4, 5, 6],

'C': [7, 8, 9]

}

df = pd.DataFrame(data)

def custom_metric(row):

return (row['A'] * 2 + row['B'] ** 2) / row['C']

df['metric'] = df.apply(custom_metric, axis=1)

print("\nDataFrame with custom metric:")

print(df)

# 469-6、合并和连接操作

import pandas as pd

data = {

'first_name': ['John', 'Jane', 'Jim'],

'last_name': ['Doe', 'Doe', 'Beam']

}

df = pd.DataFrame(data)

df['full_name'] = df.apply(lambda x: x['first_name'] + ' ' + x['last_name'], axis=1)

print("\nDataFrame with full_name:")

print(df)

469-6-3、结果输出

# 469、pandas.DataFrame.apply方法

# 469-1、数据转换和清洗

# Original DataFrame:

# A B C

# 0 1.0 5.0 9

# 1 2.0 NaN 10

# 2 NaN NaN 11

# 3 4.0 8.0 12

#

# DataFrame after filling missing values with mean:

# A B C

# 0 1.000000 5.0 9

# 1 2.000000 6.5 10

# 2 2.333333 6.5 11

# 3 4.000000 8.0 12

# 469-2、特征工程

# DataFrame with extracted keywords:

# text keywords

# 0 Python is great [Python, is, great]

# 1 Pandas makes things easy [Pandas, makes, things, easy]

# 2 Machine learning is fun [Machine, learning, is, fun]

#

# DataFrame with extracted year, month, and day:

# date year month day

# 0 2021-01-01 2021 1 1

# 1 2022-05-03 2022 5 3

# 2 2023-07-19 2023 7 19

# 469-3、数据聚合和汇总

# DataFrame with total spent:

# price quantity total_spent

# 0 100 1 100

# 1 250 2 500

# 2 150 3 450

# 469-4、条件逻辑操作

# DataFrame with high_value column based on price:

# price high_value

# 0 70 No

# 1 150 Yes

# 2 90 No

# 469-5、复杂计算

# DataFrame with custom metric:

# A B C metric

# 0 1 4 7 2.571429

# 1 2 5 8 3.625000

# 2 3 6 9 4.666667

# 469-6、合并和连接操作

# DataFrame with full_name:

# first_name last_name full_name

# 0 John Doe John Doe

# 1 Jane Doe Jane Doe

# 2 Jim Beam Jim Beam

470、pandas.DataFrame.applymap方法

470-1、语法

# 470、pandas.DataFrame.applymap方法

pandas.DataFrame.applymap(func, na_action=None, **kwargs)

Apply a function to a Dataframe elementwise.

Deprecated since version 2.1.0: DataFrame.applymap has been deprecated. Use DataFrame.map instead.

This method applies a function that accepts and returns a scalar to every element of a DataFrame.

Parameters:

func

callable

Python function, returns a single value from a single value.

na_action

{None, ‘ignore’}, default None

If ‘ignore’, propagate NaN values, without passing them to func.

**kwargs

Additional keyword arguments to pass as keywords arguments to func.

Returns:

DataFrame

Transformed DataFrame.

470-2、参数

470-2-1、func(必须)：对DataFrame中的每一个元素应用的函数。

470-2-2、na_action(可选，默认值为None)：指定如何处理NaN(缺失值)，默认值None表示NaN也会被传递到函数func中进行处理；'ignore'表示忽略NaN值，不对它们进行任何处理，即这些值将保持为NaN。

470-2-3、**kwargs(可选)：传递给映射函数的其他参数。

470-3、功能

        将指定的函数应用于DataFrame中的每一个元素，它是逐元素操作的，因此适用于需要对DataFrame中每个元素进行相同处理的场景。

470-4、返回值

        返回一个新的DataFrame，其结构(行和列的标签)与原始DataFrame相同，但每个元素都经过了传入函数的处理。

470-5、说明

        使用场景：

470-5-1、数据清洗和预处理

470-5-1-1、批量转换数据格式：当你需要将DataFrame中的所有数据元素转换为某种格式(如将所有字符串转为小写，或将所有数字转为特定的单位)时，applymap是一个理想的选择。

470-5-1-2、数据修复：例如，将DataFrame中的所有None或空字符串转换为NaN，或者将数据中的特定字符(如$)去除。

470-5-2、特征工程

470-5-2-1、统一特征处理：在机器学习的特征工程中，常常需要对整个数据集的每个元素进行相同的转换操作，比如对每个元素进行标准化、归一化或取对数等操作。

470-5-2-2、特征衍生：可以使用applymap在数据的每个元素上执行数学运算或逻辑操作，从而生成新的特征。

470-5-3、字符串操作

470-5-3​​​​​​​-1、批量处理字符串：如果DataFrame中的每个元素都是字符串，可以使用applymap来执行各种操作，如去除空格、替换字符、格式转换等。

470-5-4、数值计算

470-5-4-1、数学变换：如果需要对数据中的每个数值元素进行同样的数学变换，比如乘法、指数计算、对数计算等，applymap可以帮助你快速实现。

470-5-4-2、异常值处理：可以使用applymap识别和处理异常值，比如将所有超过某个阈值的元素替换为NaN或其他值。

470-5-5、条件逻辑

470-5-5​​​​​​​-1、条件转换：你可以使用applymap根据某些条件对DataFrame中的每个元素进行转换，比如将所有负数替换为0，或者根据某些条件将元素分组。

470-5-6、数据格式化

470-5-6-1、输出格式调整：当需要对DataFrame中的数值进行格式化，比如将所有数值显示为两位小数，或者将布尔值转换为字符串"True"/"False"时，applymap能够有效实现这一点。

470-5-7、数据可视化前的准备

470-5-7-1、格式调整：在将DataFrame数据用于可视化之前，可能需要对数据进行格式化或转换，使其更易于解读或符合图表的要求，这时applymap也非常有用。

470-6、用法

470-6-1、数据准备

无

470-6-2、代码示例

# 470、pandas.DataFrame.applymap方法

# 470-1、数据清洗和预处理

# 470-1-1、批量转换数据格式

import pandas as pd

df = pd.DataFrame({

'Name': ['Myelsa', 'Bryce', 'Jimmy'],

'City': ['New York', 'Los Angeles', 'Chicago']

})

# 将所有字符串转换为小写

df = df.applymap(lambda x: x.lower() if isinstance(x, str) else x)

print(df)

# 470-1-2、数据修复

import pandas as pd

import numpy as np

df = pd.DataFrame({

'A': [1, None, 3],

'B': ['x', None, 'z']

})

# 将None替换为NaN

df = df.applymap(lambda x: np.nan if x is None else x)

print(df)

# 470-2、特征工程

import pandas as pd

import numpy as np

df = pd.DataFrame({

'Feature1': [1, 10, 100],

'Feature2': [0.5, 5, 50]

})

# 对每个元素取对数

df = df.applymap(lambda x: np.log(x))

print(df)

# 470-3、字符串操作

import pandas as pd

df = pd.DataFrame({

'A': [' hello', 'world ', ' pandas '],

'B': [' data ', 'science ', ' rocks! ']

})

# 去除字符串两边的空格

df = df.applymap(lambda x: x.strip() if isinstance(x, str) else x)

print(df)

# 470-4、数值计算

import pandas as pd

df = pd.DataFrame({

'A': [1, 2, 3],

'B': [4, 5, 6]

})

# 每个元素乘以10

df = df.applymap(lambda x: x * 10)

print(df)

# 470-5、条件逻辑

import pandas as pd

df = pd.DataFrame({

'A': [1, -2, 3],

'B': [-4, 5, -6]

})

# 将负数替换为0

df = df.applymap(lambda x: 0 if x < 0 else x)

print(df)

# 470-6、数据格式化

import pandas as pd

df = pd.DataFrame({

'A': [1.2345, 2.3456, 3.4567],

'B': [4.5678, 5.6789, 6.7890]

})

# 将数值格式化为两位小数

df = df.applymap(lambda x: f"{x:.2f}")

print(df)

# 470-7、数据可视化前的准备

import pandas as pd

df = pd.DataFrame({

'A': [True, False, True],

'B': [False, True, False]

})

# 将布尔值转换为字符串

df = df.applymap(lambda x: "True" if x else "False")

print(df)

470-6-3、结果输出

# 470、pandas.DataFrame.applymap方法

# 470-1、数据清洗和预处理

# 470-1-1、批量转换数据格式

# Name City

# 0 myelsa new york

# 1 bryce los angeles

# 2 jimmy chicago

# 470-1-2、数据修复

# A B

# 0 1.0 x

# 1 NaN NaN

# 2 3.0 z

# 470-2、特征工程

# Feature1 Feature2

# 0 0.000000 -0.693147

# 1 2.302585 1.609438

# 2 4.605170 3.912023

# 470-3、字符串操作

# A B

# 0 hello data

# 1 world science

# 2 pandas rocks!

# 470-4、数值计算

# A B

# 0 10 40

# 1 20 50

# 2 30 60

# 470-5、条件逻辑

# A B

# 0 1 0

# 1 0 5

# 2 3 0

# 470-6、数据格式化

# A B

# 0 1.23 4.57

# 1 2.35 5.68

# 2 3.46 6.79

# 470-7、数据可视化前的准备

# A B

# 0 True False

# 1 False True

# 2 True False

二、推荐阅读

1、Python筑基之旅

2、Python函数之旅

3、Python算法之旅

4、Python魔法之旅

5、博客个人主页