接着上文继续学习 pandas 的相关语法

简单的 pandas 实例

1
2
3
4
5
6
7
8
import pandas as pd

# 创建一个简单的 DataFrame
data = {'Name': ['Google', 'Runoob', 'Taobao'], 'Age': [25, 30, 35]}
df = pd.DataFrame(data)

# 查看 DataFrame
print(df)

可以使用 pd.Series () 构造函数创建一个 Series 对象,传递一个数据数组(可以是列表、NumPy 数组等)和一个可选的索引数组。

1
pandas.Series(data=None, index=None, dtype=None, name=None, copy=False, fastpath=False)
  • data:Series 的数据部分,可以是列表、数组、字典、标量值等。如果不提供此参数,则创建一个空的 Series。
  • index:Series 的索引部分,用于对数据进行标记。可以是列表、数组、索引对象等。如果不提供此参数,则创建一个默认的整数索引。
  • dtype:指定 Series 的数据类型。可以是 NumPy 的数据类型,例如 np.int64、np.float64 等。如果不提供此参数,则根据数据自动推断数据类型。
  • name:Series 的名称,用于标识 Series 对象。如果提供了此参数,则创建的 Series 对象将具有指定的名称。
  • copy:是否复制数据。默认为 False,表示不复制数据。如果设置为 True,则复制输入的数据。
  • fastpath:是否启用快速路径。默认为 False。启用快速路径可能会在某些情况下提高性能。
1
2
3
4
5
6
7
8
9
10
11
12
13
series = pd.Series([1, 2, 3, 4], name="A")
print(series)

custom_index = [1, 2, 3, 4]
series_with_index = pd.Series([1, 2, 3, 4], index=custom_index, name="A")
print(series_with_index)

myvar = pd.Series(["Google","Runoob","Wiki"],index=['x','y','z'])
print(myvar['x'])

sites = {1:"Google",2:"Runoob",3:"Wiki"}
myvar = pd.Series(sites)
print(myvar)

下面是 Series 常用的方法:

方法名称功能描述
index获取 Series 的索引
values获取 Series 的数据部分(返回 NumPy 数组)
head(n)返回 Series 的前 n 行(默认为 5)
tail(n)返回 Series 的后 n 行(默认为 5)
dtype返回 Series 中数据的类型
shape返回 Series 的形状(行数)
describe()返回 Series 的统计描述(如均值、标准差、最小值等)
isnull()返回一个布尔 Series,表示每个元素是否为 NaN
notnull()返回一个布尔 Series,表示每个元素是否不是 NaN
unique()返回 Series 中的唯一值(去重)
value_counts()返回 Series 中每个唯一值的出现次数
map(func)将指定函数应用于 Series 中的每个元素
apply(func)将指定函数应用于 Series 中的每个元素,常用于自定义操作
astype(dtype)将 Series 转换为指定的类型
sort_values()对 Series 中的元素进行排序(按值排序)
sort_index()对 Series 的索引进行排序
dropna()删除 Series 中的缺失值(NaN)
fillna(value)填充 Series 中的缺失值(NaN)
replace(to_replace, value)替换 Series 中指定的值
cumsum()返回 Series 的累计求和
cumprod()返回 Series 的累计乘积
shift(periods)将 Series 中的元素按指定的步数进行位移
rank()返回 Series 中元素的排名
corr(other)计算 Series 与另一个 Series 的相关性(皮尔逊相关系数)
cov(other)计算 Series 与另一个 Series 的协方差
to_list()将 Series 转换为 Python 列表
to_frame()将 Series 转换为 DataFrame
iloc[]通过位置索引来选择数据
loc[]通过标签索引来选择数据
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
import pandas as pd

# 创建 Series
data = [1, 2, 3, 4, 5, 6]
index = ['a', 'b', 'c', 'd', 'e', 'f']
s = pd.Series(data, index=index)

# 查看基本信息
print("索引:", s.index)
print("数据:", s.values)
print("数据类型:", s.dtype)
print("前两行数据:", s.head(2))

# 使用 map 函数将每个元素加倍
s_doubled = s.map(lambda x: x * 2)
print("元素加倍后:", s_doubled)

# 计算累计和
cumsum_s = s.cumsum()
print("累计求和:", cumsum_s)

# 查找缺失值(这里没有缺失值,所以返回的全是 False)
print("缺失值判断:", s.isnull())

# 排序
sorted_s = s.sort_values()
print("排序后的 Series:", sorted_s)

# 使用列表创建 Series
s = pd.Series([1, 2, 3, 4])

# 使用 NumPy 数组创建 Series
s = pd.Series(np.array([1, 2, 3, 4]))

# 使用字典创建 Series
s = pd.Series({'a': 1, 'b': 2, 'c': 3, 'd': 4})

# 算术运算
result = series * 2 # 所有元素乘以2

# 过滤
filtered_series = series[series > 2] # 选择大于2的元素

# 数学函数
import numpy as np
result = np.sqrt(series) # 对每个元素取平方根

print(s.sum()) # 输出 Series 的总和
print(s.mean()) # 输出 Series 的平均值
print(s.max()) # 输出 Series 的最大值
print(s.min()) # 输出 Series 的最小值
print(s.std()) # 输出 Series 的标准差

# 获取索引
index = s.index

# 获取值数组
values = s.values

# 获取描述统计信息
stats = s.describe()

# 获取最大值和最小值的索引
max_index = s.idxmax()
min_index = s.idxmin()

# 其他属性和方法
print(s.dtype) # 数据类型
print(s.shape) # 形状
print(s.size) # 元素个数
print(s.head()) # 前几个元素,默认是前 5 个
print(s.tail()) # 后几个元素,默认是后 5 个
print(s.sum()) # 求和
print(s.mean()) # 平均值
print(s.std()) # 标准差
print(s.min()) # 最小值
print(s.max()) # 最大值

# DataFrame

DataFrame 的构造方法

1
pandas.DataFrame(data=None, index=None, columns=None, dtype=None, copy=False)
  • data:DataFrame 的数据部分,可以是字典、二维数组、Series、DataFrame 或其他可转换为 DataFrame 的对象。如果不提供此参数,则创建一个空的 DataFrame。
  • index:DataFrame 的行索引,用于标识每行数据。可以是列表、数组、索引对象等。如果不提供此参数,则创建一个默认的整数索引。
  • columns:DataFrame 的列索引,用于标识每列数据。可以是列表、数组、索引对象等。如果不提供此参数,则创建一个默认的整数索引。
  • dtype:指定 DataFrame 的数据类型。可以是 NumPy 的数据类型,例如 np.int64、np.float64 等。如果不提供此参数,则根据数据自动推断数据类型。
  • copy:是否复制数据。默认为 False,表示不复制数据。如果设置为 True,则复制输入的数据。
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
import pandas as pd

data = {'Site':['Google', 'Runoob', 'Wiki'], 'Age':[10, 12, 13]}
df = pd.DataFrame(data)
print (df)import pandas as pd
data = [['Google', 10], ['Runoob', 12], ['Wiki', 13]]
# 创建DataFrame
df = pd.DataFrame(data, columns=['Site', 'Age'])
# 使用astype方法设置每列的数据类型
df['Site'] = df['Site'].astype(str)
df['Age'] = df['Age'].astype(float)
print(df)

data = {'Site':['Google', 'Runoob', 'Wiki'], 'Age':[10, 12, 13]}
df = pd.DataFrame(data)
print (df)

# 创建一个包含网站和年龄的二维ndarray
ndarray_data = np.array([
['Google', 10],
['Runoob', 12],
['Wiki', 13]
])
# 使用DataFrame构造函数创建数据帧
df = pd.DataFrame(ndarray_data, columns=['Site', 'Age'])
# 打印数据帧
print(df)
data = [{'a': 1, 'b': 2},{'a': 5, 'b': 10, 'c': 20}]
df = pd.DataFrame(data)
print (df)


data = {
"calories": [420, 380, 390],
"duration": [50, 40, 45]
}
# 数据载入到 DataFrame 对象
df = pd.DataFrame(data)
# 返回第一行和第二行
print(df.loc[[0, 1]])

DataFrame 的常用操作和方法如下表所示:

方法名称功能描述
head(n)返回 DataFrame 的前 n 行数据(默认前 5 行)
tail(n)返回 DataFrame 的后 n 行数据(默认后 5 行)
info()显示 DataFrame 的简要信息,包括列名、数据类型、非空值数量等
describe()返回 DataFrame 数值列的统计信息,如均值、标准差、最小值等
shape返回 DataFrame 的行数和列数(行数,列数)
columns返回 DataFrame 的所有列名
index返回 DataFrame 的行索引
dtypes返回每一列的数值数据类型
sort_values(by)按照指定列排序
sort_index()按行索引排序
dropna()删除含有缺失值(NaN)的行或列
fillna(value)用指定的值填充缺失值
isnull()判断缺失值,返回一个布尔值 DataFrame
notnull()判断非缺失值,返回一个布尔值 DataFrame
loc[]按标签索引选择数据
iloc[]按位置索引选择数据
at[]访问 DataFrame 中单个元素(比 loc [] 更高效)
iat[]访问 DataFrame 中单个元素(比 iloc [] 更高效)
apply(func)对 DataFrame 或 Series 应用一个函数
applymap(func)对 DataFrame 的每个元素应用函数(仅对 DataFrame)
groupby(by)分组操作,用于按某一列分组进行汇总统计
pivot_table()创建透视表
merge()合并多个 DataFrame(类似 SQL 的 JOIN 操作)
concat()按行或按列连接多个 DataFrame
to_csv()将 DataFrame 导出为 CSV 文件
to_excel()将 DataFrame 导出为 Excel 文件
to_json()将 DataFrame 导出为 JSON 格式
to_sql()将 DataFrame 导出为 SQL 数据库
query()使用 SQL 风格的语法查询 DataFrame
duplicated()返回布尔值 DataFrame,指示每行是否是重复的
drop_duplicates()删除重复的行
set_index()设置 DataFrame 的索引
reset_index()重置 DataFrame 的索引
transpose()转置 DataFrame(行列交换)
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
import pandas as pd

# 创建 DataFrame
data = {
'Name': ['Alice', 'Bob', 'Charlie', 'David'],
'Age': [25, 30, 35, 40],
'City': ['New York', 'Los Angeles', 'Chicago', 'Houston']
}
df = pd.DataFrame(data)

# 查看前两行数据
print(df.head(2))

# 查看 DataFrame 的基本信息
print(df.info())

# 获取描述统计信息
print(df.describe())

# 按年龄排序
df_sorted = df.sort_values(by='Age', ascending=False)
print(df_sorted)

# 选择指定列
print(df[['Name', 'Age']])

# 按索引选择行
print(df.iloc[1:3]) # 选择第二到第三行(按位置)

# 按标签选择行
print(df.loc[1:2]) # 选择第二到第三行(按标签)

# 计算分组统计(按城市分组,计算平均年龄)
print(df.groupby('City')['Age'].mean())

# 处理缺失值(填充缺失值)
df['Age'] = df['Age'].fillna(30)

# 导出为 CSV 文件
df.to_csv('output.csv', index=False)

创建 DataFrame

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
import pandas as pd

# 通过字典创建 DataFrame
df = pd.DataFrame({'Column1': [1, 2, 3], 'Column2': [4, 5, 6]})
df = pd.DataFrame([[1, 2, 3], [4, 5, 6], [7, 8, 9]],
columns=['Column1', 'Column2', 'Column3'])
# 通过 NumPy 数组创建 DataFrame
df = pd.DataFrame(np.array([[1, 2, 3], [4, 5, 6], [7, 8, 9]]))
s1 = pd.Series(['Alice', 'Bob', 'Charlie'])
s2 = pd.Series([25, 30, 35])
s3 = pd.Series(['New York', 'Los Angeles', 'Chicago'])
df = pd.DataFrame({'Name': s1, 'Age': s2, 'City': s3})

# DataFrame 的属性和方法
print(df.shape) # 形状
print(df.columns) # 列名
print(df.index) # 索引
print(df.head()) # 前几行数据,默认是前 5 行
print(df.tail()) # 后几行数据,默认是后 5 行
print(df.info()) # 数据信息
print(df.describe())# 描述统计信息
print(df.mean()) # 求平均值
print(df.sum()) # 求和
# 通过列名访问
print(df['Column1'])
# 通过属性访问
print(df.Name)
# 通过 .loc[] 访问
print(df.loc[:, 'Column1'])
# 通过 .iloc[] 访问
print(df.iloc[:, 0]) # 假设 'Column1' 是第一列
# 访问单个元素
print(df['Name'][0])
# 通过行标签访问
print(df.loc[0, 'Column1'])

# 使用 loc 为特定索引添加新行
df.loc[3] = [13, 14, 15, 16]
# 使用 append 添加新行到末尾
new_row = {'Column1': 13, 'Column2': 14, 'NewColumn': 16}
df = df.append(new_row, ignore_index=True)
# 使用concat添加新行
new_row = pd.DataFrame([[4, 7]], columns=['A', 'B']) # 创建一个只包含新行的DataFrame
df = pd.concat([df, new_row], ignore_index=True) # 将新行添加到原始DataFrame
df_dropped = df.drop('Column1', axis=1)
df_dropped = df.drop(0) # 删除索引为 0 的行
df.describe()
df['Column1'].sum()
df.mean()
df_reset = df.reset_index(drop=True)
df_set = df.set_index('Column1')
df[df['Column1'] > 2]
df.dtypes
df['Column1'] = df['Column1'].astype('float64')
# 纵向合并
pd.concat([df1, df2], ignore_index=True)
# 横向合并
pd.merge(df1, df2, on='Column1')
# 索引和切片
print(df[['Name', 'Age']]) # 提取多列
print(df[1:3]) # 切片行
print(df.loc[:, 'Name']) # 提取单列
print(df.loc[1:2, ['Name', 'Age']]) # 标签索引提取指定行列
print(df.iloc[:, 1:]) # 位置索引提取指定列

# CSV

方法名称功能描述常用参数
pd.read_csv()从 CSV 文件读取数据并加载为 DataFramefilepath_or_buffer (路径或文件对象),sep (分隔符),header (行标题),names (自定义列名),dtype (数据类型),index_col (索引列)
DataFrame.to_csv()将 DataFrame 写入到 CSV 文件path_or_buffer (目标路径或文件对象),sep (分隔符),index (是否写入索引),columns (指定列),header (是否写入列名),mode (写入模式)

read_csv 常用参数:

参数说明默认值
filepath_or_bufferCSV 文件的路径或文件对象(支持 URL、文件路径、文件对象等)必需参数
sep定义字段分隔符,默认是逗号(,),可以改为其他字符,如制表符(\t)','
header指定行号作为列标题,默认为 0(表示第一行),或者设置为 None 没有标题0
names自定义列名,传入列名列表None
index_col用作行索引的列的列号或列名None
usecols读取指定的列,可以是列的名称或列的索引None
dtype强制将列转换为指定的数据类型None
skiprows跳过文件开头的指定行数,或者传入一个行号的列表None
nrows读取前 N 行数据None
na_values指定哪些值应视为缺失值(NaN)None
skipfooter跳过文件结尾的指定行数0
encoding文件的编码格式(如 utf-8,latin1 等)None

to_csv 常用参数

参数说明默认值
path_or_bufferCSV 文件的路径或文件对象(支持文件路径、文件对象)必需参数
sep定义字段分隔符,默认是逗号(,),可以改为其他字符,如制表符(\t)','
index是否写入行索引,默认 True 表示写入索引True
columns指定写入的列,可以是列的名称列表None
header是否写入列名,默认 True 表示写入列名,设置为 False 表示不写列名True
mode写入文件的模式,默认是 w(写模式),可以设置为 a(追加模式)'w'
encoding文件的编码格式,如 utf-8,latin1 等None
line_terminator定义行结束符,默认为 \nNone
quoting设置如何对文件中的数据进行引号处理(0-3,具体引用方式可查文档)None
quotechar设置用于引用的字符,默认为双引号 "'"'
date_format自定义日期格式,如果列包含日期数据,则可以使用此参数指定日期格式None
doublequote如果为 True,则在写入时会将包含引号的文本使用双引号括起来True

# Excel

1
pandas.read_excel(io, sheet_name=0, *, header=0, names=None, index_col=None, usecols=None, dtype=None, engine=None, converters=None, true_values=None, false_values=None, skiprows=None, nrows=None, na_values=None, keep_default_na=True, na_filter=True, verbose=False, parse_dates=False, date_parser=<no_default>, date_format=None, thousands=None, decimal='.', comment=None, skipfooter=0, storage_options=None, dtype_backend=<no_default>, engine_kwargs=None)
参数说明默认值
io这是必需的参数,指定了要读取的 Excel 文件的路径或文件对象。必需参数
sheet_name指定要读取的工作表名称或索引。默认为 0,即第一个工作表。0
header指定用作列名的行。默认为 0,即第一行。0
names用于指定列名的列表。如果提供,将覆盖文件中的列名。None
index_col指定用作行索引的列。可以是列的名称或数字。None
usecols指定要读取的列。可以是列名的列表或列索引的列表。None
dtype指定列的数据类型。可以是字典格式,键为列名,值为数据类型。None
engine指定解析引擎。默认为 None,pandas 会自动选择。None
converters用于转换数据的函数字典。None
true_values指定应该被视为布尔值 True 的值。None
false_values指定应该被视为布尔值 False 的值。None
skiprows指定要跳过的行数或要跳过的行的列表。None
nrows指定要读取的行数。None
na_values指定应该被视为缺失值的值。None
keep_default_na指定是否要将默认的缺失值(例如 NaN)解析为 NA。True
na_filter指定是否要将数据转换为 NA。True
verbose指定是否要输出详细的进度信息。False
parse_dates指定是否要解析日期。False
date_parser用于解析日期的函数。<no_default>
date_format指定日期的格式。None
thousands指定千位分隔符。None
decimal指定小数点字符。'.'
comment指定注释字符。None
skipfooter指定要跳过的文件末尾的行数。0
storage_options用于云存储的参数字典。None
dtype_backend指定数据类型后端。<no_default>
engine_kwargs传递给引擎的额外参数字典。None

# 数据清洗

如果我们要删除包含空字段的行,可以使用 dropna () 方法:

1
DataFrame.dropna(axis=0, how='any', thresh=None, subset=None, inplace=False)
  • axis:默认为 0,表示逢空值剔除整行,如果设置参数 axis=1 表示逢空值去掉整列。
  • how:默认为 'any' 如果一行(或一列)里任何一个数据有出现 NA 就去掉整行,如果设置 how='all' 一行(或列)都是 NA 才去掉这整行。
  • thresh:设置需要多少非空值的数据才可以保留下来的。
  • subset:设置想要检查的列。如果是多个列,可以使用列名的 list 作为参数。
  • inplace:如果设置 True,将计算得到的值直接覆盖之前的值并返回 None,修改的是源数据。

我们可以通过 isnull () 判断各个单元格是否为空。

我们也可以 fillna () 方法来替换一些空字段: df.fillna(12345, inplace = True)

1
2
3
4
5
6
7
8
9
import pandas as pd

df = pd.read_csv('property-data.csv')

x = df["ST_NUM"].mean()

df["ST_NUM"].fillna(x, inplace = True)

print(df.to_string())

Pandas 使用 mean ()、median () 和 mode () 方法计算列的均值(所有值加起来的平均值)、中位数值(排序后排在中间的数)和众数(出现频率最高的数)。

如果我们要清洗重复数据,可以使用 duplicated () 和 drop_duplicates () 方法。

如果对应的数据是重复的,duplicated () 会返回 True,否则返回 False。

# 数据预处理操作汇总

操作方法 / 步骤说明常用函数 / 方法
缺失值处理填充缺失值使用指定的值(如均值、中位数、众数等)填充缺失值。df.fillna(value)
删除缺失值删除包含缺失值的行或列。df.dropna()
重复数据处理删除重复数据删除 DataFrame 中的重复行。df.drop_duplicates()
异常值处理异常值检测(基于统计方法)通过 Z-score 或 IQR 方法识别并处理异常值。自定义函数(如基于 Z-score 或 IQR)
替换异常值使用合适的值(如均值或中位数)替换异常值。自定义函数(如替换异常值)
数据格式转换转换数据类型将数据类型从一个类型转换为另一个类型,如将字符串转换为日期。df.astype()
日期时间格式转换转换字符串或数字为日期时间类型。pd.to_datetime()
标准化与归一化标准化将数据转换为均值为 0,标准差为 1 的分布。StandardScaler()
归一化将数据缩放到指定的范围(如 [0, 1])。MinMaxScaler()
类别数据编码标签编码将类别变量转换为整数形式。LabelEncoder()
独热编码(One-Hot Encoding)将每个类别转换为一个新的二进制特征。pd.get_dummies()
文本数据处理去除停用词从文本中去除无关紧要的词,如 "the" 、 "is" 等。自定义函数(基于 nltkspaCy
词干化与词形还原提取词干或恢复单词的基本形式。nltk.stem.PorterStemmer()
分词将文本分割成单词或子词。nltk.word_tokenize()
数据抽样随机抽样从数据中随机抽取一定比例的样本。df.sample()
上采样与下采样通过过采样或欠采样来平衡数据集中的类别分布。SMOTE() (上采样); RandomUnderSampler() (下采样)
特征工程特征选择选择对目标变量有影响的特征,去除冗余或无关特征。SelectKBest()
特征提取从原始数据中创建新的特征,提升模型的预测能力。PolynomialFeatures()
特征缩放对数值特征进行缩放,使其具有相同的量级。MinMaxScaler()StandardScaler()
类别特征映射将类别变量映射为对应的数字编码。自定义映射函数
数据合并与连接合并数据将多个 DataFrame 按照某些列合并在一起,支持内连接、外连接、左连接、右连接等。pd.merge()
连接数据将多个 DataFrame 进行行或列拼接。pd.concat()
数据重塑数据透视表将数据根据某些维度进行分组并计算聚合结果。pd.pivot_table()
数据变形改变数据的形状,如从长格式转为宽格式或从宽格式转为长格式。df.melt()df.pivot()
数据类型转换与处理字符串处理对字符串数据进行处理,如去除空格、转换大小写等。str.replace()str.upper()
分组计算按照某个特征分组后进行聚合计算。df.groupby()
缺失值预测填充使用模型预测填充缺失值使用机器学习模型(如回归模型)预测缺失值,并填充缺失数据。自定义模型(如 sklearn.linear_model.LinearRegression
时间序列处理时间序列缺失值填充使用时间序列的方法(如前向填充、后向填充)填充缺失值。df.fillna(method='ffill')
滚动窗口计算使用滑动窗口进行时间序列数据的统计计算(如均值、标准差等)。df.rolling(window=5).mean()
数据转换与映射数据映射与替换将数据中的某些值替换为其他值。df.replace()
1
2
3
4
5
6
7
8
9
10
11
12
13
14
from sklearn.preprocessing import StandardScaler
import pandas as pd

# 示例数据
data = {'Age': [25, 30, 35, 40, 45],
'Salary': [50000, 60000, 70000, 80000, 90000]}

df = pd.DataFrame(data)

# 标准化数据
scaler = StandardScaler()
df_scaled = scaler.fit_transform(df)

print(df_scaled)

# 相关性分析

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15

df.corr(method='pearson', min_periods=1)
spearman_correlation = df.corr(method='spearman')
# 计算肯德尔秩相关系数
kendall_correlation = df.corr(method='kendall')
# 计算相关性矩阵
correlation_matrix = df.corr()

# 绘制相关性热图
plt.figure(figsize=(8, 6))
sns.heatmap(df.corr(), annot=True, cmap='coolwarm', fmt='.2f', vmin=-1, vmax=1)
plt.title('Correlation Heatmap')
plt.show()


apply () — 应用函数到 DataFrame 或 Series 上
apply () 方法允许在 DataFrame 或 Series 上应用自定义函数,支持对行或列进行操作。

1
2
3
4
5
6
7
8
9
10
11
12
import pandas as pd

# 示例数据
df = pd.DataFrame({'A': [1, 2, 3, 4], 'B': [10, 20, 30, 40]})

# 定义自定义函数
def custom_func(x):
return x * 2

# 在列上应用函数
df['A'] = df['A'].apply(custom_func)
print(df)

对于具有重复值的字符串列,可以使用 category 类型来减少内存消耗。category 类型在内存中存储的是整数索引,而不是字符串本身。

1
2
3
4
5
6
7
# 示例数据
df = pd.DataFrame({'Category': ['A', 'B', 'A', 'C', 'B', 'A']})

# 使用 category 类型
df['Category'] = df['Category'].astype('category')

print(df.dtypes)
更新于 阅读次数