（1）head()&tail()查看数据

如果想要查看Series的某一部分数据，可以使用head()或者tail()方法。其中head()返回前n行数据，默认显示前5行数据。tail()返回的是后n行数据，默认为后5行。

import pandas as pd

import numpy as np

s = pd.Series(np.random.randn(5))

print (s)

# 返回前三行数据

print(s.head(3))

# 返回后两行数据

print(s.tail(3))

# 输出结果

0 -0.264915

1 -1.120671

2 0.621638

3 -0.449170

4 0.533876

dtype: float64

0 -0.264915

1 -1.120671

2 0.621638

dtype: float64

2 0.621638

3 -0.449170

4 0.533876

dtype: float64

（2）isnull()&notnull()检测缺失值

isnull()和notnull()用于检测Series中的缺失值。所谓缺失值，顾名思义就是值不存在、丢失、缺少。

isnull()：如果为值不存在或者缺失，则返回True。notnull()：如果值不存在或者缺失，则返回False。

其实不难理解，在实际的数据分析任物中，数据的收集往往要经历一个繁琐的过程。在这个过程中难免会因为一些不可抗力，或者人为因素导致数据丢失的现象。这时，我们可以使用相应的方法对缺失值进行处理，比如均值插值、数据补齐等方法。上述两个方法就是帮助我们检测是否存在缺失值。

import pandas as pd

#None代表缺失数据

s = pd.Series([1,6,None,8,None])

print(pd.isnull(s)) #是空值返回True

print(pd.notnull(s)) #空值返回False

# 输出结果

0 False

1 False

2 True

3 False

4 True

dtype: bool

0 True

1 True

2 False

3 True

4 False

dtype: bool

⛄Pandas DataFrame

DataFrame是表格型的数据结构，既有行标签（index），又有列标签（columns），它也被称异构数据表。

它含有一组有序的列，每列可以是不同的值类型（数值、字符串、布尔型值）。DataFrame既有行索引也有列索引，它可以被看做由Series组成的字典（共同用一个索引），每一行数据都可以看成一个Series结构，DataFrame为这些行中每个数据值增加了一个列标签。

同Series一样，DataFrame自带行标签索引，默认为“隐式索引”即从0开始依次递增，行标签与DataFrame中的数据项一一对应。DataFrame数据结构的特点：

DataFrame每一列的标签值允许使用不同的数据类型；DataFrame是表格型的数据结构，具有行和列；DataFrame中的每个数据值都可以被修改；DataFrame结构的行数、列数允许增加或者删除；DataFrame有两个方向的标签轴，分别是行标签和列标签；DataFrame可以对行和列执行算术运算。

👀创建DF对象

DataFrame构造方法如下：

pandas.DataFrame(data, index, columns, dtype, copy)

参数说明：

data：一组数据(ndarray、series, map, lists, dict等类型)。

index：索引值，或者可以称为行标签。

columns：列标签，默认为RangeIndex(0, 1, 2, …, n) 。

dtype：数据类型。

copy：拷贝数据，默认为False。

Pandas DataFrame是一个二维的数组结构，类似二维数组。

Pandas提供了多种创建DataFrame对象的方式，主要包含以下五种：

（1）创建空的DataFrame对象

import pandas as pd

df = pd.DataFrame()

print(df)

# 输出结果

Empty DataFrame

Columns: []

Index: []

（2）列表创建DataFame对象

可以使用单一列表或嵌套列表来创建一个DataFrame。

import pandas as pd

# 单一列表创建DataFrame对象

data1 = [6,7,8,9,10]

df1 = pd.DataFrame(data1)

print(df1)

# 嵌套列表创建DataFrame对象，并指定数值元素的数据类型为float

data2 = [['Google',10],['Runoob',12],['Wiki',13]]

df2 = pd.DataFrame(data2,columns = ['Site','Age'],dtype = float)

print(df2)

# 输出结果

0

0 6

1 7

2 8

3 9

4 10

Site Age

0 Google 10.0

1 Runoob 12.0

2 Wiki 13.0

（3）字典嵌套列表创建DataFame对象

dict字典中，键对应的值的元素长度必须相同（也就是列表长度相同）。如果传递了索引，那么索引的长度应该等于数组的长度；如果没有传递索引，那么默认情况下，索引将是range(n)，其中n代表数组长度。

import pandas as pd

# 这里使用了默认行标签，也就是range(n)。它生成了0,1,2,3，并分别对应了列表中的每个元素值

data = { 'Site':['Google', 'Runoob', 'Wiki'], 'Age':[10, 12, 13]}

df = pd.DataFrame(data)

print(df)

# 添加自定义的行标签,index参数为每行分配了一个索引

df2 = pd.DataFrame(data,index = ['one','two','three'])

print(df2)

# 输出结果

Site Age

0 Google 10

1 Runoob 12

2 Wiki 13

Site Age

one Google 10

two Runoob 12

three Wiki 13

从以上输出结果可以知道， DataFrame数据类型一个表格，包含rows（行）和columns（列）。

（4）列表嵌套字典创建DataFrame对象

列表嵌套字典可以作为输入数据传递给DataFrame构造函数。默认情况下，字典的键被用作列名。

import pandas as pd

# 列表嵌套字典

data1 = [{ 'a': 1, 'b': 2}, { 'a': 5, 'b': 10, 'c': 20}]

# 字典嵌套列表

data2 = { 'a':[1, 5], 'b':[2, 10], 'c':[15, 20]}

df1 = pd.DataFrame(data1)

print(df1)

df2 = pd.DataFrame(data2)

print(df2)

# 添加行标签索引

df3 = pd.DataFrame(data1,index = ['one','two'])

print(df3)

# 行标签索引

# 注意：因为'abc'在字典键中不存在，所以对应值为NaN

df4 = pd.DataFrame(data1,index = ['one','two'],columns = ['a','abc'])

print(df4)

# 输出结果，没有对应的部分数据为NaN。

a b c

0 1 2 NaN

1 5 10 20.0

a b c

0 1 2 15

1 5 10 20

a b c

one 1 2 NaN

two 5 10 20.0

a abc

one 1 NaN

two 5 NaN

（5）Series创建DataFrame对象

可以传递一个字典形式的Series，从而创建一个DataFrame对象，其输出结果的行索引是所有index的合集。

import pandas as pd

d = { 'one' : pd.Series([1, 2, 3], index = ['a', 'b', 'c']),

'two' : pd.Series([1, 2, 3, 4], index = ['a', 'b', 'c', 'd'])}

df = pd.DataFrame(d)

print(df)

# 输出结果，对于one列而言，此处虽然显示了行索引'd'，但由于没有与其对应的值，所以它的值为NaN

one two

a 1.0 1

b 2.0 2

c 3.0 3

d NaN 4

👀列索引操作DF对象

DataFrame可以使用列索（columns index）引来完成数据的选取、添加和删除操作。

（1）列索引选取数据列

import pandas as pd

data = {

"calories": [420, 380, 390],

"duration": [50, 40, 45]

}

# 数据载入到DataFrame对象

df = pd.DataFrame(data, index = ['a', 'b', 'c'])

print(df)

# 返回第一列

print(df['calories'])

# 输出结果

calories duration

a 420 50

b 380 40

c 390 45

a 420

b 380

c 390

Name: calories, dtype: int64

（2）列索引添加数据列

使用columns列索引表标签可以实现添加新的数据列。

import pandas as pd

data = {

"calories": [420, 380, 390],

"duration": [50, 40, 45]

}

# 数据载入到DataFrame对象

df = pd.DataFrame(data, index = ['a', 'b', 'c'])

print(df)

# 返回第一列

print("*"*20)

# 使用df['列']=值，插入新的数据列

df['height'] = pd.Series([160,170,180], index = ['a', 'b', 'c'])

print(df)

print("*"*20)

# 将已经存在的数据列做相加运算

df['sums'] = df['calories'] + df['duration']

print(df)

# 输出结果

calories duration

a 420 50

b 380 40

c 390 45

********************

calories duration height

a 420 50 160

b 380 40 170

c 390 45 180

********************

calories duration height sums

a 420 50 160 470

b 380 40 170 420

c 390 45 180 435

我们初次使用了DataFrame的算术运算，这和NumPy非常相似。除了使用df[]=value的方式外，您还可以使用insert()方法插入新的列.

import pandas as pd

info = [['Jack',18],['Helen',19],['John',17]]

df = pd.DataFrame(info,columns = ['name','age'])

print(df)

# 注意是column参数

# 数值1代表插入到columns列表的索引位置

df.insert(1,column = 'score',value = [91,90,75])

print(df)

# 输出结果

name age

0 Jack 18

1 Helen 19

2 John 17

name score age

0 Jack 91 18

1 Helen 90 19

2 John 75 17

（3）列索引删除数据列

通过del和pop()都能够删除DataFrame中的数据列。示例如下：

import pandas as pd

d = { 'one': pd.Series([1, 2, 3], index = ['a', 'b', 'c']),

'two': pd.Series([1, 2, 3, 4], index = ['a', 'b', 'c', 'd']),

'three': pd.Series([10,20,30], index = ['a','b','c'])}

df = pd.DataFrame(d)

print(df)

print("*"*20)

# 使用del删除

del df['one']

print(df)

print("*"*20)

# 使用pop方法删除

df.pop('two')

print(df)

# 输出结果

one two three

a 1.0 1 10.0

b 2.0 2 20.0

c 3.0 3 30.0

d NaN 4 NaN

********************

two three

a 1 10.0

b 2 20.0

c 3 30.0

d 4 NaN

********************

three

a 10.0

b 20.0

c 30.0

d NaN

👀行索引操作DF对象

Pandas可以使用loc函数返回指定行的数据，如果没有设置索引，第一行索引为0，第二行索引为1，以此类推。

（1）标签索引选取

通过将行标签传递给loc函数，来选取数据。

loc允许接两个参数分别是行和列，参数之间需要使用“逗号”隔开，但该函数只能接收标签索引。

import pandas as pd

data = {

"calories": [420, 380, 390],

"duration": [50, 40, 45]

}

# 数据载入到 DataFrame 对象

df = pd.DataFrame(data, index = ['a', 'b', 'c'])

print(df)

print('*'*20)

print(df.loc['a'])

# 输出结果

calories duration

a 420 50

b 380 40

c 390 45

********************

calories 420

duration 50

Name: a, dtype: int64

（2）整数索引选取

通过将数据行所在的索引位置传递给iloc函数，也可以实现数据行选取。

iloc允许接受两个参数分别是行和列，参数之间使用“逗号”隔开，但该函数只能接收整数索引。

import pandas as pd

data = {

"calories": [420, 380, 390],

"duration": [50, 40, 45]

}

# 数据载入到 DataFrame 对象

df = pd.DataFrame(data, index = ['a', 'b', 'c'])

print(df)

print('*'*20)

# 返回第一行，返回结果其实就是一个Pandas Series数据。

print(df.iloc[0])

print('*'*20)

# 返回第二行，返回结果其实就是一个Pandas Series数据。

print(df.iloc[1])

print('*'*20)

# 也可以返回多行数据，使用[[ ... ]] 格式，... 为各行的索引，以逗号隔开：

# 返回第一行和第二行，返回结果其实就是一个Pandas DataFrame数据。

print(df.iloc[[0, 1]])

# 输出结果

calories duration

a 420 50

b 380 40

c 390 45

********************

calories 420

duration 50

Name: a, dtype: int64

********************

calories 380

duration 40

Name: b, dtype: int64

********************

calories duration

a 420 50

b 380 40

（3）切片操作多行数据

通过使用切片的方式同时选取多行。

import pandas as pd

data = {

"calories": [420, 380, 390],

"duration": [50, 40, 45]

}

# 数据载入到 DataFrame 对象

df = pd.DataFrame(data, index = ['a', 'b', 'c'])

print(df)

print('*'*20)

# 左闭右开

print(df[1:3])

# 输出结果

calories duration

a 420 50

b 380 40

c 390 45

********************

calories duration

b 380 40

c 390 45

（4）添加数据行

使用append()函数，可以将新的数据行添加到DataFrame中，该函数会在行末追加数据行。

import pandas as pd

df = pd.DataFrame([[1, 2], [3, 4]], index = ['one','two'], columns = ['a','b'])

df2 = pd.DataFrame([[5, 6], [7, 8]], index = ['one','two'], columns = ['a','b'])

# 在行末追加新数据行

df = df.append(df2)

print(df)

# 输出结果

a b

one 1 2

two 3 4

one 5 6

two 7 8

（5）删除数据行

使用行索引标签，从DataFrame中删除某一行数据。如果索引标签存在重复，那么它们将被一起删除。

import pandas as pd

df = pd.DataFrame([[1, 2], [3, 4]], index = ['one','two'], columns = ['a','b'])

df2 = pd.DataFrame([[5, 6], [7, 8]], index = ['one','two'], columns = ['a','b'])

# 在行末追加新数据行

df = df.append(df2)

print(df)

print('*'*20)

# 注意此处调用了drop()方法,drop('one')同时删除了两行数据

df1 = df.drop('one')

print(df1)

# 输出结果

a b

one 1 2

two 3 4

one 5 6

two 7 8

********************

a b

two 3 4

two 7 8

👀DF对象属性和方法

DataFrame的属性和方法，与Series相差无几。

import pandas as pd

import numpy as np

d = { 'Name':pd.Series(['小汤','小王',"小明",'小红','小小','小微','小黄']),

'years':pd.Series([2005,2006,2015,2008,2003,2009,2003]),

'height':pd.Series([180,175,178,179,176,170,173])}

# 构建DataFrame

df = pd.DataFrame(d)

# 输出

print(df)

print('*'*20)

# T（Transpose）转置,返回DataFrame的转置，也就是把行和列进行交换

print(df.T)

print('*'*20)

# 返回一个行标签、列标签组成的列表

print(df.axes)

print('*'*20)

# 返回每一列的数据类型

print(df.dtypes)

print('*'*20)

# 返回一个布尔值，判断输出的数据对象是否为空，若为True表示对象为空

print(df.empty)

print('*'*20)

# 返回数据对象的维数。DataFrame是一个二维数据结构

print(df.ndim)

print('*'*20)

# 返回一个代表DataFrame维度的元组。返回值元组(a,b)，其中a表示行数，b表示列数

print(df.shape)

print('*'*20)

# 返回DataFrame中的元素数量

print(df.size)

print('*'*20)

# 以ndarray数组的形式返回DataFrame中的数据

print(df.values)

print('*'*20)

# 输出结果

Name years height

0 小汤 2005 180

1 小王 2006 175

2 小明 2015 178

3 小红 2008 179

4 小小 2003 176

5 小微 2009 170

6 小黄 2003 173

********************

0 1 2 3 4 5 6

Name 小汤 小王 小明 小红 小小 小微 小黄

years 2005 2006 2015 2008 2003 2009 2003

height 180 175 178 179 176 170 173

********************

[RangeIndex(start=0, stop=7, step=1), Index(['Name', 'years', 'height'], dtype='object')]code>

********************

Name object

years int64

height int64

dtype: object

********************

False

********************

2

********************

(7, 3)

********************

21

********************

[['小汤' 2005 180]

['小王' 2006 175]

['小明' 2015 178]

['小红' 2008 179]

['小小' 2003 176]

['小微' 2009 170]

['小黄' 2003 173]]

********************

head()&tail()查看数据。如果想要查看DataFrame的一部分数据，可以使用head()或者tail()方法。head()返回前n行数据，默认显示前5行数据。tail()返回后n行数据。

import pandas as pd

import numpy as np

d = { 'Name':pd.Series(['小汤','小王',"小明",'小红','小小','小微','小黄']),

'years':pd.Series([2005,2006,2015,2008,2003,2009,2003]),

'height':pd.Series([180,175,178,179,176,170,173])}

# 构建DataFrame

df = pd.DataFrame(d)

# 输出

print(df)

print('*'*20)

# 获取前3行数据

print(df.head(3))

print('*'*20)

# 获取后2行数据

print(df.tail(2))

# 输出结果

Name years height

0 小汤 2005 180

1 小王 2006 175

2 小明 2015 178

3 小红 2008 179

4 小小 2003 176

5 小微 2009 170

6 小黄 2003 173

********************

Name years height

0 小汤 2005 180

1 小王 2006 175

2 小明 2015 178

********************

Name years height

5 小微 2009 170

6 小黄 2003 173

shift()移动行或列。如果您想要移动DataFrame中的某一行/列，可以使用shift()函数实现。它提供了一个periods参数，该参数表示在特定的轴上移动指定的步幅。

DataFrame.shift(periods=1, freq=None, axis=0)

参数说明：

peroids类型为int，表示移动的幅度，可以是正数，也可以是负数，默认值为1。

freq日期偏移量，默认值为None，适用于时间序。取值为符合时间规则的字符串。

axis如果是0或者"index"表示上下移动，如果是1或者"columns"则会左右移动。

fill_value该参数用来填充缺失值。

import pandas as pd

import numpy as np

d = { 'Name':pd.Series(['小汤','小王',"小明",'小红','小小','小微','小黄']),

'years':pd.Series([2005,2006,2015,2008,2003,2009,2003]),

'height':pd.Series([180,175,178,179,176,170,173])}

# 构建DataFrame

df = pd.DataFrame(d)

# 输出

print(df)

print('*'*20)

# 移动幅度为3

print(df.shift(periods=3))

print('*'*20)

# 使用fill_value参数填充DataFrame中的缺失值

print(df.shift(periods=3,fill_value=52))

print('*'*20)

print(df.shift(periods=3,axis=1,fill_value=52))

# 输出结果

Name years height

0 小汤 2005 180

1 小王 2006 175

2 小明 2015 178

3 小红 2008 179

4 小小 2003 176

5 小微 2009 170

6 小黄 2003 173

********************

Name years height

0 NaN NaN NaN

1 NaN NaN NaN

2 NaN NaN NaN

3 小汤 2005.0 180.0

4 小王 2006.0 175.0

5 小明 2015.0 178.0

6 小红 2008.0 179.0

********************

Name years height

0 52 52 52

1 52 52 52

2 52 52 52

3 小汤 2005 180

4 小王 2006 175

5 小明 2015 178

6 小红 2008 179

********************

Name years height

0 52 52 52

1 52 52 52

2 52 52 52

3 52 52 52

4 52 52 52

5 52 52 52

6 52 52 52

⛄Pandas函数操作