python中agg函数,python中agg函数的参数

python中range()函数用法

函数语法

成都创新互联公司专注于旌阳网站建设服务及定制，我们拥有丰富的企业做网站经验。 热诚为您提供旌阳营销型网站建设，旌阳网站制作、旌阳网页设计、旌阳网站官网定制、重庆小程序开发服务，打造旌阳网络公司原创品牌,更为您提供旌阳网站排名全网营销落地服务。

range(start, stop, step)

参数说明：

start: 计数从 start 开始。默认是从 0 开始。例如range(5) 等价于range(0, 5);

stop: 计数到 stop 结束，但不包括 stop。例如：range(0, 5) 是[0, 1, 2, 3, 4]，没有5

step：步长，默认为1。例如：range(0, 5)等价于 range(0, 5, 1)

注：左闭右开 [start, stop）

简例：

for i in range(5):

print(i, end=' ')

0 1 2 3 4

for i in range(0, 5):

print(i, end=' ')

0 1 2 3 4

for i in range(0,5,1):

print(i, end=' ')

0 1 2 3 4

for i in range(0,5,2):

print(i, end=' ')

0 2 4

for i in range(6,0,-1):

print(i, end=' ')

6 5 4 3 2 1

for i in range(6,0,-2):

print(i, end=' ')

6 4 2

利用 Python 分析 MovieLens 1M 数据集

MovieLens数据集是一个关于电影评分的数据集，里面包含了从IMDB, The Movie DataBase上面得到的用户对电影的评分信息，详细请看下面的介绍。

文件里面的内容是帮助你如何通过网站id在对应网站上找到对应的电影链接的。

movieId, imdbId, tmdbId

表示这部电影在movielens上的id，可以通过链接 来得到。

表示这部电影在imdb上的id，可以通过链接

来得到。

movieId, title, genres

文件里包含了一部电影的id和标题，以及该电影的类别

movieId, title, genres

每部电影的id

电影的标题

电影的类别（详细分类见readme.txt）

文件里面的内容包含了每一个用户对于每一部电影的评分。

数据排序的顺序按照userId，movieId排列的。

文件里面的内容包含了每一个用户对于每一个电影的分类

数据排序的顺序按照userId，movieId排列的。

=======

该数据集（ml-latest-small）描述了电影推荐服务[MovieLens]（ ）的5星评级和自由文本标记活动。它包含9742部电影的100836个评级和3683个标签应用程序。这些数据由610位用户在1996年3月29日到2018年9月24日之间创建。该数据集于2018年9月26日生成。

随机选择用户以包含在内。所有选定的用户评分至少20部电影。不包括人口统计信息。每个用户都由一个id表示，并且不提供其他信息。

数据包含在 links.csv ， movies.csv ， ratings.csv 和 tags.csv 文件中。有关所有这些文件的内容和用法的更多详细信息如下。

这是一个发展的数据集。因此，它可能会随着时间的推移而发生变化，并不是共享研究结果的适当数据集。

========

要确认在出版物中使用数据集，请引用以下文件：

========================

数据集文件以[逗号分隔值]文件写入，并带有单个标题行。包含逗号（ ， ）的列使用双引号（```）进行转义。这些文件编码为UTF-8。如果电影标题或标签值中的重音字符（例如Misérables，Les（1995））显示不正确，确保读取数据的任何程序（如文本编辑器，终端或脚本）都配置为UTF-8。

MovieLens用户随机选择包含。他们的ID已经匿名化了。用户ID在 ratings.csv 和 tags.csv 之间是一致的（即，相同的id指的是两个文件中的同一用户）。

数据集中仅包含至少具有一个评级或标记的电影。这些电影ID与MovieLens网站上使用的电影ID一致（例如，id 1 对应于URL ）。电影ID在 ratings.csv ， tags.csv ， movies.csv 和 links.csv 之间是一致的.

通过[pandas.read_csv]将各表转化为pandas 的DataFrame对象

其中用到的参数为分隔符sep、头文件header、列名定义names、解析器引擎engine

这里和书上相比多用了engine参数，engine参数有C和Python，C引擎速度更快，而Python引擎目前功能更完整。

可用pandas.merge 将所有数据都合并到一个表中。merge有四种连接方式（默认为inner），分别为

通过索引器查看第一行数据，使用基于标签的索引.loc或基于位置的索引.iloc

可通过数据透视表( pivot_table )实现

该操作产生了另一个DataFrame，输出内容为rating列的数据，行标index为电影名称，列标为性别，aggfunc参数为函数或函数列表（默认为numpy.mean），其中“columns”提供了一种额外的方法来分割数据。

by参数的作用是针对特定的列进行排序（不能对行使用），ascending的作用是确定排序方式，默认为升序

增加一列存放平均得分之差，并对其排序，得到分歧最大且女性观众更喜欢的电影

按照电影标题将数据集分为不同的groups，并且用size( )函数得到每部电影的个数（即每部电影被评论的次数），按照从大到小排序，取最大的前20部电影列出如下

按照电影名称分组，用agg函数通过一个字典{‘rating’: [np.size, np.mean]}来按照key即rating这一列聚合，查看每一部电影被评论过的次数和被打的平均分。取出至少被评论过100次的电影按照平均评分从大到小排序，取最大的10部电影。

python中range()函数的用法

python中range()函数的用法：

（1）range(stop)

创建一个（0,stop)之间的整数序列，步长为1。

（2）range(start,stop)

创建一个（start,stop)之间的整数序列，步长为1。

（3）range(start,stop,step)

创建一个[start,stop)之间的整数序列，步长为step。

参数介绍：

start：表示从返回序列的起始编号，默认情况下从0开始。

stop：表示生成最多但不包括此数字的数字。

step：指的是序列中每个数字之间的差异，默认值为1。

相关介绍

range()是Python的内置函数，在用户需要执行特定次数的操作时使用它，表示循环的意思。内置函数range()可用于以列表的形式生成数字序列。在range()函数中最常见用法是使用for和while循环迭代序列类型（List，string等）。

简单的来说，range()函数允许用户在给定范围内生成一系列数字。根据用户传递给函数的参数数量，用户可以决定该系列数字的开始和结束位置以及一个数字与下一个数字之间的差异有多大。

pandas常用函数汇总

pandas官方文档:

对常用函数做了汇总，每个函数的参数可能不是全的，但是常用的，不常用的没总结，如有问题，请不吝赐教，谢谢！

1、创建Series

  通用函数：pd.Series(values,index)

1)pd.Series([1,2,3],index=[‘a’,‘b’,‘c‘])

2)pd.Series(np.array([1,2,3]),index=[‘a’,‘b’,‘c‘])

3)pd.Series({ 'a'：1,  'b'：2,  'c'：3})

    Series转字典：Series.to_dict()

说明：Series的values参数是python中常见的一维数据类型。

2、属性

1）Series.values ---array([1,2,3])

       Series的values是array类型

2）Series.index---index([‘a’,‘b’,‘c‘])

       未指定index时，自动生成 0-（N-1）的整数索引，

       指定 index时，使用指定索引。

3、Series的索引与切片

   Series[0] / Series['a']  : Sereis可以位置索引或标签索引，也可以进行切片操作

1、创建DataFrame

1) 创建DataFrame的通用函数：

df = pd.DataFrame(values,index,columns)

pd.dataFrame([[1,2,3],[4,5,6],[7,8,9]],index=['a','b','c'],columns=['bj','sh','sz'])

pd.dataFrame(np.arange(1,10).reshape(3,3),index=['a','b','c'],columns=['bj','sh','sz'])

pd.dataFrame('bj':[1,4,7],'sh':[2,5,8],'sz':[3,6,9],index=['a','b','c'])

说明：创建方法与Sries类似，Series的values参数是python中常见的一维数据类型，DataFrame的values参数是python中常见的二维数据类型。

2) 通过网页中复制数据快捷创建

    import webbrowser

    link = ''

    webbrowser.open(link)

    打开界面进行复制，将数据复制到粘贴板中

    df = pd.read_clipboard()   #从粘贴板中读取数据

3）通过Series创建DataFrame

    df = pd.DataFrame([s1,s2,s3],columns=['bj','sh','sz'])

    注意：单独的s1,s2,s3是纵向排列的的Series，但是在DataFrame中是横向排列的。

    自己总结：Series除了打印出来是Series格式外，其他时候可以直接当作list来操作。

2、属性

1)df.columns

    通过columns生成新的DataFrame

    df_new = pd.DataFrame(df,columns=['x1','x2'])

    或者df_new = df[['x1','x2']]

2)df.shape  显示行列数

3)df.head()   默认显示前5行

4)df.tail()     默认显示后5行

3、获取DataFrame的列

1）获取DataFrame某一列

      df.x1或df['x1']:返回值是Series,可以理解为一个DataFrame是由多个Series组成的。

  2) 获取DataFrame某几列

      df_new = df[['x1','x2','x3']]

4、为某列赋值

  1) df['x1'] = range(10)

  2) df['x1'] = numpy.arange(10)

  3) df['x1'] = pd.Series(np.arange(10))

  说明：类似于创建Series

5、为某列对应的特定行重新赋值

    df['x1'] = pd.Series([2,3],index=[0,1])

    将列为x1,行索引为0和1的值改为2,3

6、获取DadaFrame的行

  for row in DataFrame.iterrows():

          print(row[0],row[1])

  #每个row是一个元祖，包含2个元素，row[0]是整型索引，row[1]是Series,所以从行的角度也可以看出，一个DataFrame是由多个Series组成的。

7、DataFrame的转置

  df_new = df.T

1、粘贴板的io

  df = pd.read_clipboard()

  df.to_clipboard()

2、csv的io

   df.to_csv('xxx.csv')

   df = pd.read_csv('xxx.csv')

3、json的io

   df.to_json()

   pd.read_json(df.to_json())

4、excel的io

    df.to_excel('xx.xlsx')

    df = pd.read_excel('xx.xlsx')

5、df = pd.read_sql('')

    df.to_sql('')

1、iloc

  sub_df = df.iloc[10:20,:]  选取DataFrame的10-20行，所有列数据

  sub_df = df.iloc[10:20,0:2]

  说明：iloc函数是位置索引，与索引的名字无关。

2、loc

  sub_df = df.loc[10:20,:'movie_name']

  说明：loc是标签索引，10,20，'movie_name'  都是索引名字，与位置无关。

1、Series.reindex(index=['x1','x2','x3'],fill_value=10)

  将df重新索引，并且将NaN空值用10进行填充

2、Series.reindex(index=range(15),method='ffill')

前项填充，后面的值用前面的值进行填充

通过reindex想到，如果想新增一个空列或者空行，可以用reindex方法,同样地，想减少某些行或者某些列，也可以用reindex方法。

  继reindex之后删除行列的函数操作

  Series.drop('A')   #删除'A'所对应的值

  DataFrame.drop(label,axis) 

  label可以是行名也可以是列名，label是行的话axis是0，label是列的话axis是1。

** 删除行还可以用 del df['A']

nan是numpy的一种数据类型，np.nan,float类型

任何数据与nan的运算结果都是nan

1、nan in Series

  Series.isnull()  --返回value为True或者False的Series

  Series.notnull()  --返回value为True或者False的Series

  Series.dropna()  --返回删除nan值后的Series

  Series.fillna(method='ffill')  --前项插值，按照前面的值填充后面的空值

2、nan in DataFrame

  df.isnull()  --返回value为True或者False的DataFrame

  df.notnull()  --返回value为True或者False的DataFrame

  df.dropna(axis=0/1,how='any/all'，thresh=None)

  说明：axis表示删除行为nan或者列为nan；

            any表示只要有一个为空，all表示行中的每个元素或者列中的每个元素为空；

            thresh是阈值的意思，表示某行或者某列nan的个数达到阈值的个数时才删除该行或该列。

  df.fillna(value=1)  ---所有的空值都填充为1

  df.fillna(value={0:0,1:1,2:2}) ---将0列的空值填为0,1列的空值填为1,2列的空值填为2，默认为填充列

  注意：fillna和dropna的特点，生成新的DataFrame,原来的DataFrame不变。

1、多重索引介绍

Series = pd.Series(np.random.randn(6),index=[['1','1','1','2','2','2'],['a','b','c','a','b','c']])

'1','2'为一级索引，'a','b','c'为二级索引

df 可以看做是索引的'1','2'的Series

Series['1']  --Series

Series['1']['a']  --value

Series[:,'a'] --选择'1'和'2'中的'a'对应的值

2、多重索引格式转为二维DataFrame

df = Series.unstack() --转为二维DataFrame

3、多重索引在DataFrame中的操作

1、 map函数与apply函数、applymap函数的区别：

  1）map函数对Series中的每个元素作用；

  2）applymap函数对DataFrame中的每个元素作用；

  3）apply函数对对DataFrame和Series的一列做整体运算。

2、Series.replace(to_replace=[2,3,4],values=[20,30,40])  替换Series中多个值

Series.replace({1:10,2:20})  将索引为1的值替换为10，将索引为2的值替换为20

df.sum()  --默认按照列进行求和,nan的值被忽略

df.min()  --默认按照列求最小值

df.max()  --默认按照列求最大值

df.mean()  --默认按照列求平均值

df.describe()  --默认按照列进行描述

df.sum(axis=1)  --按行求和，nan的值被忽略

#axis=0表示对横轴进行操作，但是运算中表现为纵轴操作

#axis=1表示对纵轴进行操作，但是运算中表现为横轴操作

bins = [0,59,70,80,100],bins是分割范围

score_cat = pd.cut(Series,bins)  ---得到catgory类型的数据

DataFrame的分箱技术很棒啊！

pd['catgory'] = pd.cut(df['a'],bins=[0,59,70,80,100],labels=['low','ok','good','great'])

--新增一列，将a列的值按照labels进行分类标记，good!!!

#生成长度为3的随机字符串  pd.util.testing.rands(3)

1、按照一列分组

  g = df.groupby('city')

  g是分组类型数据，打印不出来，所以看不到，但是有属性和方法可以间接的了解

1） g.groups  --得到分的几个组，和每个组包含的索引

2）g.get_group('BJ')  --得到'BJ'所对应的组

3）groupby = split +apply +combine

       g.mean()  --求每组的平均值

       g.max()   --求每组的最大值

       g.min()   --求每组的最小值

       g.count()

       g.describe()

  4）g是一个可迭代对象，可以用list函数将其转化为list

      list(g) -- [('组名1',DataFrame1),('组名2',DataFrame2),(),()]

      dict(list(g))  --将其转化为字典

  同时可以通过for循环进行遍历操作：for item,desc in g:print(item,desc)

  #怪不得分组后不是DataFrame，因为元组的第一个元素是'分组名'。

2、按照多列分组

  g_new = df.groupby(['city','wind'])

  得到生成器((('分组1','分组2'),DataFrame),(),()...)

  g_new.get_group(('分组1','分组2'))

  for (name_1,name_2),group in g_new:

          print((name_1,name_2),group)

g.mean()  --求每组的平均值

与g.agg('mean')方法一样

pd.pivot_table(df,index=['',''],aggfuc='sum',values=['',''])

index是分组的组名，values是透视表呈现结果的列，columns是values下的分解

#感觉透视表呈现的结果就是groupby+agg后的结果

#分析者需要对数据结构有一定的了解

df.sort_values(by='',ascending=True/False)[:10]  df可以索引

df.value_counts()  --按值计数

df.['a'] = df['b'].apply(lambda x:x0)  --DataFrame中的True/False

通过g.size()可以看到被groupby之后的数据，得到的是一个Series

1、Series的排序：

1）对值进行排序

Series.sort_values()  ---直接对Series的值进行排序

2）通过索引进行排序

Series.sort_index() 

#默认都是升序排列

2、DataFrame的排序

df.sort_values(by='')  --按照某列的顺序进行排序

df['a'].sort_values()  --返回对a列数据的排序结果，只返回a列

1、df.index = Series(['a','b','c'])  直接对index赋予新值

2、df.index = df.index.map(str.upper)

map函数中只传入新的函数名即可

3、df.rename(index=str.upper,columns=str.lower)

  或者传递字典，进行一一转换

pd.merge(df1,df2,on=None,how='left/right/inner/outer')

pd.merge(df1,df2)  --没有on参数默认先找相同的columns,然后在columns下找相同的values

pd.merge(df1,df2,on='columns')  --on参数是指按照指定列进行merge

left:表示以左边的数据表为基准，进行填充右面的数据

right:表示以右边的数据表为基准，填充左边的数据

outer:以on的指定列的所有值为基准，填充两边的数据

inner:默认inner,相同on指定的columns下的相同values对应的左右两边的数据

1、concat拼接

pd.concat([Series1,Series2])

pd.concat([df1,df2])  -- 上下叠加，将没有的列进行填充

2、combine组合

Series1.combine_first(Series2)  --用Series2的值去填充Series1中为空的值

df1.combine_first(df2)  ---用df2将df1中的空值填充

df['A'] = df['A'].apply(str.upper)  ---apply函数中也只输入函数名

len(df)  --求df的长度

len(df['a'].unique())  --查看a列中不重复数据的多少

Series.duplicated()  --返回一列True/False的Series

Series.drop_duplicates()  --删除重复值

df.drop_duplicates('a',keep='first/last')

df.drop_duplicates()  --删除完全重复的行

参数：'a'表示以a列为基准，删除重复值

          first表示保留第一个，last表示保留最后一个

data_list = pd.date_range(start,end,period='D',freq)

period='D',以天为单位

freq = 'W' 以周为单位

freq = 'W-Mon'以每周一位单位

freq = '5H'  以5h为单位

以data_range作为索引提取数据比较简单

df[datetime(2017,9,1)]

df['2017-09-01']

df['20170901']

df['201709']

对时间序列数据进行分组聚合操作：

s1.resample('M').mean()  --以月为单位进行采样，然后求每组的平均值

s1.resample('H').ffill()  --前项填充

s1.resample('H').bfill()  --后项填充

补充：1）jupyter中可以执行linux命令，太棒了！

            !ls

            !more xxx.csv

            !pwd  等等

       2）jupyter 查看函数帮助的快捷键：摁住shift + tab  棒！！！

Python中range()函数的用法

此刻的心情：

2018年五一后入职新公司做项目实施，一直忙碌着公司的项目；国庆后更是被调到东莞支援项目，工作时间真的成了996了，唯一休息的一天也懒的出去。看看电影、洗洗衣服、与小棉袄视频下、学习学习Python也还挺有趣，也很充实。

Python中range()函数的用法

1、函数原型：range（start， end， scan)：

参数含义：

start:计数从start开始。默认是从0开始。

例如range（5）等价于range（0， 5）; end:技术到end结束，但不包括end.

例如：range（0， 5） 是[0, 1, 2, 3, 4]没有5 scan：每次跳跃的间距，默认为1。

例如：range（0， 5） 等价于 range(0, 5, 1)

2、python中的range()函数的功能很强大，所以我觉得很有必要和大家分享一下，就好像其API中所描述的：

If you do need to iterate over a sequence of numbers, the built-in function range() comes in handy. It generates arithmetic progressions

--有道翻译的结果：如果确实需要迭代一组数字，那么内置函数range()就派上用场了。它生成算术级数。

3、实例调用 

#r如果你需要遍历一个数字序列，可以使用内置函数range()

#1、下面遍历一个列表

the_count=[1,2,3,4,5,6]

for number in the_count:

print("this is count %d" % number)

print("--------------------")

#2、遍历一个混合列表

list=[1,2,3,4,"zll",5,6,"hello",7,8.9]

for i in range(len(list)):

print (list[i],end="、")

print("\n--------------------")

#3、用range()函数生成一个列表

for i in range(5):

print(i,end="、")

print("\n--------------------")

#4、range(10),其中参数10代表：从0到10的一个序列，当然不包含10

print("range(10)表示：" ,range(10))

listA=[i for i in range(10)] print(listA)

print("--------------------")

#5、我们也可以自定义起始点和结束点 #我们定义了一个从5开始的起始点，到100结束的结束点

print("range(5,100)表示",range(5,100))

listB=[i for i in range(5,100)]

print(listB) print("--------------------")

#6、定义了这些后，我们还可以定义步长 #我们定义一个从1开始到30结束，步长为3的列表

print('range(1,30,3)表示：',range(1,30,3))

listC = [i for i in range(1,30,3)]

print(listC)

4、自己运行试试结果哦...

Python分组

前言分组原理

核心：

1.不论分组键是数组、列表、字典、Series、函数，只要其与待分组变量的轴长度一致都可以传入groupby进行分组。

2.默认axis=0按行分组，可指定axis=1对列分组。

对数据进行分组操作的过程可以概括为：split-apply-combine三步：

1.按照键值（key）或者分组变量将数据分组。

2.对于每组应用我们的函数，这一步非常灵活，可以是python自带函数，可以是我们自己编写的函数。

3.将函数计算后的结果聚合。

1 分组模式及其对象

1.1 分组的一般模式

三个要素:分组依据、数据来源、操作及其返回结果

df.groupby(分组依据)[数据来源].使用操作

1.2 分组依据的本质

1.3Groupby 对象

通过 ngroups 属性，可以访问分为了多少组:

通过 groups 属性，可以返回从 组名映射到 组索引列表的字典:

当 size 作为 DataFrame 的属性时，返回的是表长乘以表宽的大小，但在 groupby 对象上表示统计每个组的 元素个数:

通过 get_group 方法可以直接获取所在组对应的行，此时必须知道组的具体名字:

1.4 分组的三大操作

分组的三大操作:聚合、变换和过滤

2.聚合函数

2.1内置聚合函数

包括如下函数: max/min/mean/median/count/all/any/idxmax/idxmin/mad/nunique/skew/quantile/sum/std/var/sem/size/prod

2.2agg 方法

【a】使用多个函数

当使用多个聚合函数时，需要用列表的形式把内置聚合函数的对应的字符串传入，先前提到的所有字符串都是合法的。

【b】对特定的列使用特定的聚合函数

对于方法和列的特殊对应，可以通过构造字典传入 agg 中实现，其中字典以列名为键，以聚合字符串或字符串列表为值。

【c】使用自定义函数

在 agg 中可以使用具体的自定义函数，需要注意传入函数的参数是之前数据源中的列，逐列进行计算

【d】聚合结果重命名 如果想要对结果进行重命名，只需要将上述函数的位置改写成元组，元组的第一个元素为新的名字，第二个位置为原来的函数，包括聚合字符串和自定义函数

3 变换和过滤

3.1 变换函数与 transform 方法

变 换 函 数 的 返 回 值 为 同 长 度 的 序 列， 最 常 用 的 内 置 变 换 函 数 是 累 计 函 数:cum- count/cumsum/cumprod/cummax/cummin ，它们的使用方式和聚合函数类似，只不过完成的是组内 累计操作。

3.2 组索引与过滤

过滤在分组中是对于组的过滤，而索引是对于行的过滤

组过滤作为行过滤的推广，指的是如果对一个组的全体所在行进行统计的结果返回 True 则会被保留，False 则该组会被过滤，最后把所有未被过滤的组其对应的所在行拼接起来作为 DataFrame 返回。

在 groupby 对象中，定义了 filter 方法进行组的筛选，其中自定义函数的输入参数为数据源构成的 DataFrame 本身，在之前例子中定义的 groupby 对象中，传入的就是 df[['Height', 'Weight']] ，因此所有表方法和属性 都可以在自定义函数中相应地使用，同时只需保证自定义函数的返回为布尔值即可。

4 跨列分组

4.1 apply 的引入

4.2 apply 的使用

在设计上，apply 的自定义函数传入参数与 filter 完全一致，只不过后者只允许返回布尔值

【a】标量情况:结果得到的是 Series ，索引与 agg 的结果一致

【b】Series 情况:得到的是 DataFrame ，行索引与标量情况一致，列索引为 Series 的索引

【c】DataFrame 情况:得到的是 DataFrame ，行索引最内层在每个组原先 agg 的结果索引上，再加一层返 回的 DataFrame 行索引，同时分组结果 DataFrame 的列索引和返回的 DataFrame 列索引一致