>>> df = pd.DataFrame({'id':[1,1,1,2,2,2,2,3,4],'value':[1,2,3,1,2,3,4,1,1]})
>>> df
id value
0 1 1
1 1 2
2 1 3
3 2 1
4 2 2
5 2 3
6 2 4
7 3 1
8 4 1
我想获得一个新的DataFrame,每个ID的前2个记录都这样,
id value
0 1 1
1 1 2
3 2 1
4 2 2
7 3 1
8 4 1
我可以对一组以下的编号记录进行分组:
>>> dfN = df.groupby('id').apply(lambda x:x['value'].reset_index()).reset_index()
>>> dfN
id level_1 index value
0 1 0 0 1
1 1 1 1 2
2 1 2 2 3
3 2 0 3 1
4 2 1 4 2
5 2 2 5 3
6 2 3 6 4
7 3 0 7 1
8 4 0 8 1
>>> dfN[dfN['level_1'] <= 1][['id', 'value']]
id value
0 1 1
1 1 2
3 2 1
4 2 2
7 3 1
8 4 1
但是有没有更有效/更优雅的方法这个?还有一种更优雅的方法来对每个组中的数字进行记录(例如SQL窗口函数row_number())。
#1 楼
您是否尝试过df.groupby('id').head(2)
生成的输出:
>>> df.groupby('id').head(2)
id value
id
1 0 1 1
1 1 2
2 3 2 1
4 2 2
3 7 3 1
4 8 4 1
(请记住,根据数据的不同,您可能需要先定购/排序) )
编辑:如发问者所述,使用
df.groupby('id').head(2).reset_index(drop=True)
删除多指标并展平结果。>>> df.groupby('id').head(2).reset_index(drop=True)
id value
0 1 1
1 1 2
2 2 1
3 2 2
4 3 1
5 4 1
评论
是的,我认为就是这样。以某种方式忽略了这一点。您知道对组内记录进行编号的好方法吗?
–罗马·佩卡(Roman Pekar)
13年11月19日在10:48
为了获得我需要的输出,我还添加了.reset_index(drop = True)
–罗马·佩卡(Roman Pekar)
13年11月19日在10:57
github.com/pydata/pandas/pull/5510刚刚合并进来;将在0.13中,新方法可以完全做到这一点,称为cumcount(对每组中的记录进行编号)
–杰夫
13年11月19日在11:10
@Jeff好消息。我希望我有更多时间为熊猫做贡献:(
–罗马·佩卡(Roman Pekar)
13年11月19日在14:26
为了使@dorvak他的答案更完整,如果您希望每个id包含2个最小值,则执行df.sort_values(['id','value'],axis = 0).groupby('id')。head(2) 。另一个示例,每个id的最大值由df.sort_values(['id','value'],axis = 0).groupby('id')。tail(1)给出。
– Elmex80s
17-10-17在13:56
#2 楼
从0.14.1开始,您现在可以在nlargest
对象上执行nsmallest
和groupby
:In [23]: df.groupby('id')['value'].nlargest(2)
Out[23]:
id
1 2 3
1 2
2 6 4
5 3
3 7 1
4 8 1
dtype: int64
那里也有原始索引,这有点奇怪,但是
如果您对原始索引不感兴趣,可以执行
.reset_index(level=1, drop=True)
完全删除它。(注意:从0.17.1开始,您也可以在DataFrameGroupBy上执行此操作,但目前仅适用于
Series
和SeriesGroupBy
。)评论
有没有办法获得unique_limit(n)?就像我想要前n个唯一值?如果我要求最大,它将对整个df进行排序,这可能会很昂贵
–citynorman
18 Mar 29 '18 at 0:54
当您在groupby上进行汇总时,这不起作用?例如,df.groupby([pd.Grouper(freq ='M'),'A'])['B']。count()。nlargest(5,'B')这只会返回整个系列,而不是每个组
–geominded
19年6月21日在7:13
现在在DataFrameGroupBys上也可以做到这一点的陈述似乎是错误的,链接的请求请求似乎仅将nlargest添加到了简单的DataFrames。哪一个比较不幸,因为如果要选择多个列怎么办?
– oulenz
19-10-23在13:53
#3 楼
有时,提前对整个数据进行排序非常耗时。我们可以首先分组,然后对每个组进行topk:
g = df.groupby(['id']).apply(lambda x: x.nlargest(topk,['value'])).reset_index(drop=True)
评论
熊猫数据框的可能重复项得到每个组的第一行“ top-n”并不意味着“ n个最上面/最前面/最前面的行”,就像您要找的一样!它表示“具有最大值的n行”。