需求：订单列表里的点位信息，只有点位编号，没有点位场景类型，需要补齐这个数据，以便实现按场景分析订单数据
1 2 3 4 5 | orderDf = pd.read_csv('path...') #订单数据 nodePlaces = ... #查库，返回 点位编号 - 场景类型 字典数据 orderDf['place'] = orderDf.apply(lambda x: nodePlaces[x.nodeId] if x.nodeId in nodePlaces else 0, axis = 1) //#补齐场景类型字段place print(orderDf.colums) #查库补齐效果 print(orderDf.tail(5)) |
实际测试，orderDf七千万行，nodePlaces五万个点位，添加place这一行，执行时间约为1分钟
over
—–
转载请注明出处：http://www.jiangkl.com/2021/07/pandas_apply_lambda
—–
两周后补充：
这个需求，还有一个效率更高的方法，就是使用pd.merge()
已上面的例子继续折腾：
1 2 3 4 5 6 | orderDf = pd.read_csv('path...') #订单数据 nodePlaces = ... #查库，返回 点位编号 - 场景类型 字典数据 nodeDf = pd.DataFrame(list(nodePlaces()), columns=['nodeId', 'place']) #转成datafram orderDf = pd.merge(orderDf, nodeDf, on='nodeId', how='left') //#补齐场景类型字段place print(orderDf.colums) #查库补齐效果 print(orderDf.tail(5)) |
我没实际在使用上面的例子做测试，而是再另一个场景下使用了这种方法，实际对比，原来apply使用200秒的一个需求，换成这里的merge以后，降到了700毫秒，降了三个数量级！
不过这个方法也有个缺陷，那就是，如果nodePlaces里没有这个nodeId，orderDf的place字段，会被设置为NaN，解决的办法有两个：
1. 使用fillna替换
2. 构建nodeDf的时候，将nodePlaces里没有的nodeId也补进去
关于本站