我如何比较PySpark中另一个数据框的列

由 发布于 pythonpysparkbigdataapache-spark-sql
 收藏

我有两个数据框： 首先使用AVERAGE值：

+----------+-----+  
| Category | AVG |  
+----------+-----+  
| Categ    | 1.0 |  
+----------+-----+  
| Categ2   | 0.5 | 
+----------+-----+
...

... 第二个具有休闲类别：类别，名称，价格 问题是： 如何从第一张表中删除所有价格低于平均价格的记录？ 我尝试过这种方式：

dataGreaterAvge = data.where(data.Price >= avgCategoryPrice.where(data.Category == avgCategoryPrice.Category).collect()[0]["avg(Price)"])

dataGreaterAvge  - First dataframe
data - Second dataframe

但是，这无法正常工作，因为它仅从平均值表中获取第一个元素的值