Pyspark从列表创建组合

由胖子发布于 2020-05-23 20:53:08

说，我有数据框：

           a               |     b
---------------------------+------------
 some_string               |     A
 another_string            |     B

而且我有[1,2,3]这样的整数列表我想要的-是将列表列添加到我的数据框。

           a               |     b     |     c      
---------------------------+-----------+------------
 some_string               |     A     |     1      
 some_string               |     A     |     2      
 some_string               |     A     |     3      
 another_string            |     B     |     1      
 another_string            |     B     |     2      
 another_string            |     B     |     3

没有udf，有什么办法吗？

FBI

2020-05-23 20:53:09

Use crossJoin. Please check below code.

>>> dfa.show()
+--------------+---+
|             a|  b|
+--------------+---+
|   some_string|  A|
|another_string|  B|
+--------------+---+

>>> dfb.show()
+---+
| id|
+---+
|  1|
|  2|
|  3|
+---+

>>> dfa.crossJoin(dfb).show()
+--------------+---+---+
|             a|  b| id|
+--------------+---+---+
|   some_string|  A|  1|
|   some_string|  A|  2|
|   some_string|  A|  3|
|another_string|  B|  1|
|another_string|  B|  2|
|another_string|  B|  3|
+--------------+---+---+

胖子

这家伙很懒，什么都没留下

积分
0
话题
0
评论
3335
注册排名
1898