array_distinct：数组去重
速查结论
array_distinct(array) 是 Spark SQL 中用于移除数组中重复的元素的函数。
语法
array_distinct(array)
参数说明
| 参数 | 说明 |
|---|---|
array | 输入的数组表达式 |
示例
> SELECT array_distinct(array(1, 2, 3, null, 3));
[1,2,3,null]
常见报错与避坑指南
- NULL 元素的处理：array_distinct 会保留数组中的 NULL 值（多个 NULL 去重后保留一个），不会将其移除。
- 返回新数组：函数返回去重后的新数组，原数组不受影响。
Since: 2.4.0
关注公众号
加群交流
赞赏