跳到主要内容

crc32：CRC32校验

速查结论

crc32(expr) 是 Spark SQL 中用于计算输入表达式的循环冗余校验值（CRC32）并返回 bigint 数值的哈希函数。

语法​

crc32(expr)

参数说明​

参数类型说明
exprSTRING/BINARY要计算 CRC32 校验值的表达式。

示例​

> SELECT crc32('Spark');
 1557323817

常见报错与避坑指南​

  • 返回值类型：crc32() 返回 BIGINT 类型的数值，而非十六进制字符串。如果需要十六进制表示，可以使用 hex() 函数进行转换。
  • 校验用途：CRC32 适用于数据完整性校验（如检测传输错误），但不适用于密码学安全场景。如需安全哈希，请使用 md5()、sha() 或 sha2() 函数。

Since: 1.5.0

微信公众号二维码关注公众号
交流微信二维码加群交流
赞赏二维码赞赏

你可能还想看

相关题目
regr_r2：确定系数log1p：log(1+x)计算Spark Functions 隐私政策