ascii无特定字符压缩数据的表示

dfddblmv  于 2021-06-03  发布在  Hadoop
关注(0)|答案(2)|浏览(257)

我想用python用hadoop处理大量的pickle数据。我要做的是将我的数据表示为某个键(文件id),并将压缩的pickle表示为一个大文件中的值。
如果我只是简单地将二进制代码作为ascii放在我想用hadoop处理的文件中,我会得到大量的'\t'和'\n'值,它们会干扰hadoop文件的结构(key,value)。
我的问题是:如何使用python压缩一些数据并将其表示为ascii文件中的字符串,以避免某些字符(如'\t'和'\n')?
或者我的方法本身就是无效的?
我真的很感激任何帮助!

vnjpjtjt

vnjpjtjt1#

对于压缩,您可以使用 zlib 或者 bz2 模块。对于表示,可以使用 base64 模块。

whlutmcx

whlutmcx2#

可以将pickle对象转换为 base64 使用 base64 模块。

相关问题