我想用python用hadoop处理大量的pickle数据。我要做的是将我的数据表示为某个键(文件id),并将压缩的pickle表示为一个大文件中的值。
如果我只是简单地将二进制代码作为ascii放在我想用hadoop处理的文件中,我会得到大量的'\t'和'\n'值,它们会干扰hadoop文件的结构(key,value)。
我的问题是:如何使用python压缩一些数据并将其表示为ascii文件中的字符串,以避免某些字符(如'\t'和'\n')?
或者我的方法本身就是无效的?
我真的很感激任何帮助!
2条答案
按热度按时间vnjpjtjt1#
对于压缩,您可以使用
zlib
或者bz2
模块。对于表示,可以使用base64
模块。whlutmcx2#
可以将pickle对象转换为
base64
使用base64
模块。