Monthly Archives: 五月 2023

Hello World

macOS to_pickle的一个小坑

本地数据分析,mysql提取初始数据后,中间数据准备用pkl暂存,但是实际执行,to_pickle这行报错了:
OSError: [Errno 22] Invalid argument
简单搜了一下解决方案,定位在”pkl对象太大,大于2G,macos无法直接dump”,解决方案是分批存:

不过我没按上面这个方法做,而是用了更偷懒的分段方法:分成两个dkl保存~~(*^▽^*)