暴减内存!Pandas 自动优化骚操作.docx
《暴减内存!Pandas 自动优化骚操作.docx》由会员分享,可在线阅读,更多相关《暴减内存!Pandas 自动优化骚操作.docx(5页珍藏版)》请在第一文库网上搜索。
1、暴减内存! Pandas三动优化骚操作导读:本文主题,自动优化数据类型,暴省内存!平日工作里经常会听到周边小伙伴说:我X,内存又爆了 !对于这样的话我听了不下百遍。正因为如此,在资源有限的情况下,我们都是变着法的减少内存占用,一些常用的方法如:1. gc. collect 和 del 回收2. 使用csv的替代品,如feather. Parquet3. 优化代码,尽量使用Numpy矩阵代替for循环和apply4. .本次再分享一个骚操作,就是通过改变数据类型来压缩内存空间,可以延伸到所有数据类型。正常情况下,pandas会给数据列自动设置默认的数据类型,其中最令人讨厌并且最消耗内存的数据类型
2、就是object(O),这也恰好限制了 pandas的一些功能。下面是pandas、Python、Numpy的数据类型列表,对比你就发现pandas的数据类型是有很大优化空间的。Pandas dtypePythontypeNumPy typeUsageobjectstrstring- UnicodeTextint64intint, int8, intl6, int32, int64, uint8, uintl6, uint32, uint64Integer numbersfloat64floatfloat, float 16, float32, fl oat 64Floating point
3、numbersPandas dtypePythontypeNumPy typeUsageboolboolbool_True/False valuesdatetime64NAdatctime64nsDate and time valuestimedeltansNANADifferences betweentwo datetimescategoryNANAFinite list of textvalues来源:http : /pbpython. com/pandas_dtypes, html很多默认的数据类型占用很多内存空间,其实根据没有必要,我们完全可以压缩到可能小的子类型。Data typDe
4、scriptionebool Boolean(True or False) stored as a byteDefault integer type (same as C long ; normally either int64orint、一int32)intcIdentical to C int(normally int32 or int64)Integer used for indexing (same as C ssize_t; normally either iintp、nt32 or int64)int8Byte(-128 to 127)intl6Integer(-32768 to
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 暴减内存!Pandas 自动优化骚操作 内存 Pandas 自动 优化 操作
