解决python读取几千万行的大表内存问题

Python导数据的时候,须要在一个大表上读取很大的结果集。python 若是用传统的方法,Python的内存会爆掉,传统的读取方式默认在内存里缓存下全部行而后再处理,内存容易溢出mysql 解决的方法:sql 1)使用SSCursor(流式游标),避免客户端占用大量内存。(这个cursor实际上没有缓存下来任何数据,它不会读取全部全部到内存中,它的作法是从储存块中读取记录,而且一条一条返回给你。
相关文章
相关标签/搜索