MemoryError when trying to load 5GB text file(尝试加载5 GB文本文件时出现内存错误)
|
<![CDATA[<i id='jtpvy'><tr id='jtpvy'><dt id='jtpvy'><q id='jtpvy'><span id='jtpvy'><b id='jtpvy'><form id='jtpvy'><ins id='jtpvy'></ins><ul id='jtpvy'></ul><sub id='jtpvy'></sub></form><legend id='jtpvy'></legend><bdo id='jtpvy'><pre id='jtpvy'><center id='jtpvy'></center></pre></bdo></b><th id='jtpvy'></th></span></q></dt></tr></i>]]><![CDATA[<div id='jtpvy'><tfoot id='jtpvy'></tfoot><dl id='jtpvy'><fieldset id='jtpvy'></fieldset></dl></div>]]>
|
<![CDATA[<bdo id='jtpvy'></bdo><ul id='jtpvy'></ul>]]>
| |
| |
| |
| |
<![CDATA[<tfoot id='jtpvy'></tfoot>]]> | |
|
|
|
<![CDATA[<legend id='jtpvy'><style id='jtpvy'><dir id='jtpvy'><q id='jtpvy'></q></dir></style></legend>]]>
<![CDATA[<small id='jtpvy'></small><noframes id='jtpvy'>]]>
|
本文介绍了尝试加载5 GB文本文件时出现内存错误的处理方法，对大家解决问题具有一定的参考价值，需要的朋友们下面随着跟版网的小编来一起学习吧！
问题描述
我要读取以文本格式存储在5 GB文件中的数据。当我尝试使用以下代码读取文件内容时：
file = open('../data/entries_en.txt', 'r')
data = file.readlines()
发生错误：
data=file.readines()
内存错误
我的笔记本电脑有8 GB内存，当我想运行程序时，至少有4 GB是空的。但是当我监控系统性能时，当python使用大约1.5 GB的内存时，会出现这个错误。
我使用的是python2.7，但如果有问题，请告诉我2.x和3.x的解决方案
要阅读此文件，我应该做些什么？
推荐答案
处理大文件的最佳方式是-
with open('../file.txt', 'r') as f:
for line in f:
# do stuff
readlines()会出错，因为您试图将过大的文件直接加载到内存中。处理完文件后，上面的代码将自动关闭该文件。
这篇关于尝试加载5 GB文本文件时出现内存错误的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持跟版网！
本站部分内容来源互联网,如果有图片或者内容侵犯了您的权益，请联系我们，我们会在确认后第一时间进行删除！
