Python之超大文件处理

Foreign000

谢谢楼主的分享

531142747

a474335897 发表于 2019-1-20 22:32
你这个牺牲了内存来进行数据处理，如果处理文本超过了你的内存，那么你这个程序就崩了，python有个readline ...

支持个，正在学习python

a474335897

其实不需要这么麻烦的，python有个内置函数叫readlines
f=open("fdsf.txt","r",encoding="utf-8") # 这里这个encoding一定要写，因为有时候电脑编码是gbk的，而python环境下是utf-8的，这样会出错，所以这里直接指定好
for i in f.readlines(): # 这里的r.readlines() 是个列表，如果你这里需要去重的话直接使用一个set函数直接做去重就可以了，这样不需要再次做去重了，或者直接在后期添加列表中写个set去重
print(i)   # 这里写替换规则即可
以上这种方法会使得在大文件读取时让内存爆炸，比如在实际工作环境中，做数据处理的时候会遇到数据大于你的内存，10G的数据，而你的电脑只有8G的内存，这个样就是崩溃，这个时候使用下面这种
with open("文件名","r",encoding="utf-8")as f:
    while 1:              # 死循环，这里不写true是因为习惯，因为除了0意外的所有都是true
        a=f.readline()    # 这里每次读取一行
        if a:                  # 判断这个a是不是为空，如果不为空则执行下一步，为空执行else
            print(a) # 这里可以做数据处理
        else:
            break   # 跳出

a474335897

你这个牺牲了内存来进行数据处理，如果处理文本超过了你的内存，那么你这个程序就崩了，python有个readline分行读取或者使用yield来操作，这样保证了保证了不牺牲内存，又提升了时间，enumerate实质是一个迭代器，还有一个，就是作者这里大量使用global，其实这里不用，只有局部变量往全局变量赋值的时候用，但是这个列表这些不需要使用global，因为列表是已经开辟好内存空间了，你并没有重新指向新的内存地址，只是在往内存地址里面添加值

huaidan2015

厉害 厉害。每一行都有注解。。加分 加分！！

汉族

python的支持库丰富啊 羡慕