Python之超大文件处理

扑通

#今天花了一天写的，我也是刚学python一个月。可以处理超大文件#亲测处理一亿行文本没问题。


#去文本重复import time  # 载入时间计算模块
import threading  # 载入多线程模块
import io  #载入虚拟内存文件模块
lists=list()  #  将变量赋值成列表类型
sio = io.StringIO()
timem = time.time()  # 记录首次运行时间
gather = set()  # 将gather(集合)设置为集合型
file = input("请输入文本位置：")
Newfile = open(file+"NEW.txt", 'w+')  # 取重复后保存的文件
value = 0
def RunRead(Thread,who):  # 定义处理重复函数
    global gather  # 获得集合变量的权限
    global Newfile  # 获得文件属性的权限
    global value  # 获得值value（即线程等差数列）的权限
    global lists  # 获得列表权限
    i = Thread  # 将第n个线程赋值给i
    record = who  # 保存第n个线程 保留计次线程
    Repeat=enumerate(open(file, 'r'))  # 欲写入文件准备 将要去重复的文件读取进来
    for cur_line_number, line in Repeat:  # 循环获取第n行文本
        if cur_line_number+1 == i:  # 判断第n行是否与i一致
            gather.add(line)  # 向集合插入一个值
            print(i,Thread)  # 输出去重复到第几个了和哪个线程执行的
            i += record  # 自增保留的计次线程
    else:  # 如果去重复完毕执行保存文件
        value = value+i-cur_line_number-1  # 1加到线程总数
        if value==(who*(1+who))/2:  # 判断是否去重复完毕 / 1加到线程总数
            lists = list(gather)
            OpenThreadTO()  # 创建写入文件线程
Backup=0
def save(Thread,who):#创建写入文件函数
    global sio  # 获得虚拟io属性权限
    global lists  # 获得列表权限
    global Backup  # 获得用于记录自增Thread权限
    i = Thread  # 将第n个线程赋值给i
    while Thread < len(lists):# 判断并循环去重复后的行数
        # Newfile.write(list(gather)[Thread])  # 向硬盘写入第n行
        sio.write(lists[Thread])  # 写入虚拟内存
        print("正在写入第%d行" % (Thread + 1), "一共%d行" % len(list(gather)),i+1)  # 输出写到第n行和输出一共要写入多少行
        Backup = Backup + Thread  # 记录自增Thread用于判断是否写入虚拟内存完毕
        if Backup==len(lists)*(0+len(lists)-1)/2:  # 判断两值是否相等 如果相等写入从虚拟内存写入硬盘
            Newfile.write(sio.getvalue())  # 从虚拟内存写入硬盘
            print(time.time() - timem)  # 循环结束后输出去重复和写入文件的总时间
        Thread += who  # 第n行递增
Multithreading = 100  # 输入线程数量
def OpenThread():  # 创建去重复线程函数
    global Multithreading  # 获得线程数量权限
    for i in range(Multithreading):  # 循环第n个线程
        threading.Thread(target=RunRead,args=(i+1,Multithreading)).start()  # 创建并执行多线程
def OpenThreadTO():  # 创建写入文件线程函数
    global Multithreading  # 获得线程数量权限
    for i in range(Multithreading):  # 循环第n个线程
        threading.Thread(target=save,args=(i,Multithreading)).start()  # 创建并执行多线程
OpenThread()  # 运行程序

懒人定制软件

奉上小小红包希望笑纳  

遵义静以修身

厉害了，非常厉害

一粒红尘

python 调用函数没有易语言提示的这么舒服

mainshentong

酷酷酷酷酷酷

luckylong2019

加分加分，为啥不学php

扑通

a474335897 发表于 2019-1-20 22:48
其实不需要这么麻烦的，python有个内置函数叫readlines
f=open("fdsf.txt","r",encoding="utf-8") # 这里 ...

不是代码长就是麻烦 你的方法之前都用过

kid791

一般这种情况还要把处理的时间对比发出来

lukun

谢谢楼主的分享

影知

还每一行都注解了

Bszk

兄弟，发错版块了吧