关于多线程下载的问题

koma610630

萌新 各种查写了一个批量下载文件的
但是目前有几个问题，
一  线程数量超过200之后 ，下载就会各种失败，下的文件是0KB  
已经添加了锁 但是还是不好使。
二  创建的目录有问题，不能自动按下载地址创建，
比如目前的目录这样创建



需要创建6290\webres\anim\player   6290\webres\anim\monster这样的  

3 程序假死  点击开始下载的时候 ，程序无响应 实际还在下的的

4  json保存的是下载地址，

如何选择josn后 对每行数据前面加上下载地址头，



另外老哥们帮看下代码 还能在优化下载速度不 感激不尽

[Python] 纯文本查看 复制代码

import json
import os
import requests
import threading
import tkinter as tk
from tkinter import filedialog

# 定义下载函数
def download_file(download_url, directory, lock):
    # 获取下载文件的文件名
    filename = os.path.basename(download_url)
    print('正在下载文件：', filename)
    
    # 创建目录
    os.makedirs(directory, exist_ok=True)
    # 下载文件
    response = requests.get(download_url)
    with open(os.path.join(directory, filename), 'wb') as f:
        f.write(response.content)

# 定义选择文件函数
def choose_file():
    file_path = filedialog.askopenfilename()
    file_path_var.set(file_path)
    # 读取本地json文件
    with open(file_path, 'r') as f:
        data = json.load(f)
    # 打印下载地址数量
    print('下载地址数量：', len(data))

# 定义下载函数
def download(max_threads):
    # 读取本地json文件
    with open(file_path_var.get(), 'r') as f:
        data = json.load(f)
    # 创建线程池
    threads = []
    # 创建锁对象
    lock = threading.Lock()
    # 遍历下载地址并下载文件
    count = 0
    for download_url in data:
        # 获取下载文件的目录
        directory = os.path.dirname(download_url)
        # 去除非法字符
        directory = directory.replace(':', '').replace('/', '')
        # 创建线程并启动
        t = threading.Thread(target=download_file, args=(download_url, directory, lock))
        t.start()
        threads.append(t)
        # 添加延迟
        count += 1
        if count >= max_threads:
            # 等待所有线程结束
            for t in threads:
                t.join()
            # 清空线程池和计数器
            threads = []
            count = 0
    # 等待剩余线程结束
    for t in threads:
        t.join()


# 创建窗口
window = tk.Tk()
window.title('批量下载')
window.geometry('400x250')

# 创建选择文件按钮
file_path_var = tk.StringVar()
file_path_label = tk.Label(window, textvariable=file_path_var)
file_path_label.pack()
choose_file_button = tk.Button(window, text='选择文件', command=choose_file)
choose_file_button.pack()

# 创建线程数量标签和文本框
thread_label = tk.Label(window, text='线程数量：')
thread_label.pack()
thread_entry = tk.Entry(window)
thread_entry.pack()

# 创建下载按钮
download_button = tk.Button(window, text='下载', command=lambda: download(int(thread_entry.get())))
download_button.pack()

# 运行窗口
window.mainloop()

koma610630

需要的附件 code.zip (120.83 KB, 下载次数: 1)

2023-5-10 20:44 上传

点击文件名下载附件

想学易语言

你的要求不多，也就7，8个而已。

koma610630

想学易语言 发表于 2023-5-11 10:59
你的要求不多，也就7，8个而已。

哈哈哈，除了第一个 都解决了。。

yuzhong

11111111111111111111111111111111

antoni

支持开源~！感谢分享