第四十三天

老郭

今日主要学习内容**

43.1 综合实例 - Http代理采集验证系统-插件模式 编写并发验证类 -生产者消费者  任务进度 - 为什么多线程仍然会卡UI线程
43.2 综合实例 - Http代理采集验证系统-插件模式 加入线程安全缓冲队列 解决并发事件触发频繁卡死UI线程的问题

今日作业

1. 在多线程验证代理类中尝试使用非时间控制的缓冲队列?

曜石头

void Run () {
    ProxyInfo p;
    while (true) {
        if (proxyQueue.TryDequeue (out p)) {
            Task.Factory.StartNew (async (o)=>{
                Proxylnfo info = o as Proxylnfo;
                HttpClientHandler handler = new HttpClientHandler ();
                handler.UseProxy = true;
                handler.Proxy = new WebProxy (info.Ip, info.port);
                HttpClient client = new HttpClient (handler);
                client.Timeout = new TimeSpan (0, 0, 0, 5); //代理连接不上 代理可以连接上 连接不上百度 超时
                client.DefaultRequestHeaders.Add ("User-Agent", "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36");
                client.DefaultRequestHeaders.Add ("Accept", "*/*");
                try {
                    string rel = await client.GetStringAsync ("http://www.baidu.com");
                    if (rel.Contains ("京公网安备11000002000001号")) {
                        p.state = true;
                    }
                }catch (Exception ex) {
                    Console.WriteLine (ex);
                } finally {
                    //很重要必须要处理，不然资源会直接爆掉
                    client.Dispose ();
                    handler.Dispose ();
                    //ProxyVerifCompleteSuccess?.Invoke(info);
                    successQueue.Enqueue (info);
                }
            }, p);
        }else {
            sendToUI ();
        }
        if (successQueue.Count >= 20) {
            sendToUI ();
        }
        Thread.Sleep (200);
    }
}

private void sendToUI () {
    ProxyInfo info = new ProxyInfo ();
    List<ProxyInfo> plist = new List<ProxyInfo> ();
    while (successQueue.TryDequeue (out info)) {
        plist.Add (info);
    }
    ProxyVerifyCompleteSuccess?.Invoke (plist);
}

鱼塘是我的

英语太差了，最近还得恶补音标单词，不过学习起来很有意思，玩游戏一样，期待郭老师后面的模拟 数据库各类课程，老师注意身体。

void Run () {
    ProxyInfo p;
    while (true) {
        if (proxyQueue.TryDequeue (out p)) {
            Task.Factory.StartNew (async (o) => {
                Proxylnfo info = o as Proxylnfo;
                HttpClientHandler handler = new HttpClientHandler ();
                handler.UseProxy = true;
                handler.Proxy = new WebProxy (info.Ip, info.port);
                HttpClient client = new HttpClient (handler);
                client.Timeout = new TimeSpan (0, 0, 0, 5); //代理连接不上 代理可以连接上 连接不上百度 超时
                client.DefaultRequestHeaders.Add ("User-Agent", "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36");
                client.DefaultRequestHeaders.Add ("Accept", "*/*");

                try {
                    string rel = await client.GetStringAsync ("http://www.baidu.com");
                    if (rel.Contains ("京公网安备11000002000001号")) {
                        p.state = true;
                    }
                    else {

                    }
                }
                catch (Exception ex) {

                    Console.WriteLine (ex);
                } finally {
                    //很重要必须要处理，不然资源会直接爆掉
                    client.Dispose ();
                    handler.Dispose ();
                    //ProxyVerifCompleteSuccess?.Invoke(info);
                    successQueue.Enqueue (info);
                }
            }, p);
        }
        else {
            sendToUI ();
        }

        if (successQueue.Count >= 20) {
            sendToUI ();
        }
        Thread.Sleep (200);
    }
}

private void sendToUI () {
    ProxyInfo info = new ProxyInfo ();
    List<ProxyInfo> plist = new List<ProxyInfo> ();
    while (successQueue.TryDequeue (out info)) {
        plist.Add (info);
    }
    ProxyVerifyCompleteSuccess?.Invoke (plist);
}

qingshanlushui

在多线程验证代理类中尝试使用非时间控制的缓冲队列?

思路： 1、在每次验证结束后，Thread.Sleep(100); 前，判断successQueue.Count>=10  成立的话把当前已经验证的sendToUI
           2、在全部结束后，也就是 if (proxyQueue.TryDequeue(out p))的else里面也把当前已经验证的sendToUI（留下的不够10的部分）

        void Run() {
            ProxyInfo p;
            while (true)
            {
                if (proxyQueue.TryDequeue(out p))
                {
                    略。。同课堂代码
                }
                else {
                    sendToUI();
                }
               
                //Console.WriteLine(successQueue.Count);
                if (successQueue.Count>=10) {
                    sendToUI();
                }
                Thread.Sleep(100);
            }
        }


        private void sendToUI() {
            ProxyInfo info = new ProxyInfo();
            List<ProxyInfo> plist = new List<ProxyInfo>();
            while (successQueue.TryDequeue(out info))
            {
                plist.Add(info);
            }
            ProxyVerifyCompleteSuccess?.Invoke(plist);
        }