Блог

Я работаю над приложением C # winforms, и у меня есть около 84 URL-адресов, которые я хочу проанализировать с помощью html agility pack

для 84 записей требуется 150 секунд, чтобы выполнить задание с помощью приведенного ниже кода.

Мне было интересно, какие варианты у меня есть, чтобы ускорить его выполнение? любая помощь очень ценится!

Ниже приведена моя структура кода для выполнения этой работы

 public class URL_DATA
{
    public string URL { get; set; }
    public HtmlDocument doc  { get; set; }
}

then I call the below function to do the job

 public async Task ProcessUrls(string cookie)
 {
                var tsk = new List<Task>();
                //UrlsToProcess is List<URL_DATA>
                UrlsToProcess.ForEach(async data =>
                {
                    tsk.Add(Task.Run(async () => 
                    {
                      var htmToParse =  await ScrapUtils.GetAgilityDocby(cookie, data.URL);

                        var htmlDoc = new HtmlDocument();
                        htmlDoc.LoadHtml(htmToParse);
                        data.doc = htmlDoc;

                    }));

                });
                await Task.WhenAll(tsk).ConfigureAwait(false);    
   }
  

и, наконец, ниже приведен метод, который я использую для получения строки запроса.

  public static async Task<string> GetAgilityDocby(string cookie, string url)
        {
            using (var wc = new WebClient())
            {
                wc.Proxy = null;// WebRequest.DefaultWebProxy;// GlobalProxySelection.GetEmptyWebProxy();
                wc.Headers.Add(HttpRequestHeader.Cookie, cookie);

                wc.Headers.Add(HttpRequestHeader.UserAgent,
                    "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36");
                wc.Encoding = Encoding.UTF8;
                test  ;
                return await  wc.DownloadStringTaskAsync(url).ConfigureAwait(false);
            }
        }
  

Вы используете ForEach с асинхронным лямбда-выражением. У меня есть подозрение, что это заставляет ваш код выполняться последовательно, а не параллельно, поскольку каждая следующая итерация будет выполнять await.

Итак, что вы можете сделать, чтобы выяснить это наверняка:

1. Проверьте максимальное время операции для одного URL-адреса, это время должно соответствовать скорости всего процесса (если у вас достаточно пропускной способности, памяти и процессора).
2. Убедитесь, что ваши операции действительно выполняются параллельно. Например. путем вывода счетчика на консоль. Это не должно быть последовательным и выглядеть достаточно случайным

Вы можете изменить свой код создания задачи на этот, например, попробовать:

 var allTasks = myUrls.Select(url => Task.Run(() => {yourCode})
Task.WhenAll(allTasks);
  

Попробуйте увеличить минимальное количество запущенных потоков на

 ThreadPool.SetMinThreads(84,84);
  

Это должно значительно ускорить процесс.

Что касается создания задачи, на которое указал Илья, я бы порекомендовал вам полностью исключить часть Task.Run / AwaitAll и использовать параллельный механизм, который был разработан именно для такого рода задач:

 Parallel.ForEach(UrlsToProcess, data =>
{
    var htmToParse =  ScrapUtils.GetAgilityDocby(cookie, data.URL);

    var htmlDoc = new HtmlDocument();
    htmlDoc.LoadHtml(htmToParse);
    data.doc = htmlDoc;
});