Блог

Мне удается изменить заголовки моего сообщения и ПОЛУЧАТЬ запросы, но я заметил, что, когда сайт работает по протоколу HTTPS, он отправляет запрос на подключение, чтобы запросить сертификат SSL, и в этом запросе на подключение агент пользователя не работает

Запрос на ПОДКЛЮЧЕНИЕ
ПОЛУЧИТЬ запрос

Для получения информации мои функции Java :

 static int codeHttp=200;
public String getContent(CrawlerUrl url,boolean sansCrawl) { // methode essentielle -- 

    
    String userAgent = crawl.userAgent;
    
    try {
        org.jsoup.Connection req = Jsoup.connect(Fc.urlClean(url.getUrlString()));
        req.userAgent(userAgent);
        req.timeout(timeout);
        req.header( "Accept-Language", "fr,fr-FR;q=0.8,en-US;q=0.5,en;q=0.3" );
        req.header( "Accept", "text/javascript, text/html, application/xml, text/xml, */*" );
        if(Fc.cookieValue!=null) req.header("Cookie", Fc.cookieValue);
        if(Fc.CSRFToken!=null) req.header("X-CSRFToken",Fc.CSRFToken);
        



        Response rep=req.execute();
        Map<String,String> cookies=rep.cookies();
        //if(cookies!=null amp;amp; !url.getURL().toString().substring(url.getURL().toString().length()-11).equals("/robots.txt")) Fc.cookieValue=cookieTabToString(cookies);
        
        ....

public String getContent2(CrawlerUrl url,boolean sansCrawl) { // methode essentielle -- 
    // recuperation du fichier .html depuis le serveur

    
    String userAgent = crawl.userAgent;
    
  BufferedReader reader = null;
  HttpURLConnection conn = null;
  Map<String, List<String>> entetes=null;
  String text = new String();

  StringBuilder sb = new StringBuilder();
    try {

  //CookieHandler.setDefault(new CookieManager(null, CookiePolicy.ACCEPT_ALL));
    
  URL url2 = new URL(Fc.urlClean(url.getUrlString()));
  conn = (HttpURLConnection) url2.openConnection();
  
  
  conn.setConnectTimeout(timeout);
  conn.setReadTimeout(timeout);
  conn.setRequestProperty( "Host", url2.getHost() );
  conn.setRequestProperty( "Accept", "text/javascript, text/html, application/xml, text/xml, */*" );//text/html,application/xhtml xml,application/xml;q=0.9,*/*;q=0.8
  conn.setRequestProperty( "Accept-Language", "fr,fr-FR;q=0.8,en-US;q=0.5,en;q=0.3" );
  conn.setRequestProperty( "Connection", "keep-alive" );
  //conn.setRequestProperty( "X-Requested-With", "XMLHttpRequest" );
  //conn.setRequestProperty( "X-Prototype-Version", "1.7" );
  conn.setRequestProperty( "User-Agent", userAgent );
  if(Fc.cookieValue!=null) conn.setRequestProperty("Cookie", Fc.cookieValue);
  if(Fc.CSRFToken!=null) conn.setRequestProperty("X-CSRFToken",Fc.CSRFToken);

  ....