ElasticBeanstalk nginx возвращает 400 неверных запросов при отправке заголовка контекстной длины

#docker #nginx #.net-core #nginx-reverse-proxy

#docker #nginx #.net-ядро #nginx-обратный прокси

Вопрос:

Мы пробуем наше первое веб-приложение .Net Core 3.0 в контейнере Docker. Мы развертываем через AWS ElasticBeanstalk на AMI Amazon Linux 2. Мы можем выполнять любые запросы GET сервера без проблем. Все, что имеет тело в запросе, завершается ошибкой 400 неверных запросов. Сбой как ИСПРАВЛЕНИЯ, так и публикации. ИСПРАВЛЕНИЕ работает, если конечная точка не ожидает тела. Отправляемый нами контент составляет всего 147 байт, поэтому он даже не должен достигать значения client_max_body_size по умолчанию 1m.

Я обнаружил, что если я удаляю заголовок Content-Length в моем тесте Postman, запрос передается на сервер, но, похоже, тело не включено.

Я протестировал локальный запуск как из VisualStudio, так и из Docker Desktop, и это работает. Моя локальная ОС — Windows 10, а не Linux, и я не использую nginx или IIS локально.

Я попытался установить для моего client_max_body_size значение 0 (и 20m), поместив файл с именем nginxext.conf в «.platform /nginx /conf.d». Я почти уверен, что он читается, потому что в первый раз я получил ошибку, потому что файл не был закодирован в UTF-8.

Я знаю, что мне не хватает чего-то действительно основного. Это просто не похоже на готовую конфигурацию, использующую .Net Core 3.0 в Docker на Linux для веб-сайта, который принимает сообщения. ??? Не говоря уже о публикации чего-либо с телом.

Заранее спасибо,

Побочный вопрос: Кто-нибудь знает, где я могу найти конфигурацию nginx «по умолчанию», используемую AWS для своих образов Amazon Linux 2?

Комментарии:

1. Чтобы получить настройки nginx по умолчанию в EB, вы можете подключиться к экземпляру EB по SSH и проверить его оттуда.

2. @Marcin — Спасибо, это хорошая идея. Я думал об этом, но я искал источник в Интернете. Я не силен в Linux, но, вероятно, смогу разобраться.

3. Я могу проверить это на своем экземпляре EB и опубликовать его, если это поможет?

4. @Marcin — Спасибо. Я думаю, это было бы то, что я ищу, если это AWS Amazon Linux 2 AMI. Я изучаю, как настроить закрытые ключи при развертывании через ElasticBeanstalk, чтобы я мог последовать вашему совету по извлечению его из моего экземпляра EC2 напрямую.

Ответ №1:

В итоге я запросил поддержку у AWS. После перехода туда и обратно и просмотра некоторых ссылок, которые он предоставил, мы смогли решить проблему.

https://learn.microsoft.com/en-us/aspnet/core/host-and-deploy/linux-nginx?view=aspnetcore-3.1
https://github.com/aspnet/KestrelHttpServer/issues/1263

В результате моего развертывания я получил полный файл nginx.conf, но я почти уверен, что именно эти строки устранили проблему для меня.

   http
    server
        location / {
            proxy_pass                                  http://docker;
            proxy_http_version                          1.1;
            proxy_set_header    Connection              $http_connection;
            proxy_set_header    Upgrade                 $http_upgrade;
            proxy_set_header    Host                    $host;
            proxy_set_header    X-Real-IP               $remote_addr;
            proxy_set_header    X-Forwarded-Host        $http_host;
            proxy_set_header    X-Forwarded-For         $proxy_add_x_forwarded_for;
            proxy_set_header    X-Forwarded-Proto       $scheme;
            proxy_cache_bypass                          $http_upgrade;

            client_max_body_size 100M;
  

Я также добавил эти строки в самое начало моего запуска.Метод конфигурации().

 using Microsoft.AspNetCore.HttpOverrides;
        
        app.UseForwardedHeaders(new ForwardedHeadersOptions
        {
            ForwardedHeaders = ForwardedHeaders.XForwardedFor | ForwardedHeaders.XForwardedProto
        });
  

Спасибо Али П (служба поддержки AWS) и @Marcin за вашу помощь.

Полный файл nginx.conf

 nginx: the configuration file /etc/nginx/nginx.conf syntax is ok
nginx: configuration file /etc/nginx/nginx.conf test is successful
# configuration file /etc/nginx/nginx.conf:
# Elastic Beanstalk Nginx Configuration File ( nginx  for my app ) :

user  nginx;
worker_processes  auto;
error_log  /var/log/nginx/error.log;
pid        /var/run/nginx.pid;
worker_rlimit_nofile    32136;

events {
    worker_connections 2048;
}

http {
    include       /etc/nginx/mime.types;
    default_type  application/octet-stream;

    access_log    /var/log/nginx/access.log;


    log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
                          '$status $body_bytes_sent "$http_referer" '
                          '"$http_user_agent" "$http_x_forwarded_for"';

    include  conf.d/*.conf;

    map $http_upgrade $connection_upgrade {
            default       "upgrade";
    }

    server {
        listen 80 default_server;
        gzip on;
        gzip_comp_level 4;
        gzip_types text/plain text/css application/json application/x-javascript text/xml application/xml application/xml rss text/javascript;

        access_log    /var/log/nginx/access.log main;

        location / {
            proxy_pass                                  http://docker;
            proxy_http_version                          1.1;
            #proxy_set_header    Connection              $connection_upgrade;
            #proxy_set_header    Connection keep-alive;
            #proxy_set_header    Connection              "Upgrade";
            proxy_set_header    Connection              $http_connection;
            proxy_set_header    Upgrade                 $http_upgrade;
            proxy_set_header    Host                    $host;
            proxy_set_header    X-Real-IP               $remote_addr;
            proxy_set_header    X-Forwarded-Host        $http_host;
            proxy_set_header    X-Forwarded-For         $proxy_add_x_forwarded_for;
            proxy_set_header    X-Forwarded-Proto       $scheme;
            proxy_cache_bypass                          $http_upgrade;

            client_max_body_size 100M;

        }

        # Include the Elastic Beanstalk generated locations
        include conf.d/elasticbeanstalk/*.conf;
    }
}

# configuration file /etc/nginx/mime.types:

types {
    text/html                                        html htm shtml;
    text/css                                         css;
    text/xml                                         xml;
    image/gif                                        gif;
    image/jpeg                                       jpeg jpg;
    application/javascript                           js;
    application/atom xml                             atom;
    application/rss xml                              rss;

    text/mathml                                      mml;
    text/plain                                       txt;
    text/vnd.sun.j2me.app-descriptor                 jad;
    text/vnd.wap.wml                                 wml;
    text/x-component                                 htc;

    image/png                                        png;
    image/svg xml                                    svg svgz;
    image/tiff                                       tif tiff;
    image/vnd.wap.wbmp                               wbmp;
    image/webp                                       webp;
    image/x-icon                                     ico;
    image/x-jng                                      jng;
    image/x-ms-bmp                                   bmp;

    font/woff                                        woff;
    font/woff2                                       woff2;

    application/java-archive                         jar war ear;
    application/json                                 json;
    application/mac-binhex40                         hqx;
    application/msword                               doc;
    application/pdf                                  pdf;
    application/postscript                           ps eps ai;
    application/rtf                                  rtf;
    application/vnd.apple.mpegurl                    m3u8;
    application/vnd.google-earth.kml xml             kml;
    application/vnd.google-earth.kmz                 kmz;
    application/vnd.ms-excel                         xls;
    application/vnd.ms-fontobject                    eot;
    application/vnd.ms-powerpoint                    ppt;
    application/vnd.oasis.opendocument.graphics      odg;
    application/vnd.oasis.opendocument.presentation  odp;
    application/vnd.oasis.opendocument.spreadsheet   ods;
    application/vnd.oasis.opendocument.text          odt;
    application/vnd.openxmlformats-officedocument.presentationml.presentation
                                                     pptx;
    application/vnd.openxmlformats-officedocument.spreadsheetml.sheet
                                                     xlsx;
    application/vnd.openxmlformats-officedocument.wordprocessingml.document
                                                     docx;
    application/vnd.wap.wmlc                         wmlc;
    application/x-7z-compressed                      7z;
    application/x-cocoa                              cco;
    application/x-java-archive-diff                  jardiff;
    application/x-java-jnlp-file                     jnlp;
    application/x-makeself                           run;
    application/x-perl                               pl pm;
    application/x-pilot                              prc pdb;
    application/x-rar-compressed                     rar;
    application/x-redhat-package-manager             rpm;
    application/x-sea                                sea;
    application/x-shockwave-flash                    swf;
    application/x-stuffit                            sit;
    application/x-tcl                                tcl tk;
    application/x-x509-ca-cert                       der pem crt;
    application/x-xpinstall                          xpi;
    application/xhtml xml                            xhtml;
    application/xspf xml                             xspf;
    application/zip                                  zip;

    application/octet-stream                         bin exe dll;
    application/octet-stream                         deb;
    application/octet-stream                         dmg;
    application/octet-stream                         iso img;
    application/octet-stream                         msi msp msm;

    audio/midi                                       mid midi kar;
    audio/mpeg                                       mp3;
    audio/ogg                                        ogg;
    audio/x-m4a                                      m4a;
    audio/x-realaudio                                ra;

    video/3gpp                                       3gpp 3gp;
    video/mp2t                                       ts;
    video/mp4                                        mp4;
    video/mpeg                                       mpeg mpg;
    video/quicktime                                  mov;
    video/webm                                       webm;
    video/x-flv                                      flv;
    video/x-m4v                                      m4v;
    video/x-mng                                      mng;
    video/x-ms-asf                                   asx asf;
    video/x-ms-wmv                                   wmv;
    video/x-msvideo                                  avi;
}

# configuration file /etc/nginx/conf.d/elasticbeanstalk-nginx-docker-upstream.conf:
upstream docker {
    server 172.17.0.3:80;
    keepalive 256;
}
# configuration file /etc/nginx/conf.d/healthd_logformat.conf:
log_format healthd  '$msec"$uri"'
                    '$status"$request_time"$upstream_response_time"'
                    '$http_x_forwarded_for';
# configuration file /etc/nginx/conf.d/elasticbeanstalk/healthd.conf:
if ($time_iso8601 ~ "^(d{4})-(d{2})-(d{2})T(d{2})") {
    set $year $1;
    set $month $2;
    set $day $3;
    set $hour $4;
}

access_log /var/log/nginx/healthd/application.log.$year-$month-$day-$hour healthd;
  

Комментарии:

1. Могу подтвердить. Изменение proxy_set_header Connection $http_connection; было тем, что сделало это для меня. Я застрял на этом так долго, что почти сдался. Я не понимаю, почему это не является более серьезной проблемой. Я не смог отправить POST-запросы на этот сервер. Тело всегда удалялось. Редактировать: для всех, кто придет позже, я также предоставляю elastic beanstalk всю конфигурацию nginx. Для среды Amazon Linux 2 поместите nginx.conf in .platform/nginx/nginx.conf во все, что вы загружаете во время развертывания.

Ответ №2:

На основе комментариев.

Я проверил файл конфигурации nginx по умолчанию, используя образец приложения на Docker running on 64bit Amazon Linux 2/3.1.0 .

/etc/nginx/nginx.conf

 # Elastic Beanstalk Nginx Configuration File

user  nginx;
worker_processes  auto;
error_log  /var/log/nginx/error.log;
pid        /var/run/nginx.pid;
worker_rlimit_nofile    32136;

events {
    worker_connections  1024;
}

http {
    include       /etc/nginx/mime.types;
    default_type  application/octet-stream;

    access_log    /var/log/nginx/access.log;


    log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
                          '$status $body_bytes_sent "$http_referer" '
                          '"$http_user_agent" "$http_x_forwarded_for"';

    include  conf.d/*.conf;

    map $http_upgrade $connection_upgrade {
            default       "upgrade";
    }

    server {
        listen 80 default_server;
        gzip on;
        gzip_comp_level 4;
        gzip_types text/plain text/css application/json application/x-javascript text/xml application/xml application/xml rss text/javascript;

        access_log    /var/log/nginx/access.log main;

        location / {
            proxy_pass            http://docker;
            proxy_http_version    1.1;

            proxy_set_header    Connection             $connection_upgrade;
            proxy_set_header    Upgrade                $http_upgrade;
            proxy_set_header    Host                   $host;
            proxy_set_header    X-Real-IP              $remote_addr;
            proxy_set_header    X-Forwarded-For        $proxy_add_x_forwarded_for;
        }

        # Include the Elastic Beanstalk generated locations
        include conf.d/elasticbeanstalk/*.conf;
    }
  

/etc/nginx/conf.d/elasticbeanstalk-nginx-docker-upstream.conf

 upstream docker {
    server 172.17.0.2:8000;
    keepalive 256;
}
  

/etc/nginx/conf.d/healthd_logformat.conf

 log_format healthd  '$msec"$uri"'
                    '$status"$request_time"$upstream_response_time"'
                    '$http_x_forwarded_for';[ec2-user@ip-172-31-36-64 conf.d]$ readlink -f ./healthd_logformat.conf
  

/etc/nginx/conf.d/elasticbeanstalk/healthd.conf

 if ($time_iso8601 ~ "^(d{4})-(d{2})-(d{2})T(d{2})") {
    set $year $1;
    set $month $2;
    set $day $3;
    set $hour $4;
}
  

Комментарии:

1. Спасибо. 🙂 Исходя из этого, мне, возможно, придется переместить мой включаемый файл в папку «elasticbeanstalk», чтобы он попал в нужный раздел. Еще раз спасибо.

2. @J.Chaney Нет проблем. Если вы хотите настроить nginx на Amazon Linux 2, здесь вы найдете информацию о том, как это сделать. Вы можете расширить его, добавив файлы конфигурации в .platform/nginx/conf.d/ или даже полностью перезаписать файл конфигурации nginx по умолчанию с помощью .platform/nginx/nginx.conf . Кстати, если вы сочтете мой ответ полезным, я буду признателен за его принятие, как только вы будете удовлетворены им.

3. Да, именно там я получал информацию о том, как настроить конфигурацию nginx. Я не уверен, что мои расширения conf попадают в нужное место, чтобы иметь эффект, и я даже не уверен, что проблема заключается в client_max_body_size. Вы можете видеть в вашей конфигурации, что это не указано в default conf. В документации nginx говорится, что в этом случае оно должно составлять 1 млн. Моя полезная нагрузка составляет всего 147 байт. Я не думаю, что установка client_max_body_size даже решит мою главную проблему, которая заключается в том, что я не могу заставить nginx передавать тело в мое приложение.

4. Я узнал, как добавить закрытый ключ к моему экземпляру ElasticBeanstalk EC2 и подключиться к Putty. Я смог найти свою конфигурацию nginx. Спасибо 🙂

5. Прошу прощения. Это был ответ на промежуточный вопрос «как найти текущую конфигурацию nginx», но не был ответом на то, как решить проблему «400 неверных запросов, когда в запросе было тело». Это было полезно при отладке и поиске ответа.