Блог

Главная - Вопросы по программированию - Медленный ответ ввода-вывода сокета при использовании Docker

Медленный ответ ввода-вывода сокета при использовании Docker

#python #docker #flask #socket.io #flask-socketio

#python #docker #flask #socket.io #flask-socketio

Вопрос:

У меня есть веб-приложение, встроенное в Flask, где записываются твиты (с использованием библиотеки Tweepy) и отображаются во внешнем интерфейсе. Я использовал ввод-вывод сокета для отображения твитов в прямом эфире во внешнем интерфейсе.

Мой код отлично работает, когда я запускаю это локально. Твиты появляются мгновенно.

Однако, когда я настроил веб-приложение, интерфейс обновляется не сразу. Для отображения изменений требуется некоторое время (иногда я думаю, что твиты теряются из-за медлительности)

Ниже приведены выдержки из кода с моего веб-сайта:

fortsocket.js

 $(document).ready(function () {



/************************************/
  /*********** My Functions ***********/
  /************************************/
  function stream_active_setup() {
    $("#favicon").attr("href", "/static/icons/fortnite-active.png");
    $("#stream-status-ic").attr("src", "/static/icons/stream-active.png");
    $("#stream-status-text").text("Live stream active");
  }

  function stream_inactive_setup() {
    $("#favicon").attr("href", "/static/icons/fortnite-inactive.png");
    $("#stream-status-ic").attr("src", "/static/icons/stream-inactive.png");
    $("#stream-status-text").text("Live stream inactive");
  }



  /*********************************/
  /*********** My Events ***********/
  /*********************************/

  // Socket connection to server

  // Prometheus
  //var socket = io.connect('http://104.131.173.145:8083');

  // Local
  var socket = io.connect(window.location.protocol   '//'   document.domain   ':'   location.port);

  // Heroku
  //var socket = io.connect('https://fortweet.herokuapp.com/');

  // Send a hello to know
  // if a stream is already active
  socket.on('connect', () => {
    socket.emit('hello-stream', 'hello-stream');
  });

  // Listene for reply from hello
  socket.on('hello-reply', function (bool) {
    if (bool == true) {
      stream_active_setup()
    } else {
      stream_inactive_setup()
    }
  });

  // Listens for tweets
  socket.on('stream-results', function (results) {

    // Insert tweets in divs
    $('#live-tweet-container').prepend(`
    <div class="row justify-content-md-center mt-3">
      <div class="col-md-2">
          <img width="56px" height="56px"  src="${results.profile_pic !== "" ? results.profile_pic : "/static/icons/profile-pic.png"}" class="mx-auto d-block rounded"  alt="">
      </div>
      <div class="col-md-8 my-auto">
        <div><b>${results.author}</b></div>
        <div>${results.message}</div>
      </div>
    </div>
    `);
  });

  // Listener for when a stream of tweets starts
  socket.on('stream-started', function (bool) {
    if (bool == true) {
      stream_active_setup()
    }
  });

  // Listener for when a stream of tweets ends
  socket.on('stream-ended', function (bool) {
    if (bool == true) {
      stream_inactive_setup()
    }
  });

});

init.py

 # Create the app
app = create_app()

# JWT Configurations
jwt = JWTManager(app)

# Socket IO
socketio = SocketIO(app, cors_allowed_origins="*")

# CORS
CORS(app)
app.config["CORS_HEADERS"] = "Content-Type"

# Creates default admins and insert in db
create_default_admin()

# Main error handlers
@app.errorhandler(404)  # Handling HTTP 404 NOT FOUND
def page_not_found(e):
    return Err.ERROR_NOT_FOUND


# Listen for hello emit data
# from client
@socketio.on("hello-stream")
def is_stream_active(hello_stream):
    emit("hello-reply", streamer.StreamerInit.is_stream_active(), broadcast=True)

streamer.py

 import time
import tweepy
import threading as Coroutine
import app.messages.constants as Const
import app.setup.settings as settings_mod
import app.models.tweet as tweet_mod
import app.services.logger as logger
import app


class FStreamListener(tweepy.StreamListener):
    def __init__(self):
        self.start_time = time.time()
        self.limit = settings_mod.TwitterSettings.get_instance().stream_time

        logger.get_logger().debug("Live capture has started")

        # Notify client that a live capture will start
        app.socketio.emit(
            "stream-started", True, broadcast=True,
        )

        super(FStreamListener, self).__init__()

    def on_status(self, status):
        if (time.time() - self.start_time) < self.limit:

            # Create tweet object
            forttweet = tweet_mod.TweetModel(
                status.source,
                status.user.name,
                status.user.profile_background_image_url_https,
                status.text,
                status.created_at,
                status.user.location,
            )

            # Emit to socket
            app.socketio.emit(
                "stream-results",
                {
                    "profile_pic": forttweet.profile_pic,
                    "author": forttweet.author,
                    "message": forttweet.message,
                },
                broadcast=True,
            )

            # Add to database
            forttweet.insert()

            return True
        else:
            logger.get_logger().debug("Live capture has ended")

            # Notify client that a live capture has ended
            app.socketio.emit(
                "stream-ended", True, broadcast=True,
            )

            # Stop the loop of streaming
            return False

    def on_error(self, status):
        logger.get_logger().debug(f"An error occurred while fetching tweets: {status}")
        raise Exception(f"An error occurred while fetching tweets: {status}")


class StreamerInit:

# [Private] Twitter configurations
def __twitterInstantiation(self):
    # Get settings instance
    settings = settings_mod.TwitterSettings.get_instance()
    # Auths
    auth = tweepy.OAuthHandler(settings.consumer_key, settings.consumer_secret,)
    auth.set_access_token(
        settings.access_token, settings.access_token_secret,
    )
    # Get API
    api = tweepy.API(auth)
    # Live Tweets Streaming
    myStreamListener = FStreamListener()
    myStream = tweepy.Stream(auth=api.auth, listener=myStreamListener)
    myStream.filter(track=settings.filters)

def start(self):
    for coro in Coroutine.enumerate():
        if coro.name == Const.FLAG_TWEETS_LIVE_CAPTURE:
            return False

    stream = Coroutine.Thread(target=self.__twitterInstantiation)
    stream.setName(Const.FLAG_TWEETS_LIVE_CAPTURE)
    stream.start()

    return True

@staticmethod
def is_stream_active():
    for coro in Coroutine.enumerate():
        if coro.name == Const.FLAG_TWEETS_LIVE_CAPTURE:
            return True

    return False

The streamer.py is called on a button click

Dockerfile

 # Using python 3.7 in Alpine
FROM python:3.6.5-stretch

# Set the working directory to /app
WORKDIR /app

# Copy the current directory contents into the container at /app
ADD . /app

RUN apt-get update -y amp;amp; apt-get upgrade -y amp;amp; pip install -r requirements.txt

# Run the command
ENTRYPOINT ["uwsgi", "app.ini"]

#ENTRYPOINT ["./entry.sh"]

docker-compose.yml

 version: "3.8"

services:
  fortweet:
    container_name: fortweet
    image: mervin16/fortweet:dev
    build: ./
    env_file:
      - secret.env
    networks:
      plutusnet:
        ipv4_address: 172.16.0.10
    expose:
      - 8083
    restart: always

  nginx_fortweet:
    image: nginx
    container_name: nginx_fortweet
    ports:
      - "8083:80"
    networks:
      plutusnet:
        ipv4_address: 172.16.0.100
    volumes:
      - ./nginx/nginx.conf:/etc/nginx/conf.d/default.conf
    depends_on:
      - fortweet
    restart: always

networks:
  plutusnet:
    name: plutus_network
    driver: bridge
    ipam:
      driver: default
      config:
        - subnet: 172.16.0.0/24
          gateway: 172.16.0.1

app.ini

 [uwsgi]

module = run:app

master = true
processes = 5

# Local amp; Prometheus
http-socket = 0.0.0.0:8083

http-websockets = true

chmod-socket = 660
vacuum = true

die-on-term = true

Полный обновленный код вы можете найти здесь, в ветке dev/mervin

Любая помощь приветствуется.

Комментарии:

1. Используете ли вы сервер nginx также при локальном тестировании? Не могли бы вы предоставить конфигурацию? Не могли бы вы протестировать свое приложение с помощью docker, но без nginx в качестве прокси-сервера?

2. Как отметил @Jan, если вы не используете nginx при локальном тестировании, то эти две ситуации не эквивалентны, и вам следует сначала протестировать более простое веб-приложение типа hello world, чтобы проверить любую проблему

3. @Jan и Piyush Я попытался удалить часть nginx, но проблема все та же. Твиты приходят с опозданием. Я подозреваю, что это связано с неправильной конфигурацией UWSGI. Есть ли что-то, что я делаю неправильно в части UWSGI?

4. кстати, почему вы используете свою сеть docker bridge вместо host ? есть ли у вас другие контейнеры, которые вам нужны, подключенные к той же мостовой сети? если нет, то удалите все ссылки на ip, измените его host , который привязывается непосредственно к сети вашего хоста docker.

Ответ №1:

чтобы узнать, отвечает ли за это ipv6, я бы посоветовал вам отключить все

откройте /etc/sysctl.conf и добавьте следующие строки, чтобы отключить ipv6

 net.ipv6.conf.all.disable_ipv6=1
net.ipv6.conf.default.disable_ipv6=1
net.ipv6.conf.lo.disable_ipv6=1

запустите sudo sysctl -p , чтобы изменения могли вступить в силу

снова запустите nginx и docker

если вы не видите никакой разницы, вы можете просто изменить настройки на 0 и перезапустить sysctl -p и дать мне знать

Ответ №2:

К сожалению, я не могу воспроизвести проблему без настройки, поэтому я не могу проверить свой ответ.

Мне удалось найти похожую проблему в блоге JP: проблемы с производительностью с Flask и Docker

Короче говоря, возможно, проблема связана с наличием конфигураций IPv6 и IPv4 в контейнере. Для того, чтобы проверить проблему:

  1. Запустите docker
  2. Зайдите в запущенный контейнер и измените файл hosts так, чтобы он не сопоставлял IPv6 с localhost
  3. Снова запустите приложение внутри контейнера

Если приложение работает без сбоев, значит, вы определили свою проблему. Решением было бы настроить параметры uwsgi.

Что сделал автор в своем посте в блоге:

CMD uwsgi -s /tmp/uwsgi.sock -w project:app --chown-socket=www-data:www-data --enable-threads amp; nginx -g 'daemon off;'

Метки: