Используйте gunicorn для создания веб-сервиса с высокой степенью параллелизма

Python

Добро пожаловать, чтобы обратить внимание на мою общедоступную учетную запись [Python Programming and Combat], чтобы узнать больше.

Друзья, которые использовали веб-фреймворк Python, знают, что wsgi, поставляемый с Flask, имеет низкую производительность и не поддерживает параллелизм. Он подходит только для вашей разработки и отладки, поэтому обычно используйте Nginx + gunicorn онлайн, чтобы повысить производительность и безопасность!

gunicorn — это http-сервер Python Wsgi, который поддерживает работу только в системах Unix.Давайте познакомимся с настройкой и использованием gunicorn.

1. Установка ганикона

Обратите внимание, что gunicorn нельзя использовать в среде Windows.

pip install gunicorn

Например, есть py-файл следующего приложения

from flask import Flask  
  
app = Flask(__name__)  

  
@app.route('/')  
def index():  
    return 'hello world!' 

if __name__ == '__main__':  
    app.run()

Итак, как мы можем использовать gunicorn для запуска в каталоге проекта flask? Команда выглядит следующим образом:

gunicorn -w 4 -b 0.0.0.0:8000 app:app

в: Первое приложение ссылается на файл app.py; Второе относится к имени фляжного приложения, app = Flask(name)

Два, gunicorn, подробные аргументы

С помощью gunicorn -h мы видим, что у gunicorn много элементов конфигурации, я перечислил все их элементы конфигурации параметров для справки:

-c CONFIG  : CONFIG,配置文件的路径，通过配置文件启动；生产环境使用；

-b ADDRESS : ADDRESS，ip加端口，绑定运行的主机；

-w INT,  --workers INT用于处理工作进程的数量，为正整数，默认为1；

-k STRTING, --worker-class STRTING要使用的工作模式，默认为sync异步，可以下载eventlet和gevent并指定
--threads INT：处理请求的工作线程数，使用指定数量的线程运行每个worker。为正整数，默认为1。

--worker-connections INT：最大客户端并发数量，默认情况下这个值为1000。

--backlog int：未决连接的最大数量，即等待服务的客户的数量。默认2048个，一般不修改；

-p FILE, --pid FILE：设置pid文件的文件名，如果不设置将不会创建pid文件

--access-logfile FILE  ： 要写入的访问日志目录

--access-logformat STRING：要写入的访问日志格式

--error-logfile FILE, --log-file FILE ：  要写入错误日志的文件目录。

--log-level LEVEL  ：  错误日志输出等级。

--limit-request-line INT ： HTTP请求头的行数的最大大小，此参数用于限制HTTP请求行的允许大小，默认情况下，这个值为4094。值是0~8190的数字。

--limit-request-fields INT ： 限制HTTP请求中请求头字段的数量。此字段用于限制请求头字段的数量以防止DDOS攻击，默认情况下，这个值为100，这个值不能超过32768

--limit-request-field-size INT ： 限制HTTP请求中请求头的大小，默认情况下这个值为8190字节。值是一个整数或者0，当该值为0时，表示将对请求头大小不做限制

-t INT, --timeout INT：超过这么多秒后工作将被杀掉，并重新启动。一般设定为30秒；

--daemon：是否以守护进程启动，默认false；

--chdir ：在加载应用程序之前切换目录；

--graceful-timeout INT：默认情况下，这个值为30，在超时(从接收到重启信号开始)之后仍然活着的工作将被强行杀死；一般使用默认；

--keep-alive INT：在keep-alive连接上等待请求的秒数，默认情况下值为2。一般设定在1~5秒之间。

--reload：默认为False。此设置用于开发，每当应用程序发生更改时，都会导致工作重新启动。

--spew：打印服务器执行过的每一条语句，默认False。此选择为原子性的，即要么全部打印，要么全部不打印；

--check-config  ：显示现在的配置，默认值为False，即显示。

-e ENV,  --env ENV： 设置环境变量；

Как вы думаете, у гуникорна много параметров? Когда вы вводите такую ​​большую серию команд во время развертывания, даже люди, знакомые с параметрами, могут ошибаться! Итак, есть ли более удобный способ? Конечно, это начать с файла конфигурации!

3. Запустите как файл конфигурации

Запускается конфигурационный файл, обычно имя конфигурационного файла — gunicorn.conf.py. код показывает, как показано ниже:

# 并行工作进程数
workers = 4

# 指定每个工作者的线程数
threads = 2

# 端口 5000
bind = '0.0.0.0:5000'

# 设置守护进程,将进程交给supervisor管理
daemon = 'false'

# 工作模式协程
worker_class = 'gevent'

# 设置最大并发量
worker_connections = 2000

# 设置进程文件目录
pidfile = '/var/run/gunicorn.pid'

# 设置访问日志和错误信息日志路径
accesslog = "log/access.log"
errorlog = "log/debug.log"
loglevel = "debug"

# 设置日志记录水平
loglevel = 'warning'

Комментарии в коде очень подробные, но есть еще несколько моментов, которые необходимо пояснить:

1. Журнал

Выходной каталог лог-файла указывается в конфигурационном файле, при этом следует отметить, что:

  • Каталог журнала должен существовать. Если он не существует, запуск сообщит об ошибке
  • accesslog — это журнал доступа, вы можете установить формат журнала доступа через access_log_format
  • loglevel используется для управления информационным уровнем журнала ошибок.

Тем не менее, для управления журналами рекомендуется использовать модуль ведения журнала.

2. workers

  • worker_class относится к типу режима каждого открытого рабочего процесса, по умолчанию используется режим синхронизации, здесь используется режим gevent, gevent — это библиотека с высокой степенью параллелизма для python.
  • worker — количество параллельных рабочих процессов, в приведенном выше конфигурационном файле берется количество процессоров сервера. Следует отметить, что это число не настолько велико, насколько это возможно, потому что нам также нужно обратить внимание на производительность машины развертывания, и мы не можем открывать больше без ограничений. Как правило, это определяется количеством ядер ЦП сервера!
workers = multiprocessing * cpu_count() * 2 + 1

Когда файл конфигурации готов, команда запуска проста. Запустите команду gunicorn следующим образом

gunicorn -c gunicorn.conf app:app

Спасибо за Ваше внимание!

Категории