雲計算

通過 Consul+OpenResty 實現無reload動態負載均衡

【轉載請註明出處】:https://www.jianshu.com/p/bee45550781e

動態Nginx負載均衡的配置,可以通過Consul+Consul-Template方式,但是這種方案有個缺點:每次發現配置變更都需要reload Nginx,而reload是有一定損耗的。而且,如果你需要長連接支持的話,那麼當reload時Nginx長連接所在worker進程會進行優雅退出,並當該worker進程上的所有連接都釋放時,進程才真正退出(表現為worker進程處於worker process is shutting down)。因此,如果能做到不reload就能動態更改upstream,那麼就完美了。

目前的開源解決方法有3種:
1、Tengine的Dyups模塊
2、微博的Upsync模塊+Consul
3、使用OpenResty的balancer_by_lua。

這裡使用的是Consul+OpenResty 來實現動態負載均衡。Consul的安裝這裡將不再介紹。

OpenResty簡介

OpenResty 是一個基於 Nginx 與 Lua 的高性能 Web 平臺,其內部集成了大量精良的 Lua 庫、第三方模塊以及大多數的依賴項。用於方便地搭建能夠處理超高併發、擴展性極高的動態 Web 應用、Web 服務和動態網關。

Lua簡介

Lua是一個簡潔、輕量、可擴展的程序設計語言,其設計目的是為了嵌入應用程序中,從而為應用程序提供靈活的擴展和定製功能。Lua由標準C編寫而成,代碼簡潔優美,幾乎在所有操作系統和平臺上都可以編譯,運行。

如何做到動態呢?

正常使用Nginx作為API網關, 需要如下配置, 當加後端實例時, reload一下Nginx, 使其生效

upstream backend {
    server 192.168.0.1;
    server 192.168.0.2;
}

那麼只要讓upstream變成動態可編程就OK了, 當新增後端實例時, 無需reload, 自動生效。
在OpenResty通過長輪訓和版本號及時獲取Consul的kv store變化。Consul提供了time_wait和修改版本號概念,如果Consul發現該kv沒有變化就會hang住這個請求5分鐘,在這5分鐘內如果有任何變化都會及時返回結果。通過比較版本號我們就知道是超時了還是kv的確被修改了。
Consul的node和service也支持阻塞查詢,相對來說用service更好一點,畢竟支持服務的健康檢查。阻塞api和kv一樣,加一個index就好了。

OpenResty安裝

筆者使用的是MAC,下面重點介紹MAC系統上的操作。

Mac
brew tap openresty/brew
brew install openresty
Linux
sudo yum install yum-utils
sudo yum-config-manager --add-repo https://openresty.org/package/centos/openresty.repo

sudo yum install openresty

#命令行工具 resty
sudo yum install openresty-resty

Mac OS系統上安裝完之後Nginx的配置文件在目錄/usr/local/etc/openresty,啟動命令在目錄/usr/local/opt/openresty/nginx/sbin

啟動
openresty

在瀏覽器輸入localhost
image.png

openresty -h

image.png
到這裡OpenResty就已經安裝好了。
重啟

openresty -s reload

安裝Lua的包管理器LuaRocks

LuaRocks是Lua模塊的包管理器,安裝LuaRocks之後可以通過LuaRocks來快速安裝Lua的模塊,官網地址是https://luarocks.org/
進入OpenResty的安裝目錄/usr/local/opt/openresty可以看到已經安裝了luajit,也是OpenResty默認使用的lua環境。
image.png
下載LuaRocks安裝包http://luarocks.github.io/luarocks/releases/luarocks-3.0.4.tar.gz,解壓之後進入LuaRocks源碼目錄編譯安裝到OpenResty的安裝目錄。

./configure --prefix=/usr/local/opt/openresty/luajit --with-lua=/usr/local/opt/openresty/luajit --lua-suffix=luajit --with-lua-include=/usr/local/opt/openresty/luajit/include/luajit-2.1
make build
make install

安裝完LuaRocks之後,可以看到LuaRocks的執行命令在目錄/usr/local/opt/openresty/luajit
image.png

安裝完LuaRocks之後就可以安裝搭建環境需要的依賴包了。

./luarocks install luasocket

修改配置文件

在Consul註冊好服務之後通過Consul的http://127.0.0.1:8500/v1/catalog/service/api_tomcat2接口就可以獲取到服務的列表。這裡不再講述Consul的服務註冊。
在默認配置文件目錄/usr/local/etc/openresty創建一個servers文件夾來放新的配置文件,創建lualib文件夾來放lua腳本,修改配置文件nginx.conf,添加include servers/*.conf;
lualib文件夾下創建腳本upstreams.lua

local http = require "socket.http"
local ltn12 = require "ltn12"
local cjson = require "cjson"

local _M = {}

_M._VERSION="0.1"

function _M:update_upstreams()
    local resp = {}

    http.request{
        url = "http://127.0.0.1:8500/v1/catalog/service/api_tomcat2", sink = ltn12.sink.table(resp)
    }
       
        local resp = table.concat(resp);
    local resp = cjson.decode(resp);

    local upstreams = {}
    for i, v in ipairs(resp) do
         upstreams[i] = {ip=v.Address, port=v.ServicePort}
       end
        
      ngx.shared.upstream_list:set("api_tomcat2", cjson.encode(upstreams))
end

function _M:get_upstreams()
   local upstreams_str = ngx.shared.upstream_list:get("api_tomcat2");
   local tmp_upstreams = cjson.decode(upstreams_str);
   return tmp_upstreams;
end

return _M

過luasockets查詢Consul來發現服務,update_upstreams用於更新upstream列表,get_upstreams用於返回upstream列表,此處可以考慮worker進程級別的緩存,減少因為json的反序列化造成的性能開銷。
還要注意使用的luasocket是阻塞API,這可能會阻塞我們的服務,使用時要慎重。
創建文件test_openresty.conf

lua_package_path "/usr/local/etc/openresty/lualib/?.lua;;";
lua_package_cpath "/usr/local/etc/openresty/lualib/?.so;;";

lua_shared_dict upstream_list 10m;

# 第一次初始化
init_by_lua_block {
    local upstreams = require "upstreams";
    upstreams.update_upstreams();
}

# 定時拉取配置
init_worker_by_lua_block {
    local upstreams = require "upstreams";
    local handle = nil;

    handle = function ()
        --TODO:控制每次只有一個worker執行
        upstreams.update_upstreams();
        ngx.timer.at(5, handle);
    end
    ngx.timer.at(5, handle);
}

upstream api_server {
    server 0.0.0.1 down; #佔位server

    balancer_by_lua_block {
        local balancer = require "ngx.balancer";
        local upstreams = require "upstreams";    
        local tmp_upstreams = upstreams.get_upstreams();
        local ip_port = tmp_upstreams[math.random(1, table.getn(tmp_upstreams))];
        balancer.set_current_peer(ip_port.ip, ip_port.port);
    }
}

server {
    listen       8000;
    server_name  localhost;
    charset utf-8;
    location / {
         proxy_pass http://api_server;
         access_log  /usr/local/etc/openresty/logs/api.log  main;
    }
}

init_worker_by_lua是每個Nginx Worker進程都會執行的代碼,所以實際實現時可考慮使用鎖機制,保證一次只有一個人處理配置拉取。另外ngx.timer.at是定時輪詢,不是走的長輪詢,有一定的時延。有個解決方案,是在Nginx上暴露HTTP API,通過主動推送的方式解決。
image.png

Agent可以長輪詢拉取,然後調用HTTPAPI推送到Nginx上,Agent可以部署在Nginx本機或者遠程。
對於拉取的配置,除了放在內存裡,請考慮在本地文件系統中存儲一份,在網絡出問題時作為託底。

獲取upstream列表,實現自己的負載均衡算法,通過ngx.balancer API進行動態設置本次upstream server。通過balancer_by_lua除可以實現動態負載均衡外,還可以實現個性化負載均衡算法。

可以使用lua-resty-upstream-healthcheck模塊進行健康檢查,後面會單獨介紹。
到這裡,其實還有一個問題沒有解決掉,雖然upstream中的佔位server是下線的,但是nginx在檢測upstream列表中server的健康狀態的時候是會去檢測這個佔位server的,最好的方式還是在啟動之後把它徹底從upstream列表中給移除掉。

【轉載請註明出處】:https://www.jianshu.com/p/bee45550781e

Leave a Reply

Your email address will not be published. Required fields are marked *