通過 Consul+OpenResty 實現無reload動態負載均衡

【轉載請註明出處】：https://www.jianshu.com/p/bee45550781e

動態Nginx負載均衡的配置，可以通過Consul+Consul-Template方式，但是這種方案有個缺點：每次發現配置變更都需要reload Nginx，而reload是有一定損耗的。而且，如果你需要長連接支持的話，那麼當reload時Nginx長連接所在worker進程會進行優雅退出，並當該worker進程上的所有連接都釋放時，進程才真正退出（表現為worker進程處於worker process is shutting down）。因此，如果能做到不reload就能動態更改upstream，那麼就完美了。

目前的開源解決方法有3種：
1、Tengine的Dyups模塊
2、微博的Upsync模塊+Consul
3、使用OpenResty的balancer_by_lua。

這裡使用的是Consul+OpenResty 來實現動態負載均衡。Consul的安裝這裡將不再介紹。

OpenResty簡介

OpenResty 是一個基於 Nginx 與 Lua 的高性能 Web 平臺，其內部集成了大量精良的 Lua 庫、第三方模塊以及大多數的依賴項。用於方便地搭建能夠處理超高併發、擴展性極高的動態 Web 應用、Web 服務和動態網關。

Lua簡介

Lua是一個簡潔、輕量、可擴展的程序設計語言，其設計目的是為了嵌入應用程序中，從而為應用程序提供靈活的擴展和定製功能。Lua由標準C編寫而成，代碼簡潔優美，幾乎在所有操作系統和平臺上都可以編譯，運行。

如何做到動態呢?

正常使用Nginx作為API網關, 需要如下配置, 當加後端實例時, reload一下Nginx, 使其生效

upstream backend {
    server 192.168.0.1;
    server 192.168.0.2;
}

那麼只要讓upstream變成動態可編程就OK了, 當新增後端實例時, 無需reload, 自動生效。
在OpenResty通過長輪訓和版本號及時獲取Consul的kv store變化。Consul提供了time_wait和修改版本號概念，如果Consul發現該kv沒有變化就會hang住這個請求5分鐘，在這５分鐘內如果有任何變化都會及時返回結果。通過比較版本號我們就知道是超時了還是kv的確被修改了。
Consul的node和service也支持阻塞查詢，相對來說用service更好一點，畢竟支持服務的健康檢查。阻塞api和kv一樣，加一個index就好了。

OpenResty安裝

筆者使用的是MAC，下面重點介紹MAC系統上的操作。

Mac

brew tap openresty/brew
brew install openresty

Linux

sudo yum install yum-utils
sudo yum-config-manager --add-repo https://openresty.org/package/centos/openresty.repo

sudo yum install openresty

#命令行工具 resty
sudo yum install openresty-resty

Mac OS系統上安裝完之後Nginx的配置文件在目錄/usr/local/etc/openresty，啟動命令在目錄/usr/local/opt/openresty/nginx/sbin。

啟動

openresty

在瀏覽器輸入localhost

openresty -h

到這裡OpenResty就已經安裝好了。
重啟

openresty -s reload

安裝Lua的包管理器LuaRocks

LuaRocks是Lua模塊的包管理器，安裝LuaRocks之後可以通過LuaRocks來快速安裝Lua的模塊，官網地址是https://luarocks.org/。
進入OpenResty的安裝目錄/usr/local/opt/openresty可以看到已經安裝了luajit，也是OpenResty默認使用的lua環境。

下載LuaRocks安裝包http://luarocks.github.io/luarocks/releases/luarocks-3.0.4.tar.gz，解壓之後進入LuaRocks源碼目錄編譯安裝到OpenResty的安裝目錄。

./configure --prefix=/usr/local/opt/openresty/luajit --with-lua=/usr/local/opt/openresty/luajit --lua-suffix=luajit --with-lua-include=/usr/local/opt/openresty/luajit/include/luajit-2.1
make build
make install

安裝完LuaRocks之後，可以看到LuaRocks的執行命令在目錄/usr/local/opt/openresty/luajit

安裝完LuaRocks之後就可以安裝搭建環境需要的依賴包了。

./luarocks install luasocket

修改配置文件

在Consul註冊好服務之後通過Consul的http://127.0.0.1:8500/v1/catalog/service/api_tomcat2接口就可以獲取到服務的列表。這裡不再講述Consul的服務註冊。
在默認配置文件目錄/usr/local/etc/openresty創建一個servers文件夾來放新的配置文件，創建lualib文件夾來放lua腳本，修改配置文件nginx.conf，添加include servers/*.conf;。
在lualib文件夾下創建腳本upstreams.lua

local http = require "socket.http"
local ltn12 = require "ltn12"
local cjson = require "cjson"

local _M = {}

_M._VERSION="0.1"

function _M:update_upstreams()
    local resp = {}

    http.request{
        url = "http://127.0.0.1:8500/v1/catalog/service/api_tomcat2", sink = ltn12.sink.table(resp)
    }
       
        local resp = table.concat(resp);
    local resp = cjson.decode(resp);

    local upstreams = {}
    for i, v in ipairs(resp) do
         upstreams[i] = {ip=v.Address, port=v.ServicePort}
       end
        
      ngx.shared.upstream_list:set("api_tomcat2", cjson.encode(upstreams))
end

function _M:get_upstreams()
   local upstreams_str = ngx.shared.upstream_list:get("api_tomcat2");
   local tmp_upstreams = cjson.decode(upstreams_str);
   return tmp_upstreams;
end

return _M

過luasockets查詢Consul來發現服務，update_upstreams用於更新upstream列表，get_upstreams用於返回upstream列表，此處可以考慮worker進程級別的緩存，減少因為json的反序列化造成的性能開銷。
還要注意使用的luasocket是阻塞API，這可能會阻塞我們的服務，使用時要慎重。
創建文件test_openresty.conf

lua_package_path "/usr/local/etc/openresty/lualib/?.lua;;";
lua_package_cpath "/usr/local/etc/openresty/lualib/?.so;;";

lua_shared_dict upstream_list 10m;

# 第一次初始化
init_by_lua_block {
    local upstreams = require "upstreams";
    upstreams.update_upstreams();
}

# 定時拉取配置
init_worker_by_lua_block {
    local upstreams = require "upstreams";
    local handle = nil;

    handle = function ()
        --TODO:控制每次只有一個worker執行
        upstreams.update_upstreams();
        ngx.timer.at(5, handle);
    end
    ngx.timer.at(5, handle);
}

upstream api_server {
    server 0.0.0.1 down; #佔位server

    balancer_by_lua_block {
        local balancer = require "ngx.balancer";
        local upstreams = require "upstreams";    
        local tmp_upstreams = upstreams.get_upstreams();
        local ip_port = tmp_upstreams[math.random(1, table.getn(tmp_upstreams))];
        balancer.set_current_peer(ip_port.ip, ip_port.port);
    }
}

server {
    listen       8000;
    server_name  localhost;
    charset utf-8;
    location / {
         proxy_pass http://api_server;
         access_log  /usr/local/etc/openresty/logs/api.log  main;
    }
}

init_worker_by_lua是每個Nginx Worker進程都會執行的代碼，所以實際實現時可考慮使用鎖機制，保證一次只有一個人處理配置拉取。另外ngx.timer.at是定時輪詢，不是走的長輪詢，有一定的時延。有個解決方案，是在Nginx上暴露HTTP API，通過主動推送的方式解決。

Agent可以長輪詢拉取，然後調用HTTPAPI推送到Nginx上，Agent可以部署在Nginx本機或者遠程。
對於拉取的配置，除了放在內存裡，請考慮在本地文件系統中存儲一份，在網絡出問題時作為託底。

獲取upstream列表，實現自己的負載均衡算法，通過ngx.balancer API進行動態設置本次upstream server。通過balancer_by_lua除可以實現動態負載均衡外，還可以實現個性化負載均衡算法。

可以使用lua-resty-upstream-healthcheck模塊進行健康檢查，後面會單獨介紹。
到這裡，其實還有一個問題沒有解決掉，雖然upstream中的佔位server是下線的，但是nginx在檢測upstream列表中server的健康狀態的時候是會去檢測這個佔位server的，最好的方式還是在啟動之後把它徹底從upstream列表中給移除掉。

【轉載請註明出處】：https://www.jianshu.com/p/bee45550781e