diff --git a/README.md b/README.md index 6a019e36..fe5d7888 100644 --- a/README.md +++ b/README.md @@ -154,7 +154,10 @@ sudo service nginx restart 2. 必须设置 `SQL_DSN`,使用 MySQL 数据库而非 SQLite,所有服务器连接同一个数据库。 3. 所有从服务器必须设置 `SYNC_FREQUENCY`,以定期从数据库同步配置。 4. 从服务器可以选择设置 `FRONTEND_BASE_URL`,以重定向页面请求到主服务器。 -5. 推荐每台服务器上都分别装好 Redis,设置好 `REDIS_CONN_STRING`,这样可以做到在缓存未过期的情况下数据库零访问,可以减少延迟。 +5. 从服务器上**分别**装好 Redis,设置好 `REDIS_CONN_STRING`,这样可以做到在缓存未过期的情况下数据库零访问,可以减少延迟。 +6. 如果主服务器访问数据库延迟也比较高,则也需要启用 Redis,并设置 `SYNC_FREQUENCY`,以定期从数据库同步配置。 + +注意,设置 `SYNC_FREQUENCY` 后会导致从服务器的状态不会实时更新,而是定期同步。 环境变量的具体使用方法详见[此处](#环境变量)。 diff --git a/bin/time_test.sh b/bin/time_test.sh index edc60bcc..e6d7a22a 100644 --- a/bin/time_test.sh +++ b/bin/time_test.sh @@ -16,7 +16,7 @@ for ((i=1; i<=count; i++)); do https://"$domain"/v1/chat/completions \ -H "Content-Type: application/json" \ -H "Authorization: Bearer $key" \ - -d '{"prompt": "hi!", "max_tokens": 1, "model": "gpt-3.5-turbo"}') + -d '{"messages": [{"content": "echo hi", "role": "user"}], "model": "gpt-3.5-turbo", "stream": false, "max_tokens": 1}') echo "$result" total_time=$(bc <<< "$total_time + $result") times+=("$result") diff --git a/common/redis.go b/common/redis.go index 07aa67ac..35b84d70 100644 --- a/common/redis.go +++ b/common/redis.go @@ -17,6 +17,11 @@ func InitRedisClient() (err error) { SysLog("REDIS_CONN_STRING not set, Redis is not enabled") return nil } + if IsMasterNode { + SysLog("Redis is disabled on master node") + RedisEnabled = false + return nil + } SysLog("Redis is enabled") opt, err := redis.ParseURL(os.Getenv("REDIS_CONN_STRING")) if err != nil {