From ca779e4ffa05ed545ae8d417412848b2c36a1fc0 Mon Sep 17 00:00:00 2001 From: mrhaoji Date: Thu, 22 Jun 2023 19:53:28 +0800 Subject: [PATCH 1/3] fix: fix time_test.sh (#191) MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit * Update time_test.sh to fix the params 修复测试脚本入参问题 * Update time_test.sh to fix the params --- bin/time_test.sh | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/bin/time_test.sh b/bin/time_test.sh index edc60bcc..e6d7a22a 100644 --- a/bin/time_test.sh +++ b/bin/time_test.sh @@ -16,7 +16,7 @@ for ((i=1; i<=count; i++)); do https://"$domain"/v1/chat/completions \ -H "Content-Type: application/json" \ -H "Authorization: Bearer $key" \ - -d '{"prompt": "hi!", "max_tokens": 1, "model": "gpt-3.5-turbo"}') + -d '{"messages": [{"content": "echo hi", "role": "user"}], "model": "gpt-3.5-turbo", "stream": false, "max_tokens": 1}') echo "$result" total_time=$(bc <<< "$total_time + $result") times+=("$result") From 28fb4d76affd9577c935801c4f88b754e9e21df8 Mon Sep 17 00:00:00 2001 From: JustSong Date: Thu, 22 Jun 2023 20:12:33 +0800 Subject: [PATCH 2/3] fix: disable redis on master node --- common/redis.go | 5 +++++ 1 file changed, 5 insertions(+) diff --git a/common/redis.go b/common/redis.go index 07aa67ac..35b84d70 100644 --- a/common/redis.go +++ b/common/redis.go @@ -17,6 +17,11 @@ func InitRedisClient() (err error) { SysLog("REDIS_CONN_STRING not set, Redis is not enabled") return nil } + if IsMasterNode { + SysLog("Redis is disabled on master node") + RedisEnabled = false + return nil + } SysLog("Redis is enabled") opt, err := redis.ParseURL(os.Getenv("REDIS_CONN_STRING")) if err != nil { From 7497f24daa85366e6df456dc3de27ca9f6e7584e Mon Sep 17 00:00:00 2001 From: JustSong Date: Thu, 22 Jun 2023 20:19:30 +0800 Subject: [PATCH 3/3] docs: update README --- README.md | 5 ++++- 1 file changed, 4 insertions(+), 1 deletion(-) diff --git a/README.md b/README.md index 6a019e36..fe5d7888 100644 --- a/README.md +++ b/README.md @@ -154,7 +154,10 @@ sudo service nginx restart 2. 必须设置 `SQL_DSN`,使用 MySQL 数据库而非 SQLite,所有服务器连接同一个数据库。 3. 所有从服务器必须设置 `SYNC_FREQUENCY`,以定期从数据库同步配置。 4. 从服务器可以选择设置 `FRONTEND_BASE_URL`,以重定向页面请求到主服务器。 -5. 推荐每台服务器上都分别装好 Redis,设置好 `REDIS_CONN_STRING`,这样可以做到在缓存未过期的情况下数据库零访问,可以减少延迟。 +5. 从服务器上**分别**装好 Redis,设置好 `REDIS_CONN_STRING`,这样可以做到在缓存未过期的情况下数据库零访问,可以减少延迟。 +6. 如果主服务器访问数据库延迟也比较高,则也需要启用 Redis,并设置 `SYNC_FREQUENCY`,以定期从数据库同步配置。 + +注意,设置 `SYNC_FREQUENCY` 后会导致从服务器的状态不会实时更新,而是定期同步。 环境变量的具体使用方法详见[此处](#环境变量)。