Ecosystem/ai-gateway
5
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity

feat: able to config rate limit (close #477)

Browse Source
This commit is contained in:
JustSong 2023-09-03 21:56:37 +08:00
parent c55bb67818
commit bd6fe1e93c
2 changed files with 5 additions and 2 deletions
Show Stats Download Patch File Download Diff File Expand all files Collapse all files

3
README.md
View File

@ -311,6 +311,9 @@ graph LR
+ 如果你遇到了数据库连接数过多的问题，可以尝试启用该选项。 + 如果你遇到了数据库连接数过多的问题，可以尝试启用该选项。
11. `BATCH_UPDATE_INTERVAL=5`：批量更新聚合的时间间隔，单位为秒，默认为 `5`。 11. `BATCH_UPDATE_INTERVAL=5`：批量更新聚合的时间间隔，单位为秒，默认为 `5`。
+ 例子：`BATCH_UPDATE_INTERVAL=5` + 例子：`BATCH_UPDATE_INTERVAL=5`
12. 请求频率限制：
+ `GLOBAL_API_RATE_LIMIT`：全局 API 速率限制（除中继请求外），单 ip 三分钟内的最大请求数，默认为 `180`。
+ `GLOBAL_WEB_RATE_LIMIT`：全局 Web 速率限制，单 ip 三分钟内的最大请求数，默认为 `60`。
### 命令行参数 ### 命令行参数
1. `--port <port_number>`: 指定服务器监听的端口号，默认为 `3000`。 1. `--port <port_number>`: 指定服务器监听的端口号，默认为 `3000`。

4
common/constants.go
View File

@ -114,10 +114,10 @@ var (
// All duration's unit is seconds // All duration's unit is seconds
// Shouldn't larger then RateLimitKeyExpirationDuration // Shouldn't larger then RateLimitKeyExpirationDuration
var ( var (
GlobalApiRateLimitNum = 180 GlobalApiRateLimitNum = GetOrDefault("GLOBAL_API_RATE_LIMIT", 180)
GlobalApiRateLimitDuration int64 = 3 * 60 GlobalApiRateLimitDuration int64 = 3 * 60
GlobalWebRateLimitNum = 60 GlobalWebRateLimitNum = GetOrDefault("GLOBAL_WEB_RATE_LIMIT", 60)
GlobalWebRateLimitDuration int64 = 3 * 60 GlobalWebRateLimitDuration int64 = 3 * 60
UploadRateLimitNum = 10 UploadRateLimitNum = 10