mirror of
https://github.com/huggingface/text-generation-inference.git
synced 2025-09-11 04:14:52 +00:00
Update the tests with the breaking change.
This commit is contained in:
Nicolas Patry
parent
6378303d23
commit
bbafcee44d
@ -16,7 +16,7 @@
|
|||||||
},
|
},
|
||||||
{
|
{
|
||||||
"id": 2009,
|
"id": 2009,
|
||||||
"logprob": -11.5546875,
|
"logprob": -11.546875,
|
||||||
"text": "request"
|
"text": "request"
|
||||||
}
|
}
|
||||||
],
|
],
|
||||||
@ -24,65 +24,66 @@
|
|||||||
"tokens": [
|
"tokens": [
|
||||||
{
|
{
|
||||||
"id": 363,
|
"id": 363,
|
||||||
"logprob": -1.5380859,
|
"logprob": -1.5351562,
|
||||||
"special": false,
|
"special": false,
|
||||||
"text": " for"
|
"text": " for"
|
||||||
},
|
},
|
||||||
{
|
{
|
||||||
"id": 847,
|
"id": 847,
|
||||||
"logprob": -2.5917969,
|
"logprob": -2.5722656,
|
||||||
"special": false,
|
"special": false,
|
||||||
"text": " /"
|
"text": " /"
|
||||||
},
|
},
|
||||||
{
|
{
|
||||||
"id": 2754,
|
"id": 2754,
|
||||||
"logprob": -2.2773438,
|
"logprob": -2.2714844,
|
||||||
"special": false,
|
"special": false,
|
||||||
"text": "api"
|
"text": "api"
|
||||||
},
|
},
|
||||||
{
|
{
|
||||||
"id": 29914,
|
"id": 29914,
|
||||||
"logprob": -0.034362793,
|
"logprob": -0.03414917,
|
||||||
"special": false,
|
"special": false,
|
||||||
"text": "/"
|
"text": "/"
|
||||||
},
|
},
|
||||||
{
|
{
|
||||||
"id": 29894,
|
"id": 29894,
|
||||||
"logprob": -0.96533203,
|
"logprob": -0.95996094,
|
||||||
"special": false,
|
"special": false,
|
||||||
"text": "v"
|
"text": "v"
|
||||||
},
|
},
|
||||||
{
|
{
|
||||||
"id": 29896,
|
"id": 29896,
|
||||||
"logprob": -0.36669922,
|
"logprob": -0.3635254,
|
||||||
"special": false,
|
"special": false,
|
||||||
"text": "1"
|
"text": "1"
|
||||||
},
|
},
|
||||||
{
|
{
|
||||||
"id": 29914,
|
"id": 29914,
|
||||||
"logprob": -0.013122559,
|
"logprob": -0.013031006,
|
||||||
"special": false,
|
"special": false,
|
||||||
"text": "/"
|
"text": "/"
|
||||||
},
|
},
|
||||||
{
|
{
|
||||||
"id": 16418,
|
"id": 16418,
|
||||||
"logprob": -3.1503906,
|
"logprob": -3.1523438,
|
||||||
"special": false,
|
"special": false,
|
||||||
"text": "projects"
|
"text": "projects"
|
||||||
},
|
},
|
||||||
{
|
{
|
||||||
"id": 29914,
|
"id": 29914,
|
||||||
"logprob": -0.43652344,
|
"logprob": -0.43701172,
|
||||||
"special": false,
|
"special": false,
|
||||||
"text": "/"
|
"text": "/"
|
||||||
},
|
},
|
||||||
{
|
{
|
||||||
"id": 29896,
|
"id": 29896,
|
||||||
"logprob": -1.9404297,
|
"logprob": -1.9394531,
|
||||||
"special": false,
|
"special": false,
|
||||||
"text": "1"
|
"text": "1"
|
||||||
}
|
}
|
||||||
]
|
],
|
||||||
|
"top_tokens": null
|
||||||
},
|
},
|
||||||
"generated_text": "for /api/v1/projects/1"
|
"generated_text": " for /api/v1/projects/1"
|
||||||
}
|
}
|
||||||
|
|||||||
@ -16,7 +16,7 @@
|
|||||||
},
|
},
|
||||||
{
|
{
|
||||||
"id": 2009,
|
"id": 2009,
|
||||||
"logprob": -11.5546875,
|
"logprob": -11.546875,
|
||||||
"text": "request"
|
"text": "request"
|
||||||
}
|
}
|
||||||
],
|
],
|
||||||
@ -24,19 +24,19 @@
|
|||||||
"tokens": [
|
"tokens": [
|
||||||
{
|
{
|
||||||
"id": 5229,
|
"id": 5229,
|
||||||
"logprob": -2.5683594,
|
"logprob": -2.5839844,
|
||||||
"special": false,
|
"special": false,
|
||||||
"text": " failed"
|
"text": " failed"
|
||||||
},
|
},
|
||||||
{
|
{
|
||||||
"id": 29901,
|
"id": 29901,
|
||||||
"logprob": -0.45336914,
|
"logprob": -0.44970703,
|
||||||
"special": false,
|
"special": false,
|
||||||
"text": ":"
|
"text": ":"
|
||||||
},
|
},
|
||||||
{
|
{
|
||||||
"id": 4829,
|
"id": 4829,
|
||||||
"logprob": -1.8408203,
|
"logprob": -1.8339844,
|
||||||
"special": false,
|
"special": false,
|
||||||
"text": " Error"
|
"text": " Error"
|
||||||
},
|
},
|
||||||
@ -52,7 +52,8 @@
|
|||||||
"special": false,
|
"special": false,
|
||||||
"text": " test"
|
"text": " test"
|
||||||
}
|
}
|
||||||
]
|
],
|
||||||
|
"top_tokens": null
|
||||||
},
|
},
|
||||||
"generated_text": "Test requestfailed: Error in test"
|
"generated_text": "Test request failed: Error in test"
|
||||||
}
|
}
|
||||||
|
|||||||
@ -17,7 +17,7 @@
|
|||||||
},
|
},
|
||||||
{
|
{
|
||||||
"id": 2009,
|
"id": 2009,
|
||||||
"logprob": -11.5546875,
|
"logprob": -11.546875,
|
||||||
"text": "request"
|
"text": "request"
|
||||||
}
|
}
|
||||||
],
|
],
|
||||||
@ -25,25 +25,25 @@
|
|||||||
"tokens": [
|
"tokens": [
|
||||||
{
|
{
|
||||||
"id": 363,
|
"id": 363,
|
||||||
"logprob": -1.5380859,
|
"logprob": -1.5351562,
|
||||||
"special": false,
|
"special": false,
|
||||||
"text": " for"
|
"text": " for"
|
||||||
},
|
},
|
||||||
{
|
{
|
||||||
"id": 847,
|
"id": 847,
|
||||||
"logprob": -2.5859375,
|
"logprob": -2.5566406,
|
||||||
"special": false,
|
"special": false,
|
||||||
"text": " /"
|
"text": " /"
|
||||||
},
|
},
|
||||||
{
|
{
|
||||||
"id": 2754,
|
"id": 2754,
|
||||||
"logprob": -2.2695312,
|
"logprob": -2.2519531,
|
||||||
"special": false,
|
"special": false,
|
||||||
"text": "api"
|
"text": "api"
|
||||||
},
|
},
|
||||||
{
|
{
|
||||||
"id": 29914,
|
"id": 29914,
|
||||||
"logprob": -0.03439331,
|
"logprob": -0.03414917,
|
||||||
"special": false,
|
"special": false,
|
||||||
"text": "/"
|
"text": "/"
|
||||||
},
|
},
|
||||||
@ -55,13 +55,13 @@
|
|||||||
},
|
},
|
||||||
{
|
{
|
||||||
"id": 29896,
|
"id": 29896,
|
||||||
"logprob": -0.36694336,
|
"logprob": -0.3647461,
|
||||||
"special": false,
|
"special": false,
|
||||||
"text": "1"
|
"text": "1"
|
||||||
},
|
},
|
||||||
{
|
{
|
||||||
"id": 29914,
|
"id": 29914,
|
||||||
"logprob": -0.013114929,
|
"logprob": -0.012901306,
|
||||||
"special": false,
|
"special": false,
|
||||||
"text": "/"
|
"text": "/"
|
||||||
},
|
},
|
||||||
@ -73,19 +73,20 @@
|
|||||||
},
|
},
|
||||||
{
|
{
|
||||||
"id": 29914,
|
"id": 29914,
|
||||||
"logprob": -0.43847656,
|
"logprob": -0.4362793,
|
||||||
"special": false,
|
"special": false,
|
||||||
"text": "/"
|
"text": "/"
|
||||||
},
|
},
|
||||||
{
|
{
|
||||||
"id": 29896,
|
"id": 29896,
|
||||||
"logprob": -1.9433594,
|
"logprob": -1.9394531,
|
||||||
"special": false,
|
"special": false,
|
||||||
"text": "1"
|
"text": "1"
|
||||||
}
|
}
|
||||||
]
|
],
|
||||||
|
"top_tokens": null
|
||||||
},
|
},
|
||||||
"generated_text": "for /api/v1/projects/1"
|
"generated_text": " for /api/v1/projects/1"
|
||||||
},
|
},
|
||||||
{
|
{
|
||||||
"details": {
|
"details": {
|
||||||
@ -105,7 +106,7 @@
|
|||||||
},
|
},
|
||||||
{
|
{
|
||||||
"id": 2009,
|
"id": 2009,
|
||||||
"logprob": -11.5546875,
|
"logprob": -11.546875,
|
||||||
"text": "request"
|
"text": "request"
|
||||||
}
|
}
|
||||||
],
|
],
|
||||||
@ -113,43 +114,43 @@
|
|||||||
"tokens": [
|
"tokens": [
|
||||||
{
|
{
|
||||||
"id": 363,
|
"id": 363,
|
||||||
"logprob": -1.5322266,
|
"logprob": -1.5332031,
|
||||||
"special": false,
|
"special": false,
|
||||||
"text": " for"
|
"text": " for"
|
||||||
},
|
},
|
||||||
{
|
{
|
||||||
"id": 847,
|
"id": 847,
|
||||||
"logprob": -2.5585938,
|
"logprob": -2.5625,
|
||||||
"special": false,
|
"special": false,
|
||||||
"text": " /"
|
"text": " /"
|
||||||
},
|
},
|
||||||
{
|
{
|
||||||
"id": 2754,
|
"id": 2754,
|
||||||
"logprob": -2.265625,
|
"logprob": -2.2617188,
|
||||||
"special": false,
|
"special": false,
|
||||||
"text": "api"
|
"text": "api"
|
||||||
},
|
},
|
||||||
{
|
{
|
||||||
"id": 29914,
|
"id": 29914,
|
||||||
"logprob": -0.034088135,
|
"logprob": -0.033996582,
|
||||||
"special": false,
|
"special": false,
|
||||||
"text": "/"
|
"text": "/"
|
||||||
},
|
},
|
||||||
{
|
{
|
||||||
"id": 29894,
|
"id": 29894,
|
||||||
"logprob": -0.96240234,
|
"logprob": -0.9609375,
|
||||||
"special": false,
|
"special": false,
|
||||||
"text": "v"
|
"text": "v"
|
||||||
},
|
},
|
||||||
{
|
{
|
||||||
"id": 29896,
|
"id": 29896,
|
||||||
"logprob": -0.36816406,
|
"logprob": -0.36572266,
|
||||||
"special": false,
|
"special": false,
|
||||||
"text": "1"
|
"text": "1"
|
||||||
},
|
},
|
||||||
{
|
{
|
||||||
"id": 29914,
|
"id": 29914,
|
||||||
"logprob": -0.013191223,
|
"logprob": -0.0129776,
|
||||||
"special": false,
|
"special": false,
|
||||||
"text": "/"
|
"text": "/"
|
||||||
},
|
},
|
||||||
@ -161,19 +162,20 @@
|
|||||||
},
|
},
|
||||||
{
|
{
|
||||||
"id": 29914,
|
"id": 29914,
|
||||||
"logprob": -0.43774414,
|
"logprob": -0.4362793,
|
||||||
"special": false,
|
"special": false,
|
||||||
"text": "/"
|
"text": "/"
|
||||||
},
|
},
|
||||||
{
|
{
|
||||||
"id": 29896,
|
"id": 29896,
|
||||||
"logprob": -1.9443359,
|
"logprob": -1.9394531,
|
||||||
"special": false,
|
"special": false,
|
||||||
"text": "1"
|
"text": "1"
|
||||||
}
|
}
|
||||||
]
|
],
|
||||||
|
"top_tokens": null
|
||||||
},
|
},
|
||||||
"generated_text": "for /api/v1/projects/1"
|
"generated_text": " for /api/v1/projects/1"
|
||||||
},
|
},
|
||||||
{
|
{
|
||||||
"details": {
|
"details": {
|
||||||
@ -193,7 +195,7 @@
|
|||||||
},
|
},
|
||||||
{
|
{
|
||||||
"id": 2009,
|
"id": 2009,
|
||||||
"logprob": -11.5546875,
|
"logprob": -11.546875,
|
||||||
"text": "request"
|
"text": "request"
|
||||||
}
|
}
|
||||||
],
|
],
|
||||||
@ -201,43 +203,43 @@
|
|||||||
"tokens": [
|
"tokens": [
|
||||||
{
|
{
|
||||||
"id": 363,
|
"id": 363,
|
||||||
"logprob": -1.5322266,
|
"logprob": -1.5332031,
|
||||||
"special": false,
|
"special": false,
|
||||||
"text": " for"
|
"text": " for"
|
||||||
},
|
},
|
||||||
{
|
{
|
||||||
"id": 847,
|
"id": 847,
|
||||||
"logprob": -2.5585938,
|
"logprob": -2.5625,
|
||||||
"special": false,
|
"special": false,
|
||||||
"text": " /"
|
"text": " /"
|
||||||
},
|
},
|
||||||
{
|
{
|
||||||
"id": 2754,
|
"id": 2754,
|
||||||
"logprob": -2.265625,
|
"logprob": -2.2617188,
|
||||||
"special": false,
|
"special": false,
|
||||||
"text": "api"
|
"text": "api"
|
||||||
},
|
},
|
||||||
{
|
{
|
||||||
"id": 29914,
|
"id": 29914,
|
||||||
"logprob": -0.034088135,
|
"logprob": -0.033996582,
|
||||||
"special": false,
|
"special": false,
|
||||||
"text": "/"
|
"text": "/"
|
||||||
},
|
},
|
||||||
{
|
{
|
||||||
"id": 29894,
|
"id": 29894,
|
||||||
"logprob": -0.96240234,
|
"logprob": -0.9609375,
|
||||||
"special": false,
|
"special": false,
|
||||||
"text": "v"
|
"text": "v"
|
||||||
},
|
},
|
||||||
{
|
{
|
||||||
"id": 29896,
|
"id": 29896,
|
||||||
"logprob": -0.36816406,
|
"logprob": -0.36572266,
|
||||||
"special": false,
|
"special": false,
|
||||||
"text": "1"
|
"text": "1"
|
||||||
},
|
},
|
||||||
{
|
{
|
||||||
"id": 29914,
|
"id": 29914,
|
||||||
"logprob": -0.013191223,
|
"logprob": -0.0129776,
|
||||||
"special": false,
|
"special": false,
|
||||||
"text": "/"
|
"text": "/"
|
||||||
},
|
},
|
||||||
@ -249,19 +251,20 @@
|
|||||||
},
|
},
|
||||||
{
|
{
|
||||||
"id": 29914,
|
"id": 29914,
|
||||||
"logprob": -0.43774414,
|
"logprob": -0.4362793,
|
||||||
"special": false,
|
"special": false,
|
||||||
"text": "/"
|
"text": "/"
|
||||||
},
|
},
|
||||||
{
|
{
|
||||||
"id": 29896,
|
"id": 29896,
|
||||||
"logprob": -1.9443359,
|
"logprob": -1.9394531,
|
||||||
"special": false,
|
"special": false,
|
||||||
"text": "1"
|
"text": "1"
|
||||||
}
|
}
|
||||||
]
|
],
|
||||||
|
"top_tokens": null
|
||||||
},
|
},
|
||||||
"generated_text": "for /api/v1/projects/1"
|
"generated_text": " for /api/v1/projects/1"
|
||||||
},
|
},
|
||||||
{
|
{
|
||||||
"details": {
|
"details": {
|
||||||
@ -281,7 +284,7 @@
|
|||||||
},
|
},
|
||||||
{
|
{
|
||||||
"id": 2009,
|
"id": 2009,
|
||||||
"logprob": -11.5546875,
|
"logprob": -11.546875,
|
||||||
"text": "request"
|
"text": "request"
|
||||||
}
|
}
|
||||||
],
|
],
|
||||||
@ -289,43 +292,43 @@
|
|||||||
"tokens": [
|
"tokens": [
|
||||||
{
|
{
|
||||||
"id": 363,
|
"id": 363,
|
||||||
"logprob": -1.5322266,
|
"logprob": -1.5332031,
|
||||||
"special": false,
|
"special": false,
|
||||||
"text": " for"
|
"text": " for"
|
||||||
},
|
},
|
||||||
{
|
{
|
||||||
"id": 847,
|
"id": 847,
|
||||||
"logprob": -2.5585938,
|
"logprob": -2.5625,
|
||||||
"special": false,
|
"special": false,
|
||||||
"text": " /"
|
"text": " /"
|
||||||
},
|
},
|
||||||
{
|
{
|
||||||
"id": 2754,
|
"id": 2754,
|
||||||
"logprob": -2.265625,
|
"logprob": -2.2617188,
|
||||||
"special": false,
|
"special": false,
|
||||||
"text": "api"
|
"text": "api"
|
||||||
},
|
},
|
||||||
{
|
{
|
||||||
"id": 29914,
|
"id": 29914,
|
||||||
"logprob": -0.034088135,
|
"logprob": -0.033996582,
|
||||||
"special": false,
|
"special": false,
|
||||||
"text": "/"
|
"text": "/"
|
||||||
},
|
},
|
||||||
{
|
{
|
||||||
"id": 29894,
|
"id": 29894,
|
||||||
"logprob": -0.96240234,
|
"logprob": -0.9609375,
|
||||||
"special": false,
|
"special": false,
|
||||||
"text": "v"
|
"text": "v"
|
||||||
},
|
},
|
||||||
{
|
{
|
||||||
"id": 29896,
|
"id": 29896,
|
||||||
"logprob": -0.36816406,
|
"logprob": -0.36572266,
|
||||||
"special": false,
|
"special": false,
|
||||||
"text": "1"
|
"text": "1"
|
||||||
},
|
},
|
||||||
{
|
{
|
||||||
"id": 29914,
|
"id": 29914,
|
||||||
"logprob": -0.013191223,
|
"logprob": -0.0129776,
|
||||||
"special": false,
|
"special": false,
|
||||||
"text": "/"
|
"text": "/"
|
||||||
},
|
},
|
||||||
@ -337,18 +340,19 @@
|
|||||||
},
|
},
|
||||||
{
|
{
|
||||||
"id": 29914,
|
"id": 29914,
|
||||||
"logprob": -0.43774414,
|
"logprob": -0.4362793,
|
||||||
"special": false,
|
"special": false,
|
||||||
"text": "/"
|
"text": "/"
|
||||||
},
|
},
|
||||||
{
|
{
|
||||||
"id": 29896,
|
"id": 29896,
|
||||||
"logprob": -1.9443359,
|
"logprob": -1.9394531,
|
||||||
"special": false,
|
"special": false,
|
||||||
"text": "1"
|
"text": "1"
|
||||||
}
|
}
|
||||||
]
|
],
|
||||||
|
"top_tokens": null
|
||||||
},
|
},
|
||||||
"generated_text": "for /api/v1/projects/1"
|
"generated_text": " for /api/v1/projects/1"
|
||||||
}
|
}
|
||||||
]
|
]
|
||||||
|
|||||||
@ -11,22 +11,22 @@
|
|||||||
},
|
},
|
||||||
{
|
{
|
||||||
"id": 4911,
|
"id": 4911,
|
||||||
"logprob": -5.7773438,
|
"logprob": -5.7851562,
|
||||||
"text": "User"
|
"text": "User"
|
||||||
},
|
},
|
||||||
{
|
{
|
||||||
"id": 29901,
|
"id": 29901,
|
||||||
"logprob": -0.0069999695,
|
"logprob": -0.006996155,
|
||||||
"text": ":"
|
"text": ":"
|
||||||
},
|
},
|
||||||
{
|
{
|
||||||
"id": 32000,
|
"id": 32000,
|
||||||
"logprob": -0.8125,
|
"logprob": -0.81347656,
|
||||||
"text": "<fake_token_around_image>"
|
"text": "<fake_token_around_image>"
|
||||||
},
|
},
|
||||||
{
|
{
|
||||||
"id": 32001,
|
"id": 32001,
|
||||||
"logprob": -6.651878e-05,
|
"logprob": -6.687641e-05,
|
||||||
"text": "<image>"
|
"text": "<image>"
|
||||||
},
|
},
|
||||||
{
|
{
|
||||||
@ -36,67 +36,67 @@
|
|||||||
},
|
},
|
||||||
{
|
{
|
||||||
"id": 1815,
|
"id": 1815,
|
||||||
"logprob": -4.2265625,
|
"logprob": -4.2148438,
|
||||||
"text": "Can"
|
"text": "Can"
|
||||||
},
|
},
|
||||||
{
|
{
|
||||||
"id": 366,
|
"id": 366,
|
||||||
"logprob": -0.013977051,
|
"logprob": -0.014137268,
|
||||||
"text": "you"
|
"text": "you"
|
||||||
},
|
},
|
||||||
{
|
{
|
||||||
"id": 2649,
|
"id": 2649,
|
||||||
"logprob": -4.4375,
|
"logprob": -4.4335938,
|
||||||
"text": "tell"
|
"text": "tell"
|
||||||
},
|
},
|
||||||
{
|
{
|
||||||
"id": 592,
|
"id": 592,
|
||||||
"logprob": -0.29077148,
|
"logprob": -0.2919922,
|
||||||
"text": "me"
|
"text": "me"
|
||||||
},
|
},
|
||||||
{
|
{
|
||||||
"id": 263,
|
"id": 263,
|
||||||
"logprob": -4.2109375,
|
"logprob": -4.2070312,
|
||||||
"text": "a"
|
"text": "a"
|
||||||
},
|
},
|
||||||
{
|
{
|
||||||
"id": 1407,
|
"id": 1407,
|
||||||
"logprob": -9.4296875,
|
"logprob": -9.421875,
|
||||||
"text": "very"
|
"text": "very"
|
||||||
},
|
},
|
||||||
{
|
{
|
||||||
"id": 3273,
|
"id": 3273,
|
||||||
"logprob": -1.8671875,
|
"logprob": -1.8720703,
|
||||||
"text": "short"
|
"text": "short"
|
||||||
},
|
},
|
||||||
{
|
{
|
||||||
"id": 5828,
|
"id": 5828,
|
||||||
"logprob": -0.26586914,
|
"logprob": -0.26489258,
|
||||||
"text": "story"
|
"text": "story"
|
||||||
},
|
},
|
||||||
{
|
{
|
||||||
"id": 2729,
|
"id": 2729,
|
||||||
"logprob": -3.7460938,
|
"logprob": -3.7441406,
|
||||||
"text": "based"
|
"text": "based"
|
||||||
},
|
},
|
||||||
{
|
{
|
||||||
"id": 373,
|
"id": 373,
|
||||||
"logprob": -0.0005350113,
|
"logprob": -0.0005393028,
|
||||||
"text": "on"
|
"text": "on"
|
||||||
},
|
},
|
||||||
{
|
{
|
||||||
"id": 278,
|
"id": 278,
|
||||||
"logprob": -0.13867188,
|
"logprob": -0.140625,
|
||||||
"text": "the"
|
"text": "the"
|
||||||
},
|
},
|
||||||
{
|
{
|
||||||
"id": 1967,
|
"id": 1967,
|
||||||
"logprob": -0.06842041,
|
"logprob": -0.06756592,
|
||||||
"text": "image"
|
"text": "image"
|
||||||
},
|
},
|
||||||
{
|
{
|
||||||
"id": 29973,
|
"id": 29973,
|
||||||
"logprob": -0.15319824,
|
"logprob": -0.15454102,
|
||||||
"text": "?"
|
"text": "?"
|
||||||
}
|
}
|
||||||
],
|
],
|
||||||
@ -104,7 +104,7 @@
|
|||||||
"tokens": [
|
"tokens": [
|
||||||
{
|
{
|
||||||
"id": 32002,
|
"id": 32002,
|
||||||
"logprob": -0.0019445419,
|
"logprob": -0.0019140244,
|
||||||
"special": true,
|
"special": true,
|
||||||
"text": "<end_of_utterance>"
|
"text": "<end_of_utterance>"
|
||||||
},
|
},
|
||||||
@ -116,13 +116,13 @@
|
|||||||
},
|
},
|
||||||
{
|
{
|
||||||
"id": 13,
|
"id": 13,
|
||||||
"logprob": -1.7881393e-05,
|
"logprob": -1.7642975e-05,
|
||||||
"special": false,
|
"special": false,
|
||||||
"text": "\n"
|
"text": "\n"
|
||||||
},
|
},
|
||||||
{
|
{
|
||||||
"id": 7900,
|
"id": 7900,
|
||||||
"logprob": -3.0994415e-06,
|
"logprob": -2.9802322e-06,
|
||||||
"special": false,
|
"special": false,
|
||||||
"text": "Ass"
|
"text": "Ass"
|
||||||
},
|
},
|
||||||
@ -140,30 +140,30 @@
|
|||||||
},
|
},
|
||||||
{
|
{
|
||||||
"id": 319,
|
"id": 319,
|
||||||
"logprob": -0.9057617,
|
"logprob": -0.91064453,
|
||||||
"special": false,
|
"special": false,
|
||||||
"text": " A"
|
"text": " A"
|
||||||
},
|
},
|
||||||
{
|
{
|
||||||
"id": 696,
|
"id": 696,
|
||||||
"logprob": -1.2314453,
|
"logprob": -1.2412109,
|
||||||
"special": false,
|
"special": false,
|
||||||
"text": " ro"
|
"text": " ro"
|
||||||
},
|
},
|
||||||
{
|
{
|
||||||
"id": 15664,
|
"id": 15664,
|
||||||
"logprob": -0.00024914742,
|
"logprob": -0.0002439022,
|
||||||
"special": false,
|
"special": false,
|
||||||
"text": "oster"
|
"text": "oster"
|
||||||
},
|
},
|
||||||
{
|
{
|
||||||
"id": 15028,
|
"id": 15028,
|
||||||
"logprob": -1.1621094,
|
"logprob": -1.1630859,
|
||||||
"special": false,
|
"special": false,
|
||||||
"text": " stands"
|
"text": " stands"
|
||||||
}
|
}
|
||||||
],
|
],
|
||||||
"top_tokens": null
|
"top_tokens": null
|
||||||
},
|
},
|
||||||
"generated_text": "\nAssistant: A rooster stands"
|
"generated_text": " \nAssistant: A rooster stands"
|
||||||
}
|
}
|
||||||
|
|||||||
@ -1,4 +1,173 @@
|
|||||||
[
|
[
|
||||||
|
{
|
||||||
|
"details": {
|
||||||
|
"best_of_sequences": null,
|
||||||
|
"finish_reason": "length",
|
||||||
|
"generated_tokens": 10,
|
||||||
|
"prefill": [
|
||||||
|
{
|
||||||
|
"id": 1,
|
||||||
|
"logprob": null,
|
||||||
|
"text": "<s>"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"id": 4911,
|
||||||
|
"logprob": -5.7851562,
|
||||||
|
"text": "User"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"id": 29901,
|
||||||
|
"logprob": -0.006996155,
|
||||||
|
"text": ":"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"id": 32000,
|
||||||
|
"logprob": -0.81347656,
|
||||||
|
"text": "<fake_token_around_image>"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"id": 32001,
|
||||||
|
"logprob": -6.687641e-05,
|
||||||
|
"text": "<image>"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"id": 32000,
|
||||||
|
"logprob": -3.5762787e-07,
|
||||||
|
"text": "<fake_token_around_image>"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"id": 1815,
|
||||||
|
"logprob": -4.2148438,
|
||||||
|
"text": "Can"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"id": 366,
|
||||||
|
"logprob": -0.014137268,
|
||||||
|
"text": "you"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"id": 2649,
|
||||||
|
"logprob": -4.4335938,
|
||||||
|
"text": "tell"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"id": 592,
|
||||||
|
"logprob": -0.2919922,
|
||||||
|
"text": "me"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"id": 263,
|
||||||
|
"logprob": -4.2070312,
|
||||||
|
"text": "a"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"id": 1407,
|
||||||
|
"logprob": -9.421875,
|
||||||
|
"text": "very"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"id": 3273,
|
||||||
|
"logprob": -1.8720703,
|
||||||
|
"text": "short"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"id": 5828,
|
||||||
|
"logprob": -0.26489258,
|
||||||
|
"text": "story"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"id": 2729,
|
||||||
|
"logprob": -3.7441406,
|
||||||
|
"text": "based"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"id": 373,
|
||||||
|
"logprob": -0.0005393028,
|
||||||
|
"text": "on"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"id": 278,
|
||||||
|
"logprob": -0.140625,
|
||||||
|
"text": "the"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"id": 1967,
|
||||||
|
"logprob": -0.06756592,
|
||||||
|
"text": "image"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"id": 29973,
|
||||||
|
"logprob": -0.15454102,
|
||||||
|
"text": "?"
|
||||||
|
}
|
||||||
|
],
|
||||||
|
"seed": null,
|
||||||
|
"tokens": [
|
||||||
|
{
|
||||||
|
"id": 32002,
|
||||||
|
"logprob": -0.0019140244,
|
||||||
|
"special": true,
|
||||||
|
"text": "<end_of_utterance>"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"id": 29871,
|
||||||
|
"logprob": -8.392334e-05,
|
||||||
|
"special": false,
|
||||||
|
"text": " "
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"id": 13,
|
||||||
|
"logprob": -1.7881393e-05,
|
||||||
|
"special": false,
|
||||||
|
"text": "\n"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"id": 7900,
|
||||||
|
"logprob": -2.9802322e-06,
|
||||||
|
"special": false,
|
||||||
|
"text": "Ass"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"id": 22137,
|
||||||
|
"logprob": 0.0,
|
||||||
|
"special": false,
|
||||||
|
"text": "istant"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"id": 29901,
|
||||||
|
"logprob": -3.0994415e-06,
|
||||||
|
"special": false,
|
||||||
|
"text": ":"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"id": 319,
|
||||||
|
"logprob": -0.9057617,
|
||||||
|
"special": false,
|
||||||
|
"text": " A"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"id": 696,
|
||||||
|
"logprob": -1.2294922,
|
||||||
|
"special": false,
|
||||||
|
"text": " ro"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"id": 15664,
|
||||||
|
"logprob": -0.00024533272,
|
||||||
|
"special": false,
|
||||||
|
"text": "oster"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"id": 15028,
|
||||||
|
"logprob": -1.1640625,
|
||||||
|
"special": false,
|
||||||
|
"text": " stands"
|
||||||
|
}
|
||||||
|
],
|
||||||
|
"top_tokens": null
|
||||||
|
},
|
||||||
|
"generated_text": " \nAssistant: A rooster stands"
|
||||||
|
},
|
||||||
{
|
{
|
||||||
"details": {
|
"details": {
|
||||||
"best_of_sequences": null,
|
"best_of_sequences": null,
|
||||||
@ -17,17 +186,17 @@
|
|||||||
},
|
},
|
||||||
{
|
{
|
||||||
"id": 29901,
|
"id": 29901,
|
||||||
"logprob": -0.0069999695,
|
"logprob": -0.0070114136,
|
||||||
"text": ":"
|
"text": ":"
|
||||||
},
|
},
|
||||||
{
|
{
|
||||||
"id": 32000,
|
"id": 32000,
|
||||||
"logprob": -0.8125,
|
"logprob": -0.8208008,
|
||||||
"text": "<fake_token_around_image>"
|
"text": "<fake_token_around_image>"
|
||||||
},
|
},
|
||||||
{
|
{
|
||||||
"id": 32001,
|
"id": 32001,
|
||||||
"logprob": -6.651878e-05,
|
"logprob": -6.699562e-05,
|
||||||
"text": "<image>"
|
"text": "<image>"
|
||||||
},
|
},
|
||||||
{
|
{
|
||||||
@ -42,17 +211,17 @@
|
|||||||
},
|
},
|
||||||
{
|
{
|
||||||
"id": 366,
|
"id": 366,
|
||||||
"logprob": -0.013977051,
|
"logprob": -0.014175415,
|
||||||
"text": "you"
|
"text": "you"
|
||||||
},
|
},
|
||||||
{
|
{
|
||||||
"id": 2649,
|
"id": 2649,
|
||||||
"logprob": -4.4375,
|
"logprob": -4.4296875,
|
||||||
"text": "tell"
|
"text": "tell"
|
||||||
},
|
},
|
||||||
{
|
{
|
||||||
"id": 592,
|
"id": 592,
|
||||||
"logprob": -0.29077148,
|
"logprob": -0.29516602,
|
||||||
"text": "me"
|
"text": "me"
|
||||||
},
|
},
|
||||||
{
|
{
|
||||||
@ -67,37 +236,37 @@
|
|||||||
},
|
},
|
||||||
{
|
{
|
||||||
"id": 3273,
|
"id": 3273,
|
||||||
"logprob": -1.8671875,
|
"logprob": -1.8720703,
|
||||||
"text": "short"
|
"text": "short"
|
||||||
},
|
},
|
||||||
{
|
{
|
||||||
"id": 5828,
|
"id": 5828,
|
||||||
"logprob": -0.26586914,
|
"logprob": -0.26879883,
|
||||||
"text": "story"
|
"text": "story"
|
||||||
},
|
},
|
||||||
{
|
{
|
||||||
"id": 2729,
|
"id": 2729,
|
||||||
"logprob": -3.7460938,
|
"logprob": -3.7675781,
|
||||||
"text": "based"
|
"text": "based"
|
||||||
},
|
},
|
||||||
{
|
{
|
||||||
"id": 373,
|
"id": 373,
|
||||||
"logprob": -0.0005350113,
|
"logprob": -0.0005354881,
|
||||||
"text": "on"
|
"text": "on"
|
||||||
},
|
},
|
||||||
{
|
{
|
||||||
"id": 278,
|
"id": 278,
|
||||||
"logprob": -0.13867188,
|
"logprob": -0.13671875,
|
||||||
"text": "the"
|
"text": "the"
|
||||||
},
|
},
|
||||||
{
|
{
|
||||||
"id": 1967,
|
"id": 1967,
|
||||||
"logprob": -0.06842041,
|
"logprob": -0.06719971,
|
||||||
"text": "image"
|
"text": "image"
|
||||||
},
|
},
|
||||||
{
|
{
|
||||||
"id": 29973,
|
"id": 29973,
|
||||||
"logprob": -0.15319824,
|
"logprob": -0.15551758,
|
||||||
"text": "?"
|
"text": "?"
|
||||||
}
|
}
|
||||||
],
|
],
|
||||||
@ -105,13 +274,13 @@
|
|||||||
"tokens": [
|
"tokens": [
|
||||||
{
|
{
|
||||||
"id": 32002,
|
"id": 32002,
|
||||||
"logprob": -0.0019445419,
|
"logprob": -0.0019130707,
|
||||||
"special": true,
|
"special": true,
|
||||||
"text": "<end_of_utterance>"
|
"text": "<end_of_utterance>"
|
||||||
},
|
},
|
||||||
{
|
{
|
||||||
"id": 29871,
|
"id": 29871,
|
||||||
"logprob": -8.416176e-05,
|
"logprob": -8.392334e-05,
|
||||||
"special": false,
|
"special": false,
|
||||||
"text": " "
|
"text": " "
|
||||||
},
|
},
|
||||||
@ -135,25 +304,25 @@
|
|||||||
},
|
},
|
||||||
{
|
{
|
||||||
"id": 29901,
|
"id": 29901,
|
||||||
"logprob": -3.2186508e-06,
|
"logprob": -3.0994415e-06,
|
||||||
"special": false,
|
"special": false,
|
||||||
"text": ":"
|
"text": ":"
|
||||||
},
|
},
|
||||||
{
|
{
|
||||||
"id": 319,
|
"id": 319,
|
||||||
"logprob": -0.89941406,
|
"logprob": -0.9013672,
|
||||||
"special": false,
|
"special": false,
|
||||||
"text": " A"
|
"text": " A"
|
||||||
},
|
},
|
||||||
{
|
{
|
||||||
"id": 696,
|
"id": 696,
|
||||||
"logprob": -1.234375,
|
"logprob": -1.2324219,
|
||||||
"special": false,
|
"special": false,
|
||||||
"text": " ro"
|
"text": " ro"
|
||||||
},
|
},
|
||||||
{
|
{
|
||||||
"id": 15664,
|
"id": 15664,
|
||||||
"logprob": -0.0002465248,
|
"logprob": -0.0002477169,
|
||||||
"special": false,
|
"special": false,
|
||||||
"text": "oster"
|
"text": "oster"
|
||||||
},
|
},
|
||||||
@ -166,7 +335,7 @@
|
|||||||
],
|
],
|
||||||
"top_tokens": null
|
"top_tokens": null
|
||||||
},
|
},
|
||||||
"generated_text": "\nAssistant: A rooster stands"
|
"generated_text": " \nAssistant: A rooster stands"
|
||||||
},
|
},
|
||||||
{
|
{
|
||||||
"details": {
|
"details": {
|
||||||
@ -181,22 +350,22 @@
|
|||||||
},
|
},
|
||||||
{
|
{
|
||||||
"id": 4911,
|
"id": 4911,
|
||||||
"logprob": -5.7890625,
|
"logprob": -5.7773438,
|
||||||
"text": "User"
|
"text": "User"
|
||||||
},
|
},
|
||||||
{
|
{
|
||||||
"id": 29901,
|
"id": 29901,
|
||||||
"logprob": -0.0070152283,
|
"logprob": -0.0070114136,
|
||||||
"text": ":"
|
"text": ":"
|
||||||
},
|
},
|
||||||
{
|
{
|
||||||
"id": 32000,
|
"id": 32000,
|
||||||
"logprob": -0.8125,
|
"logprob": -0.8208008,
|
||||||
"text": "<fake_token_around_image>"
|
"text": "<fake_token_around_image>"
|
||||||
},
|
},
|
||||||
{
|
{
|
||||||
"id": 32001,
|
"id": 32001,
|
||||||
"logprob": -6.651878e-05,
|
"logprob": -6.699562e-05,
|
||||||
"text": "<image>"
|
"text": "<image>"
|
||||||
},
|
},
|
||||||
{
|
{
|
||||||
@ -211,17 +380,17 @@
|
|||||||
},
|
},
|
||||||
{
|
{
|
||||||
"id": 366,
|
"id": 366,
|
||||||
"logprob": -0.014190674,
|
"logprob": -0.014175415,
|
||||||
"text": "you"
|
"text": "you"
|
||||||
},
|
},
|
||||||
{
|
{
|
||||||
"id": 2649,
|
"id": 2649,
|
||||||
"logprob": -4.4140625,
|
"logprob": -4.4296875,
|
||||||
"text": "tell"
|
"text": "tell"
|
||||||
},
|
},
|
||||||
{
|
{
|
||||||
"id": 592,
|
"id": 592,
|
||||||
"logprob": -0.2919922,
|
"logprob": -0.29516602,
|
||||||
"text": "me"
|
"text": "me"
|
||||||
},
|
},
|
||||||
{
|
{
|
||||||
@ -231,7 +400,7 @@
|
|||||||
},
|
},
|
||||||
{
|
{
|
||||||
"id": 1407,
|
"id": 1407,
|
||||||
"logprob": -9.4375,
|
"logprob": -9.4296875,
|
||||||
"text": "very"
|
"text": "very"
|
||||||
},
|
},
|
||||||
{
|
{
|
||||||
@ -241,7 +410,7 @@
|
|||||||
},
|
},
|
||||||
{
|
{
|
||||||
"id": 5828,
|
"id": 5828,
|
||||||
"logprob": -0.26904297,
|
"logprob": -0.26879883,
|
||||||
"text": "story"
|
"text": "story"
|
||||||
},
|
},
|
||||||
{
|
{
|
||||||
@ -251,22 +420,22 @@
|
|||||||
},
|
},
|
||||||
{
|
{
|
||||||
"id": 373,
|
"id": 373,
|
||||||
"logprob": -0.0005402565,
|
"logprob": -0.0005354881,
|
||||||
"text": "on"
|
"text": "on"
|
||||||
},
|
},
|
||||||
{
|
{
|
||||||
"id": 278,
|
"id": 278,
|
||||||
"logprob": -0.13867188,
|
"logprob": -0.13671875,
|
||||||
"text": "the"
|
"text": "the"
|
||||||
},
|
},
|
||||||
{
|
{
|
||||||
"id": 1967,
|
"id": 1967,
|
||||||
"logprob": -0.068359375,
|
"logprob": -0.06719971,
|
||||||
"text": "image"
|
"text": "image"
|
||||||
},
|
},
|
||||||
{
|
{
|
||||||
"id": 29973,
|
"id": 29973,
|
||||||
"logprob": -0.15539551,
|
"logprob": -0.15551758,
|
||||||
"text": "?"
|
"text": "?"
|
||||||
}
|
}
|
||||||
],
|
],
|
||||||
@ -274,7 +443,7 @@
|
|||||||
"tokens": [
|
"tokens": [
|
||||||
{
|
{
|
||||||
"id": 32002,
|
"id": 32002,
|
||||||
"logprob": -0.0019168854,
|
"logprob": -0.001912117,
|
||||||
"special": true,
|
"special": true,
|
||||||
"text": "<end_of_utterance>"
|
"text": "<end_of_utterance>"
|
||||||
},
|
},
|
||||||
@ -286,7 +455,7 @@
|
|||||||
},
|
},
|
||||||
{
|
{
|
||||||
"id": 13,
|
"id": 13,
|
||||||
"logprob": -1.7642975e-05,
|
"logprob": -1.7762184e-05,
|
||||||
"special": false,
|
"special": false,
|
||||||
"text": "\n"
|
"text": "\n"
|
||||||
},
|
},
|
||||||
@ -310,32 +479,32 @@
|
|||||||
},
|
},
|
||||||
{
|
{
|
||||||
"id": 319,
|
"id": 319,
|
||||||
"logprob": -0.90722656,
|
"logprob": -0.9013672,
|
||||||
"special": false,
|
"special": false,
|
||||||
"text": " A"
|
"text": " A"
|
||||||
},
|
},
|
||||||
{
|
{
|
||||||
"id": 696,
|
"id": 696,
|
||||||
"logprob": -1.2373047,
|
"logprob": -1.2324219,
|
||||||
"special": false,
|
"special": false,
|
||||||
"text": " ro"
|
"text": " ro"
|
||||||
},
|
},
|
||||||
{
|
{
|
||||||
"id": 15664,
|
"id": 15664,
|
||||||
"logprob": -0.00024938583,
|
"logprob": -0.0002477169,
|
||||||
"special": false,
|
"special": false,
|
||||||
"text": "oster"
|
"text": "oster"
|
||||||
},
|
},
|
||||||
{
|
{
|
||||||
"id": 15028,
|
"id": 15028,
|
||||||
"logprob": -1.1708984,
|
"logprob": -1.1660156,
|
||||||
"special": false,
|
"special": false,
|
||||||
"text": " stands"
|
"text": " stands"
|
||||||
}
|
}
|
||||||
],
|
],
|
||||||
"top_tokens": null
|
"top_tokens": null
|
||||||
},
|
},
|
||||||
"generated_text": "\nAssistant: A rooster stands"
|
"generated_text": " \nAssistant: A rooster stands"
|
||||||
},
|
},
|
||||||
{
|
{
|
||||||
"details": {
|
"details": {
|
||||||
@ -350,22 +519,22 @@
|
|||||||
},
|
},
|
||||||
{
|
{
|
||||||
"id": 4911,
|
"id": 4911,
|
||||||
"logprob": -5.7890625,
|
"logprob": -5.7773438,
|
||||||
"text": "User"
|
"text": "User"
|
||||||
},
|
},
|
||||||
{
|
{
|
||||||
"id": 29901,
|
"id": 29901,
|
||||||
"logprob": -0.0070152283,
|
"logprob": -0.0070114136,
|
||||||
"text": ":"
|
"text": ":"
|
||||||
},
|
},
|
||||||
{
|
{
|
||||||
"id": 32000,
|
"id": 32000,
|
||||||
"logprob": -0.8125,
|
"logprob": -0.8208008,
|
||||||
"text": "<fake_token_around_image>"
|
"text": "<fake_token_around_image>"
|
||||||
},
|
},
|
||||||
{
|
{
|
||||||
"id": 32001,
|
"id": 32001,
|
||||||
"logprob": -6.663799e-05,
|
"logprob": -6.699562e-05,
|
||||||
"text": "<image>"
|
"text": "<image>"
|
||||||
},
|
},
|
||||||
{
|
{
|
||||||
@ -380,17 +549,17 @@
|
|||||||
},
|
},
|
||||||
{
|
{
|
||||||
"id": 366,
|
"id": 366,
|
||||||
"logprob": -0.014190674,
|
"logprob": -0.014175415,
|
||||||
"text": "you"
|
"text": "you"
|
||||||
},
|
},
|
||||||
{
|
{
|
||||||
"id": 2649,
|
"id": 2649,
|
||||||
"logprob": -4.4140625,
|
"logprob": -4.4296875,
|
||||||
"text": "tell"
|
"text": "tell"
|
||||||
},
|
},
|
||||||
{
|
{
|
||||||
"id": 592,
|
"id": 592,
|
||||||
"logprob": -0.2919922,
|
"logprob": -0.29516602,
|
||||||
"text": "me"
|
"text": "me"
|
||||||
},
|
},
|
||||||
{
|
{
|
||||||
@ -400,7 +569,7 @@
|
|||||||
},
|
},
|
||||||
{
|
{
|
||||||
"id": 1407,
|
"id": 1407,
|
||||||
"logprob": -9.4375,
|
"logprob": -9.4296875,
|
||||||
"text": "very"
|
"text": "very"
|
||||||
},
|
},
|
||||||
{
|
{
|
||||||
@ -410,7 +579,7 @@
|
|||||||
},
|
},
|
||||||
{
|
{
|
||||||
"id": 5828,
|
"id": 5828,
|
||||||
"logprob": -0.26904297,
|
"logprob": -0.26879883,
|
||||||
"text": "story"
|
"text": "story"
|
||||||
},
|
},
|
||||||
{
|
{
|
||||||
@ -420,22 +589,22 @@
|
|||||||
},
|
},
|
||||||
{
|
{
|
||||||
"id": 373,
|
"id": 373,
|
||||||
"logprob": -0.0005402565,
|
"logprob": -0.0005354881,
|
||||||
"text": "on"
|
"text": "on"
|
||||||
},
|
},
|
||||||
{
|
{
|
||||||
"id": 278,
|
"id": 278,
|
||||||
"logprob": -0.13867188,
|
"logprob": -0.13671875,
|
||||||
"text": "the"
|
"text": "the"
|
||||||
},
|
},
|
||||||
{
|
{
|
||||||
"id": 1967,
|
"id": 1967,
|
||||||
"logprob": -0.068359375,
|
"logprob": -0.06719971,
|
||||||
"text": "image"
|
"text": "image"
|
||||||
},
|
},
|
||||||
{
|
{
|
||||||
"id": 29973,
|
"id": 29973,
|
||||||
"logprob": -0.15539551,
|
"logprob": -0.15551758,
|
||||||
"text": "?"
|
"text": "?"
|
||||||
}
|
}
|
||||||
],
|
],
|
||||||
@ -443,19 +612,19 @@
|
|||||||
"tokens": [
|
"tokens": [
|
||||||
{
|
{
|
||||||
"id": 32002,
|
"id": 32002,
|
||||||
"logprob": -0.0019168854,
|
"logprob": -0.001912117,
|
||||||
"special": true,
|
"special": true,
|
||||||
"text": "<end_of_utterance>"
|
"text": "<end_of_utterance>"
|
||||||
},
|
},
|
||||||
{
|
{
|
||||||
"id": 29871,
|
"id": 29871,
|
||||||
"logprob": -8.404255e-05,
|
"logprob": -8.392334e-05,
|
||||||
"special": false,
|
"special": false,
|
||||||
"text": " "
|
"text": " "
|
||||||
},
|
},
|
||||||
{
|
{
|
||||||
"id": 13,
|
"id": 13,
|
||||||
"logprob": -1.7642975e-05,
|
"logprob": -1.7762184e-05,
|
||||||
"special": false,
|
"special": false,
|
||||||
"text": "\n"
|
"text": "\n"
|
||||||
},
|
},
|
||||||
@ -479,200 +648,31 @@
|
|||||||
},
|
},
|
||||||
{
|
{
|
||||||
"id": 319,
|
"id": 319,
|
||||||
"logprob": -0.90722656,
|
"logprob": -0.9013672,
|
||||||
"special": false,
|
"special": false,
|
||||||
"text": " A"
|
"text": " A"
|
||||||
},
|
},
|
||||||
{
|
{
|
||||||
"id": 696,
|
"id": 696,
|
||||||
"logprob": -1.2373047,
|
"logprob": -1.2324219,
|
||||||
"special": false,
|
"special": false,
|
||||||
"text": " ro"
|
"text": " ro"
|
||||||
},
|
},
|
||||||
{
|
{
|
||||||
"id": 15664,
|
"id": 15664,
|
||||||
"logprob": -0.00024938583,
|
"logprob": -0.0002477169,
|
||||||
"special": false,
|
"special": false,
|
||||||
"text": "oster"
|
"text": "oster"
|
||||||
},
|
},
|
||||||
{
|
{
|
||||||
"id": 15028,
|
"id": 15028,
|
||||||
"logprob": -1.1708984,
|
"logprob": -1.1660156,
|
||||||
"special": false,
|
"special": false,
|
||||||
"text": " stands"
|
"text": " stands"
|
||||||
}
|
}
|
||||||
],
|
],
|
||||||
"top_tokens": null
|
"top_tokens": null
|
||||||
},
|
},
|
||||||
"generated_text": "\nAssistant: A rooster stands"
|
"generated_text": " \nAssistant: A rooster stands"
|
||||||
},
|
|
||||||
{
|
|
||||||
"details": {
|
|
||||||
"best_of_sequences": null,
|
|
||||||
"finish_reason": "length",
|
|
||||||
"generated_tokens": 10,
|
|
||||||
"prefill": [
|
|
||||||
{
|
|
||||||
"id": 1,
|
|
||||||
"logprob": null,
|
|
||||||
"text": "<s>"
|
|
||||||
},
|
|
||||||
{
|
|
||||||
"id": 4911,
|
|
||||||
"logprob": -5.7890625,
|
|
||||||
"text": "User"
|
|
||||||
},
|
|
||||||
{
|
|
||||||
"id": 29901,
|
|
||||||
"logprob": -0.0070152283,
|
|
||||||
"text": ":"
|
|
||||||
},
|
|
||||||
{
|
|
||||||
"id": 32000,
|
|
||||||
"logprob": -0.8125,
|
|
||||||
"text": "<fake_token_around_image>"
|
|
||||||
},
|
|
||||||
{
|
|
||||||
"id": 32001,
|
|
||||||
"logprob": -6.663799e-05,
|
|
||||||
"text": "<image>"
|
|
||||||
},
|
|
||||||
{
|
|
||||||
"id": 32000,
|
|
||||||
"logprob": -3.5762787e-07,
|
|
||||||
"text": "<fake_token_around_image>"
|
|
||||||
},
|
|
||||||
{
|
|
||||||
"id": 1815,
|
|
||||||
"logprob": -4.2265625,
|
|
||||||
"text": "Can"
|
|
||||||
},
|
|
||||||
{
|
|
||||||
"id": 366,
|
|
||||||
"logprob": -0.014190674,
|
|
||||||
"text": "you"
|
|
||||||
},
|
|
||||||
{
|
|
||||||
"id": 2649,
|
|
||||||
"logprob": -4.4140625,
|
|
||||||
"text": "tell"
|
|
||||||
},
|
|
||||||
{
|
|
||||||
"id": 592,
|
|
||||||
"logprob": -0.2919922,
|
|
||||||
"text": "me"
|
|
||||||
},
|
|
||||||
{
|
|
||||||
"id": 263,
|
|
||||||
"logprob": -4.2109375,
|
|
||||||
"text": "a"
|
|
||||||
},
|
|
||||||
{
|
|
||||||
"id": 1407,
|
|
||||||
"logprob": -9.4375,
|
|
||||||
"text": "very"
|
|
||||||
},
|
|
||||||
{
|
|
||||||
"id": 3273,
|
|
||||||
"logprob": -1.8720703,
|
|
||||||
"text": "short"
|
|
||||||
},
|
|
||||||
{
|
|
||||||
"id": 5828,
|
|
||||||
"logprob": -0.26904297,
|
|
||||||
"text": "story"
|
|
||||||
},
|
|
||||||
{
|
|
||||||
"id": 2729,
|
|
||||||
"logprob": -3.7675781,
|
|
||||||
"text": "based"
|
|
||||||
},
|
|
||||||
{
|
|
||||||
"id": 373,
|
|
||||||
"logprob": -0.0005402565,
|
|
||||||
"text": "on"
|
|
||||||
},
|
|
||||||
{
|
|
||||||
"id": 278,
|
|
||||||
"logprob": -0.13867188,
|
|
||||||
"text": "the"
|
|
||||||
},
|
|
||||||
{
|
|
||||||
"id": 1967,
|
|
||||||
"logprob": -0.068359375,
|
|
||||||
"text": "image"
|
|
||||||
},
|
|
||||||
{
|
|
||||||
"id": 29973,
|
|
||||||
"logprob": -0.15539551,
|
|
||||||
"text": "?"
|
|
||||||
}
|
|
||||||
],
|
|
||||||
"seed": null,
|
|
||||||
"tokens": [
|
|
||||||
{
|
|
||||||
"id": 32002,
|
|
||||||
"logprob": -0.0019159317,
|
|
||||||
"special": true,
|
|
||||||
"text": "<end_of_utterance>"
|
|
||||||
},
|
|
||||||
{
|
|
||||||
"id": 29871,
|
|
||||||
"logprob": -8.404255e-05,
|
|
||||||
"special": false,
|
|
||||||
"text": " "
|
|
||||||
},
|
|
||||||
{
|
|
||||||
"id": 13,
|
|
||||||
"logprob": -1.7642975e-05,
|
|
||||||
"special": false,
|
|
||||||
"text": "\n"
|
|
||||||
},
|
|
||||||
{
|
|
||||||
"id": 7900,
|
|
||||||
"logprob": -3.0994415e-06,
|
|
||||||
"special": false,
|
|
||||||
"text": "Ass"
|
|
||||||
},
|
|
||||||
{
|
|
||||||
"id": 22137,
|
|
||||||
"logprob": 0.0,
|
|
||||||
"special": false,
|
|
||||||
"text": "istant"
|
|
||||||
},
|
|
||||||
{
|
|
||||||
"id": 29901,
|
|
||||||
"logprob": -3.0994415e-06,
|
|
||||||
"special": false,
|
|
||||||
"text": ":"
|
|
||||||
},
|
|
||||||
{
|
|
||||||
"id": 319,
|
|
||||||
"logprob": -0.90722656,
|
|
||||||
"special": false,
|
|
||||||
"text": " A"
|
|
||||||
},
|
|
||||||
{
|
|
||||||
"id": 696,
|
|
||||||
"logprob": -1.2373047,
|
|
||||||
"special": false,
|
|
||||||
"text": " ro"
|
|
||||||
},
|
|
||||||
{
|
|
||||||
"id": 15664,
|
|
||||||
"logprob": -0.00024938583,
|
|
||||||
"special": false,
|
|
||||||
"text": "oster"
|
|
||||||
},
|
|
||||||
{
|
|
||||||
"id": 15028,
|
|
||||||
"logprob": -1.1708984,
|
|
||||||
"special": false,
|
|
||||||
"text": " stands"
|
|
||||||
}
|
|
||||||
],
|
|
||||||
"top_tokens": null
|
|
||||||
},
|
|
||||||
"generated_text": "\nAssistant: A rooster stands"
|
|
||||||
}
|
}
|
||||||
]
|
]
|
||||||
|
|||||||
Loading…
Reference in New Issue
Block a user