mirror of
https://github.com/huggingface/text-generation-inference.git
synced 2025-09-10 11:54:52 +00:00
Switching model for integration test llama gptq.
This commit is contained in:
Nicolas Patry
parent
1dc952a674
commit
8b6a262539
@ -237,9 +237,6 @@ def launcher(event_loop):
|
||||
if quantize is not None:
|
||||
args.append("--quantize")
|
||||
args.append(quantize)
|
||||
if quantize == "gptq":
|
||||
env["GPTQ_GROUPSIZE"] = "128"
|
||||
env["GPTQ_BITS"] = "4"
|
||||
if trust_remote_code:
|
||||
args.append("--trust-remote-code")
|
||||
|
||||
|
||||
@ -1,102 +1,103 @@
|
||||
{
|
||||
"generated_text": ", and I am going to visit the Louvre",
|
||||
"details": {
|
||||
"best_of_sequences": null,
|
||||
"finish_reason": "length",
|
||||
"generated_tokens": 10,
|
||||
"seed": null,
|
||||
"prefill": [
|
||||
{
|
||||
"id": 2,
|
||||
"text": "</s>",
|
||||
"logprob": null
|
||||
"id": 1,
|
||||
"logprob": null,
|
||||
"text": "<s>"
|
||||
},
|
||||
{
|
||||
"id": 20628,
|
||||
"text": "Today",
|
||||
"logprob": -11.2265625
|
||||
"logprob": -10.4296875,
|
||||
"text": "Today"
|
||||
},
|
||||
{
|
||||
"id": 306,
|
||||
"text": "I",
|
||||
"logprob": -4.1757812
|
||||
"logprob": -2.4140625,
|
||||
"text": "I"
|
||||
},
|
||||
{
|
||||
"id": 626,
|
||||
"text": "am",
|
||||
"logprob": -1.9746094
|
||||
"logprob": -1.8818359,
|
||||
"text": "am"
|
||||
},
|
||||
{
|
||||
"id": 297,
|
||||
"text": "in",
|
||||
"logprob": -5.4648438
|
||||
"logprob": -4.4804688,
|
||||
"text": "in"
|
||||
},
|
||||
{
|
||||
"id": 3444,
|
||||
"text": "France",
|
||||
"logprob": -9.03125
|
||||
"logprob": -7.0820312,
|
||||
"text": "France"
|
||||
}
|
||||
],
|
||||
"seed": null,
|
||||
"tokens": [
|
||||
{
|
||||
"id": 29892,
|
||||
"text": ",",
|
||||
"logprob": -0.31298828,
|
||||
"special": false
|
||||
"logprob": -1.2949219,
|
||||
"special": false,
|
||||
"text": ","
|
||||
},
|
||||
{
|
||||
"id": 322,
|
||||
"text": " and",
|
||||
"logprob": -1.4345703,
|
||||
"special": false
|
||||
},
|
||||
{
|
||||
"id": 306,
|
||||
"text": " I",
|
||||
"logprob": -0.32080078,
|
||||
"special": false
|
||||
},
|
||||
{
|
||||
"id": 626,
|
||||
"text": " am",
|
||||
"logprob": -1.3798828,
|
||||
"special": false
|
||||
},
|
||||
{
|
||||
"id": 2675,
|
||||
"text": " going",
|
||||
"logprob": -1.2304688,
|
||||
"special": false
|
||||
},
|
||||
{
|
||||
"id": 304,
|
||||
"text": " to",
|
||||
"logprob": -0.0014791489,
|
||||
"special": false
|
||||
},
|
||||
{
|
||||
"id": 6493,
|
||||
"text": " visit",
|
||||
"logprob": -1.1503906,
|
||||
"special": false
|
||||
"id": 297,
|
||||
"logprob": -1.9414062,
|
||||
"special": false,
|
||||
"text": " in"
|
||||
},
|
||||
{
|
||||
"id": 278,
|
||||
"text": " the",
|
||||
"logprob": -0.41259766,
|
||||
"special": false
|
||||
"logprob": -0.75390625,
|
||||
"special": false,
|
||||
"text": " the"
|
||||
},
|
||||
{
|
||||
"id": 4562,
|
||||
"text": " Lou",
|
||||
"logprob": -1.8134766,
|
||||
"special": false
|
||||
"id": 7062,
|
||||
"logprob": -2.9101562,
|
||||
"special": false,
|
||||
"text": " south"
|
||||
},
|
||||
{
|
||||
"id": 12675,
|
||||
"text": "vre",
|
||||
"logprob": -0.000767231,
|
||||
"special": false
|
||||
"id": 310,
|
||||
"logprob": -1.0263672,
|
||||
"special": false,
|
||||
"text": " of"
|
||||
},
|
||||
{
|
||||
"id": 278,
|
||||
"logprob": -0.5751953,
|
||||
"special": false,
|
||||
"text": " the"
|
||||
},
|
||||
{
|
||||
"id": 4234,
|
||||
"logprob": -0.30273438,
|
||||
"special": false,
|
||||
"text": " country"
|
||||
},
|
||||
{
|
||||
"id": 29892,
|
||||
"logprob": -0.69091797,
|
||||
"special": false,
|
||||
"text": ","
|
||||
},
|
||||
{
|
||||
"id": 297,
|
||||
"logprob": -1.1015625,
|
||||
"special": false,
|
||||
"text": " in"
|
||||
},
|
||||
{
|
||||
"id": 278,
|
||||
"logprob": -0.5175781,
|
||||
"special": false,
|
||||
"text": " the"
|
||||
}
|
||||
]
|
||||
}
|
||||
},
|
||||
"generated_text": ", in the south of the country, in the"
|
||||
}
|
||||
|
||||
@ -1,97 +1,98 @@
|
||||
{
|
||||
"generated_text": "The capital city of France isParis.\n The Best Way to Visit",
|
||||
"details": {
|
||||
"best_of_sequences": null,
|
||||
"finish_reason": "length",
|
||||
"generated_tokens": 10,
|
||||
"seed": 0,
|
||||
"prefill": [
|
||||
{
|
||||
"id": 2,
|
||||
"text": "</s>",
|
||||
"logprob": null
|
||||
"id": 1,
|
||||
"logprob": null,
|
||||
"text": "<s>"
|
||||
},
|
||||
{
|
||||
"id": 4272,
|
||||
"text": "city",
|
||||
"logprob": -12.4453125
|
||||
"logprob": -12.390625,
|
||||
"text": "city"
|
||||
},
|
||||
{
|
||||
"id": 310,
|
||||
"text": "of",
|
||||
"logprob": -2.4023438
|
||||
"logprob": -2.5292969,
|
||||
"text": "of"
|
||||
},
|
||||
{
|
||||
"id": 3444,
|
||||
"text": "France",
|
||||
"logprob": -12.515625
|
||||
"logprob": -11.25,
|
||||
"text": "France"
|
||||
},
|
||||
{
|
||||
"id": 338,
|
||||
"text": "is",
|
||||
"logprob": -5.1914062
|
||||
"logprob": -4.953125,
|
||||
"text": "is"
|
||||
}
|
||||
],
|
||||
"seed": 0,
|
||||
"tokens": [
|
||||
{
|
||||
"id": 3681,
|
||||
"text": " Paris",
|
||||
"logprob": -0.22546387,
|
||||
"special": false
|
||||
"id": 278,
|
||||
"logprob": -0.1796875,
|
||||
"special": false,
|
||||
"text": " the"
|
||||
},
|
||||
{
|
||||
"id": 29889,
|
||||
"text": ".",
|
||||
"logprob": 0,
|
||||
"special": false
|
||||
"id": 12949,
|
||||
"logprob": -2.2792969,
|
||||
"special": false,
|
||||
"text": " seat"
|
||||
},
|
||||
{
|
||||
"id": 13,
|
||||
"text": "\n",
|
||||
"logprob": 0,
|
||||
"special": false
|
||||
"id": 310,
|
||||
"logprob": 0.0,
|
||||
"special": false,
|
||||
"text": " of"
|
||||
},
|
||||
{
|
||||
"id": 1,
|
||||
"text": "",
|
||||
"logprob": 0,
|
||||
"special": false
|
||||
"id": 263,
|
||||
"logprob": -0.09301758,
|
||||
"special": false,
|
||||
"text": " a"
|
||||
},
|
||||
{
|
||||
"id": 450,
|
||||
"text": " The",
|
||||
"logprob": 0,
|
||||
"special": false
|
||||
"id": 5917,
|
||||
"logprob": -1.3974609,
|
||||
"special": false,
|
||||
"text": " Roman"
|
||||
},
|
||||
{
|
||||
"id": 6407,
|
||||
"text": " Best",
|
||||
"logprob": -0.5522461,
|
||||
"special": false
|
||||
"id": 11865,
|
||||
"logprob": 0.0,
|
||||
"special": false,
|
||||
"text": " Catholic"
|
||||
},
|
||||
{
|
||||
"id": 5307,
|
||||
"text": " Way",
|
||||
"logprob": 0,
|
||||
"special": false
|
||||
"id": 3190,
|
||||
"logprob": 0.0,
|
||||
"special": false,
|
||||
"text": " arch"
|
||||
},
|
||||
{
|
||||
"id": 304,
|
||||
"text": " to",
|
||||
"logprob": 0,
|
||||
"special": false
|
||||
"id": 28693,
|
||||
"logprob": 0.0,
|
||||
"special": false,
|
||||
"text": "bishop"
|
||||
},
|
||||
{
|
||||
"id": 5741,
|
||||
"text": " Vis",
|
||||
"logprob": -2.3496094,
|
||||
"special": false
|
||||
"id": 29892,
|
||||
"logprob": 0.0,
|
||||
"special": false,
|
||||
"text": ","
|
||||
},
|
||||
{
|
||||
"id": 277,
|
||||
"text": "it",
|
||||
"logprob": 0,
|
||||
"special": false
|
||||
"id": 1058,
|
||||
"logprob": -0.9433594,
|
||||
"special": false,
|
||||
"text": " who"
|
||||
}
|
||||
]
|
||||
}
|
||||
},
|
||||
"generated_text": "The capital city of France isthe seat of a Roman Catholic archbishop, who"
|
||||
}
|
||||
|
||||
@ -1,410 +1,414 @@
|
||||
[
|
||||
{
|
||||
"generated_text": ", and I am going to visit the Louvre",
|
||||
"details": {
|
||||
"best_of_sequences": null,
|
||||
"finish_reason": "length",
|
||||
"generated_tokens": 10,
|
||||
"seed": null,
|
||||
"prefill": [
|
||||
{
|
||||
"id": 2,
|
||||
"text": "</s>",
|
||||
"logprob": null
|
||||
"id": 1,
|
||||
"logprob": null,
|
||||
"text": "<s>"
|
||||
},
|
||||
{
|
||||
"id": 20628,
|
||||
"text": "Today",
|
||||
"logprob": -10.734375
|
||||
"logprob": -10.4296875,
|
||||
"text": "Today"
|
||||
},
|
||||
{
|
||||
"id": 306,
|
||||
"text": "I",
|
||||
"logprob": -4.2265625
|
||||
"logprob": -2.4179688,
|
||||
"text": "I"
|
||||
},
|
||||
{
|
||||
"id": 626,
|
||||
"text": "am",
|
||||
"logprob": -1.9794922
|
||||
"logprob": -1.8876953,
|
||||
"text": "am"
|
||||
},
|
||||
{
|
||||
"id": 297,
|
||||
"text": "in",
|
||||
"logprob": -5.4960938
|
||||
"logprob": -4.484375,
|
||||
"text": "in"
|
||||
},
|
||||
{
|
||||
"id": 3444,
|
||||
"text": "France",
|
||||
"logprob": -9.1171875
|
||||
"logprob": -7.0820312,
|
||||
"text": "France"
|
||||
}
|
||||
],
|
||||
"seed": null,
|
||||
"tokens": [
|
||||
{
|
||||
"id": 29892,
|
||||
"text": ",",
|
||||
"logprob": -0.30737305,
|
||||
"special": false
|
||||
"logprob": -1.2958984,
|
||||
"special": false,
|
||||
"text": ","
|
||||
},
|
||||
{
|
||||
"id": 322,
|
||||
"text": " and",
|
||||
"logprob": -1.3701172,
|
||||
"special": false
|
||||
},
|
||||
{
|
||||
"id": 306,
|
||||
"text": " I",
|
||||
"logprob": -0.31567383,
|
||||
"special": false
|
||||
},
|
||||
{
|
||||
"id": 626,
|
||||
"text": " am",
|
||||
"logprob": -1.3886719,
|
||||
"special": false
|
||||
},
|
||||
{
|
||||
"id": 2675,
|
||||
"text": " going",
|
||||
"logprob": -1.2070312,
|
||||
"special": false
|
||||
},
|
||||
{
|
||||
"id": 304,
|
||||
"text": " to",
|
||||
"logprob": -0.0014028549,
|
||||
"special": false
|
||||
},
|
||||
{
|
||||
"id": 6493,
|
||||
"text": " visit",
|
||||
"logprob": -1.1181641,
|
||||
"special": false
|
||||
"id": 297,
|
||||
"logprob": -1.9423828,
|
||||
"special": false,
|
||||
"text": " in"
|
||||
},
|
||||
{
|
||||
"id": 278,
|
||||
"text": " the",
|
||||
"logprob": -0.3942871,
|
||||
"special": false
|
||||
"logprob": -0.7475586,
|
||||
"special": false,
|
||||
"text": " the"
|
||||
},
|
||||
{
|
||||
"id": 4562,
|
||||
"text": " Lou",
|
||||
"logprob": -1.8789062,
|
||||
"special": false
|
||||
"id": 7062,
|
||||
"logprob": -2.9101562,
|
||||
"special": false,
|
||||
"text": " south"
|
||||
},
|
||||
{
|
||||
"id": 12675,
|
||||
"text": "vre",
|
||||
"logprob": -0.00082969666,
|
||||
"special": false
|
||||
"id": 310,
|
||||
"logprob": -1.0380859,
|
||||
"special": false,
|
||||
"text": " of"
|
||||
},
|
||||
{
|
||||
"id": 278,
|
||||
"logprob": -0.5761719,
|
||||
"special": false,
|
||||
"text": " the"
|
||||
},
|
||||
{
|
||||
"id": 4234,
|
||||
"logprob": -0.30297852,
|
||||
"special": false,
|
||||
"text": " country"
|
||||
},
|
||||
{
|
||||
"id": 29892,
|
||||
"logprob": -0.6933594,
|
||||
"special": false,
|
||||
"text": ","
|
||||
},
|
||||
{
|
||||
"id": 297,
|
||||
"logprob": -1.0966797,
|
||||
"special": false,
|
||||
"text": " in"
|
||||
},
|
||||
{
|
||||
"id": 278,
|
||||
"logprob": -0.51708984,
|
||||
"special": false,
|
||||
"text": " the"
|
||||
}
|
||||
]
|
||||
}
|
||||
},
|
||||
"generated_text": ", in the south of the country, in the"
|
||||
},
|
||||
{
|
||||
"generated_text": ", and I am going to visit the Louvre",
|
||||
"details": {
|
||||
"best_of_sequences": null,
|
||||
"finish_reason": "length",
|
||||
"generated_tokens": 10,
|
||||
"seed": null,
|
||||
"prefill": [
|
||||
{
|
||||
"id": 2,
|
||||
"text": "</s>",
|
||||
"logprob": null
|
||||
"id": 1,
|
||||
"logprob": null,
|
||||
"text": "<s>"
|
||||
},
|
||||
{
|
||||
"id": 20628,
|
||||
"text": "Today",
|
||||
"logprob": -10.734375
|
||||
"logprob": -10.53125,
|
||||
"text": "Today"
|
||||
},
|
||||
{
|
||||
"id": 306,
|
||||
"text": "I",
|
||||
"logprob": -4.2265625
|
||||
"logprob": -2.4609375,
|
||||
"text": "I"
|
||||
},
|
||||
{
|
||||
"id": 626,
|
||||
"text": "am",
|
||||
"logprob": -1.9794922
|
||||
"logprob": -1.8857422,
|
||||
"text": "am"
|
||||
},
|
||||
{
|
||||
"id": 297,
|
||||
"text": "in",
|
||||
"logprob": -5.4960938
|
||||
"logprob": -4.484375,
|
||||
"text": "in"
|
||||
},
|
||||
{
|
||||
"id": 3444,
|
||||
"text": "France",
|
||||
"logprob": -9.1171875
|
||||
"logprob": -7.1015625,
|
||||
"text": "France"
|
||||
}
|
||||
],
|
||||
"seed": null,
|
||||
"tokens": [
|
||||
{
|
||||
"id": 29892,
|
||||
"text": ",",
|
||||
"logprob": -0.30737305,
|
||||
"special": false
|
||||
"logprob": -1.2910156,
|
||||
"special": false,
|
||||
"text": ","
|
||||
},
|
||||
{
|
||||
"id": 322,
|
||||
"text": " and",
|
||||
"logprob": -1.3720703,
|
||||
"special": false
|
||||
},
|
||||
{
|
||||
"id": 306,
|
||||
"text": " I",
|
||||
"logprob": -0.31469727,
|
||||
"special": false
|
||||
},
|
||||
{
|
||||
"id": 626,
|
||||
"text": " am",
|
||||
"logprob": -1.3916016,
|
||||
"special": false
|
||||
},
|
||||
{
|
||||
"id": 2675,
|
||||
"text": " going",
|
||||
"logprob": -1.2050781,
|
||||
"special": false
|
||||
},
|
||||
{
|
||||
"id": 304,
|
||||
"text": " to",
|
||||
"logprob": -0.0014019012,
|
||||
"special": false
|
||||
},
|
||||
{
|
||||
"id": 6493,
|
||||
"text": " visit",
|
||||
"logprob": -1.1162109,
|
||||
"special": false
|
||||
"id": 297,
|
||||
"logprob": -1.9375,
|
||||
"special": false,
|
||||
"text": " in"
|
||||
},
|
||||
{
|
||||
"id": 278,
|
||||
"text": " the",
|
||||
"logprob": -0.3959961,
|
||||
"special": false
|
||||
"logprob": -0.7416992,
|
||||
"special": false,
|
||||
"text": " the"
|
||||
},
|
||||
{
|
||||
"id": 4562,
|
||||
"text": " Lou",
|
||||
"logprob": -1.8847656,
|
||||
"special": false
|
||||
"id": 7062,
|
||||
"logprob": -2.90625,
|
||||
"special": false,
|
||||
"text": " south"
|
||||
},
|
||||
{
|
||||
"id": 12675,
|
||||
"text": "vre",
|
||||
"logprob": -0.0008392334,
|
||||
"special": false
|
||||
"id": 310,
|
||||
"logprob": -1.0439453,
|
||||
"special": false,
|
||||
"text": " of"
|
||||
},
|
||||
{
|
||||
"id": 278,
|
||||
"logprob": -0.5654297,
|
||||
"special": false,
|
||||
"text": " the"
|
||||
},
|
||||
{
|
||||
"id": 4234,
|
||||
"logprob": -0.3125,
|
||||
"special": false,
|
||||
"text": " country"
|
||||
},
|
||||
{
|
||||
"id": 29892,
|
||||
"logprob": -0.69384766,
|
||||
"special": false,
|
||||
"text": ","
|
||||
},
|
||||
{
|
||||
"id": 297,
|
||||
"logprob": -1.0976562,
|
||||
"special": false,
|
||||
"text": " in"
|
||||
},
|
||||
{
|
||||
"id": 278,
|
||||
"logprob": -0.51416016,
|
||||
"special": false,
|
||||
"text": " the"
|
||||
}
|
||||
]
|
||||
}
|
||||
},
|
||||
"generated_text": ", in the south of the country, in the"
|
||||
},
|
||||
{
|
||||
"generated_text": ", and I am going to visit the Louvre",
|
||||
"details": {
|
||||
"best_of_sequences": null,
|
||||
"finish_reason": "length",
|
||||
"generated_tokens": 10,
|
||||
"seed": null,
|
||||
"prefill": [
|
||||
{
|
||||
"id": 2,
|
||||
"text": "</s>",
|
||||
"logprob": null
|
||||
"id": 1,
|
||||
"logprob": null,
|
||||
"text": "<s>"
|
||||
},
|
||||
{
|
||||
"id": 20628,
|
||||
"text": "Today",
|
||||
"logprob": -10.734375
|
||||
"logprob": -10.53125,
|
||||
"text": "Today"
|
||||
},
|
||||
{
|
||||
"id": 306,
|
||||
"text": "I",
|
||||
"logprob": -4.2265625
|
||||
"logprob": -2.4609375,
|
||||
"text": "I"
|
||||
},
|
||||
{
|
||||
"id": 626,
|
||||
"text": "am",
|
||||
"logprob": -1.9794922
|
||||
"logprob": -1.8857422,
|
||||
"text": "am"
|
||||
},
|
||||
{
|
||||
"id": 297,
|
||||
"text": "in",
|
||||
"logprob": -5.4960938
|
||||
"logprob": -4.484375,
|
||||
"text": "in"
|
||||
},
|
||||
{
|
||||
"id": 3444,
|
||||
"text": "France",
|
||||
"logprob": -9.1171875
|
||||
"logprob": -7.1015625,
|
||||
"text": "France"
|
||||
}
|
||||
],
|
||||
"seed": null,
|
||||
"tokens": [
|
||||
{
|
||||
"id": 29892,
|
||||
"text": ",",
|
||||
"logprob": -0.30737305,
|
||||
"special": false
|
||||
"logprob": -1.2910156,
|
||||
"special": false,
|
||||
"text": ","
|
||||
},
|
||||
{
|
||||
"id": 322,
|
||||
"text": " and",
|
||||
"logprob": -1.3710938,
|
||||
"special": false
|
||||
},
|
||||
{
|
||||
"id": 306,
|
||||
"text": " I",
|
||||
"logprob": -0.31225586,
|
||||
"special": false
|
||||
},
|
||||
{
|
||||
"id": 626,
|
||||
"text": " am",
|
||||
"logprob": -1.3994141,
|
||||
"special": false
|
||||
},
|
||||
{
|
||||
"id": 2675,
|
||||
"text": " going",
|
||||
"logprob": -1.2060547,
|
||||
"special": false
|
||||
},
|
||||
{
|
||||
"id": 304,
|
||||
"text": " to",
|
||||
"logprob": -0.0013828278,
|
||||
"special": false
|
||||
},
|
||||
{
|
||||
"id": 6493,
|
||||
"text": " visit",
|
||||
"logprob": -1.1181641,
|
||||
"special": false
|
||||
"id": 297,
|
||||
"logprob": -1.9384766,
|
||||
"special": false,
|
||||
"text": " in"
|
||||
},
|
||||
{
|
||||
"id": 278,
|
||||
"text": " the",
|
||||
"logprob": -0.39135742,
|
||||
"special": false
|
||||
"logprob": -0.7426758,
|
||||
"special": false,
|
||||
"text": " the"
|
||||
},
|
||||
{
|
||||
"id": 4562,
|
||||
"text": " Lou",
|
||||
"logprob": -1.8808594,
|
||||
"special": false
|
||||
"id": 7062,
|
||||
"logprob": -2.9042969,
|
||||
"special": false,
|
||||
"text": " south"
|
||||
},
|
||||
{
|
||||
"id": 12675,
|
||||
"text": "vre",
|
||||
"logprob": -0.00084352493,
|
||||
"special": false
|
||||
"id": 310,
|
||||
"logprob": -1.0439453,
|
||||
"special": false,
|
||||
"text": " of"
|
||||
},
|
||||
{
|
||||
"id": 278,
|
||||
"logprob": -0.56103516,
|
||||
"special": false,
|
||||
"text": " the"
|
||||
},
|
||||
{
|
||||
"id": 4234,
|
||||
"logprob": -0.31323242,
|
||||
"special": false,
|
||||
"text": " country"
|
||||
},
|
||||
{
|
||||
"id": 29892,
|
||||
"logprob": -0.6982422,
|
||||
"special": false,
|
||||
"text": ","
|
||||
},
|
||||
{
|
||||
"id": 297,
|
||||
"logprob": -1.0976562,
|
||||
"special": false,
|
||||
"text": " in"
|
||||
},
|
||||
{
|
||||
"id": 278,
|
||||
"logprob": -0.52001953,
|
||||
"special": false,
|
||||
"text": " the"
|
||||
}
|
||||
]
|
||||
}
|
||||
},
|
||||
"generated_text": ", in the south of the country, in the"
|
||||
},
|
||||
{
|
||||
"generated_text": ", and I am going to visit the Louvre",
|
||||
"details": {
|
||||
"best_of_sequences": null,
|
||||
"finish_reason": "length",
|
||||
"generated_tokens": 10,
|
||||
"seed": null,
|
||||
"prefill": [
|
||||
{
|
||||
"id": 2,
|
||||
"text": "</s>",
|
||||
"logprob": null
|
||||
"id": 1,
|
||||
"logprob": null,
|
||||
"text": "<s>"
|
||||
},
|
||||
{
|
||||
"id": 20628,
|
||||
"text": "Today",
|
||||
"logprob": -11.203125
|
||||
"logprob": -10.53125,
|
||||
"text": "Today"
|
||||
},
|
||||
{
|
||||
"id": 306,
|
||||
"text": "I",
|
||||
"logprob": -4.1757812
|
||||
"logprob": -2.4609375,
|
||||
"text": "I"
|
||||
},
|
||||
{
|
||||
"id": 626,
|
||||
"text": "am",
|
||||
"logprob": -1.9697266
|
||||
"logprob": -1.8857422,
|
||||
"text": "am"
|
||||
},
|
||||
{
|
||||
"id": 297,
|
||||
"text": "in",
|
||||
"logprob": -5.4609375
|
||||
"logprob": -4.484375,
|
||||
"text": "in"
|
||||
},
|
||||
{
|
||||
"id": 3444,
|
||||
"text": "France",
|
||||
"logprob": -9.046875
|
||||
"logprob": -7.1015625,
|
||||
"text": "France"
|
||||
}
|
||||
],
|
||||
"seed": null,
|
||||
"tokens": [
|
||||
{
|
||||
"id": 29892,
|
||||
"text": ",",
|
||||
"logprob": -0.3083496,
|
||||
"special": false
|
||||
"logprob": -1.2910156,
|
||||
"special": false,
|
||||
"text": ","
|
||||
},
|
||||
{
|
||||
"id": 322,
|
||||
"text": " and",
|
||||
"logprob": -1.4228516,
|
||||
"special": false
|
||||
},
|
||||
{
|
||||
"id": 306,
|
||||
"text": " I",
|
||||
"logprob": -0.32055664,
|
||||
"special": false
|
||||
},
|
||||
{
|
||||
"id": 626,
|
||||
"text": " am",
|
||||
"logprob": -1.3847656,
|
||||
"special": false
|
||||
},
|
||||
{
|
||||
"id": 2675,
|
||||
"text": " going",
|
||||
"logprob": -1.21875,
|
||||
"special": false
|
||||
},
|
||||
{
|
||||
"id": 304,
|
||||
"text": " to",
|
||||
"logprob": -0.0014572144,
|
||||
"special": false
|
||||
},
|
||||
{
|
||||
"id": 6493,
|
||||
"text": " visit",
|
||||
"logprob": -1.1542969,
|
||||
"special": false
|
||||
"id": 297,
|
||||
"logprob": -1.9394531,
|
||||
"special": false,
|
||||
"text": " in"
|
||||
},
|
||||
{
|
||||
"id": 278,
|
||||
"text": " the",
|
||||
"logprob": -0.41455078,
|
||||
"special": false
|
||||
"logprob": -0.74121094,
|
||||
"special": false,
|
||||
"text": " the"
|
||||
},
|
||||
{
|
||||
"id": 4562,
|
||||
"text": " Lou",
|
||||
"logprob": -1.8193359,
|
||||
"special": false
|
||||
"id": 7062,
|
||||
"logprob": -2.90625,
|
||||
"special": false,
|
||||
"text": " south"
|
||||
},
|
||||
{
|
||||
"id": 12675,
|
||||
"text": "vre",
|
||||
"logprob": -0.0007710457,
|
||||
"special": false
|
||||
"id": 310,
|
||||
"logprob": -1.0439453,
|
||||
"special": false,
|
||||
"text": " of"
|
||||
},
|
||||
{
|
||||
"id": 278,
|
||||
"logprob": -0.56591797,
|
||||
"special": false,
|
||||
"text": " the"
|
||||
},
|
||||
{
|
||||
"id": 4234,
|
||||
"logprob": -0.31713867,
|
||||
"special": false,
|
||||
"text": " country"
|
||||
},
|
||||
{
|
||||
"id": 29892,
|
||||
"logprob": -0.69140625,
|
||||
"special": false,
|
||||
"text": ","
|
||||
},
|
||||
{
|
||||
"id": 297,
|
||||
"logprob": -1.0957031,
|
||||
"special": false,
|
||||
"text": " in"
|
||||
},
|
||||
{
|
||||
"id": 278,
|
||||
"logprob": -0.52001953,
|
||||
"special": false,
|
||||
"text": " the"
|
||||
}
|
||||
]
|
||||
}
|
||||
},
|
||||
"generated_text": ", in the south of the country, in the"
|
||||
}
|
||||
]
|
||||
|
||||
@ -4,7 +4,7 @@ import pytest
|
||||
|
||||
@pytest.fixture(scope="module")
|
||||
def flash_llama_gptq_handle(launcher):
|
||||
with launcher("TheBloke/WizardLM-7B-uncensored-GPTQ", num_shard=2, quantize="gptq") as handle:
|
||||
with launcher("huggingface/llama-7b-gptq", num_shard=2, quantize="gptq") as handle:
|
||||
yield handle
|
||||
|
||||
|
||||
|
||||
Loading…
Reference in New Issue
Block a user