mirror of
https://github.com/huggingface/text-generation-inference.git
synced 2025-06-17 14:52:09 +00:00
fix test
This commit is contained in:
Felix Marty
parent
faa5b52fdc
commit
38c2be5926
@ -1,93 +1,192 @@
|
||||
{
|
||||
"generated_text": "\n return sum(L) / len(L)\n\n\ndef geometric_mean(L",
|
||||
"details": {
|
||||
"best_of_sequences": null,
|
||||
"finish_reason": "length",
|
||||
"generated_tokens": 10,
|
||||
"generated_tokens": 20,
|
||||
"seed": null,
|
||||
"prefill": [
|
||||
{
|
||||
"id": 589,
|
||||
"logprob": null,
|
||||
"text": "def"
|
||||
"text": "def",
|
||||
"logprob": null
|
||||
},
|
||||
{
|
||||
"id": 1459,
|
||||
"logprob": -5.6289062,
|
||||
"text": " print"
|
||||
"id": 3226,
|
||||
"text": " ge",
|
||||
"logprob": -9.0234375
|
||||
},
|
||||
{
|
||||
"id": 21017,
|
||||
"text": "ometric",
|
||||
"logprob": -9.09375
|
||||
},
|
||||
{
|
||||
"id": 81,
|
||||
"logprob": -1.6005859,
|
||||
"text": "_"
|
||||
"text": "_",
|
||||
"logprob": -0.25610352
|
||||
},
|
||||
{
|
||||
"id": 7656,
|
||||
"logprob": -5.9921875,
|
||||
"text": "hello"
|
||||
"id": 6009,
|
||||
"text": "mean",
|
||||
"logprob": -2.1835938
|
||||
},
|
||||
{
|
||||
"id": 26,
|
||||
"text": "(",
|
||||
"logprob": -0.29907227
|
||||
},
|
||||
{
|
||||
"id": 62,
|
||||
"text": "L",
|
||||
"logprob": -5.6015625
|
||||
},
|
||||
{
|
||||
"id": 44,
|
||||
"text": ":",
|
||||
"logprob": -3.0898438
|
||||
},
|
||||
{
|
||||
"id": 1682,
|
||||
"text": " List",
|
||||
"logprob": -0.68359375
|
||||
},
|
||||
{
|
||||
"id": 77,
|
||||
"text": "[",
|
||||
"logprob": -0.3869629
|
||||
},
|
||||
{
|
||||
"id": 1808,
|
||||
"text": "float",
|
||||
"logprob": -0.95751953
|
||||
},
|
||||
{
|
||||
"id": 10794,
|
||||
"text": "]):",
|
||||
"logprob": -2.5507812
|
||||
}
|
||||
],
|
||||
"seed": null,
|
||||
"tokens": [
|
||||
{
|
||||
"id": 2262,
|
||||
"logprob": -0.7705078,
|
||||
"special": false,
|
||||
"text": "():"
|
||||
},
|
||||
{
|
||||
"id": 284,
|
||||
"logprob": -0.2590332,
|
||||
"special": false,
|
||||
"text": "\n "
|
||||
"text": "\n ",
|
||||
"logprob": -1.171875,
|
||||
"special": false
|
||||
},
|
||||
{
|
||||
"id": 1459,
|
||||
"logprob": -0.39379883,
|
||||
"special": false,
|
||||
"text": " print"
|
||||
"id": 442,
|
||||
"text": " return",
|
||||
"logprob": -0.9453125,
|
||||
"special": false
|
||||
},
|
||||
{
|
||||
"id": 440,
|
||||
"logprob": -0.61376953,
|
||||
"special": false,
|
||||
"text": "(\""
|
||||
"id": 3632,
|
||||
"text": " sum",
|
||||
"logprob": -1.4013672,
|
||||
"special": false
|
||||
},
|
||||
{
|
||||
"id": 8279,
|
||||
"logprob": -0.47338867,
|
||||
"special": false,
|
||||
"text": "Hello"
|
||||
"id": 26,
|
||||
"text": "(",
|
||||
"logprob": -0.083618164,
|
||||
"special": false
|
||||
},
|
||||
{
|
||||
"id": 10896,
|
||||
"logprob": -1.5068359,
|
||||
"special": false,
|
||||
"text": " World"
|
||||
"id": 62,
|
||||
"text": "L",
|
||||
"logprob": -0.098083496,
|
||||
"special": false
|
||||
},
|
||||
{
|
||||
"id": 657,
|
||||
"logprob": -0.80810547,
|
||||
"special": false,
|
||||
"text": "\")"
|
||||
"id": 27,
|
||||
"text": ")",
|
||||
"logprob": -0.30493164,
|
||||
"special": false
|
||||
},
|
||||
{
|
||||
"id": 517,
|
||||
"text": " /",
|
||||
"logprob": -0.4074707,
|
||||
"special": false
|
||||
},
|
||||
{
|
||||
"id": 2069,
|
||||
"text": " len",
|
||||
"logprob": -0.041015625,
|
||||
"special": false
|
||||
},
|
||||
{
|
||||
"id": 26,
|
||||
"text": "(",
|
||||
"logprob": -0.0011863708,
|
||||
"special": false
|
||||
},
|
||||
{
|
||||
"id": 62,
|
||||
"text": "L",
|
||||
"logprob": -0.0005221367,
|
||||
"special": false
|
||||
},
|
||||
{
|
||||
"id": 27,
|
||||
"text": ")",
|
||||
"logprob": -0.0017499924,
|
||||
"special": false
|
||||
},
|
||||
{
|
||||
"id": 478,
|
||||
"text": "\n\n",
|
||||
"logprob": -0.69873047,
|
||||
"special": false
|
||||
},
|
||||
{
|
||||
"id": 203,
|
||||
"logprob": -0.7397461,
|
||||
"special": false,
|
||||
"text": "\n"
|
||||
},
|
||||
{
|
||||
"id": 203,
|
||||
"logprob": -0.35229492,
|
||||
"special": false,
|
||||
"text": "\n"
|
||||
"text": "\n",
|
||||
"logprob": -0.041229248,
|
||||
"special": false
|
||||
},
|
||||
{
|
||||
"id": 589,
|
||||
"logprob": -1.0371094,
|
||||
"special": false,
|
||||
"text": "def"
|
||||
"text": "def",
|
||||
"logprob": -0.27929688,
|
||||
"special": false
|
||||
},
|
||||
{
|
||||
"id": 3226,
|
||||
"text": " ge",
|
||||
"logprob": -1.7089844,
|
||||
"special": false
|
||||
},
|
||||
{
|
||||
"id": 21017,
|
||||
"text": "ometric",
|
||||
"logprob": -0.010757446,
|
||||
"special": false
|
||||
},
|
||||
{
|
||||
"id": 81,
|
||||
"text": "_",
|
||||
"logprob": -0.0090408325,
|
||||
"special": false
|
||||
},
|
||||
{
|
||||
"id": 6009,
|
||||
"text": "mean",
|
||||
"logprob": -0.024932861,
|
||||
"special": false
|
||||
},
|
||||
{
|
||||
"id": 26,
|
||||
"text": "(",
|
||||
"logprob": -0.06451416,
|
||||
"special": false
|
||||
},
|
||||
{
|
||||
"id": 62,
|
||||
"text": "L",
|
||||
"logprob": -0.09832764,
|
||||
"special": false
|
||||
}
|
||||
]
|
||||
},
|
||||
"generated_text": "():\n print(\"Hello World\")\n\ndef"
|
||||
}
|
||||
}
|
||||
|
||||
@ -1,393 +1,192 @@
|
||||
{
|
||||
"generated_text": "\n return reduce(lambda x, y: x * y, L)\n\ndef geometric",
|
||||
"details": {
|
||||
"best_of_sequences": null,
|
||||
"finish_reason": "length",
|
||||
"generated_tokens": 60,
|
||||
"generated_tokens": 20,
|
||||
"seed": 0,
|
||||
"prefill": [
|
||||
{
|
||||
"id": 589,
|
||||
"logprob": null,
|
||||
"text": "def"
|
||||
"text": "def",
|
||||
"logprob": null
|
||||
},
|
||||
{
|
||||
"id": 1459,
|
||||
"logprob": -5.6328125,
|
||||
"text": " print"
|
||||
"id": 3226,
|
||||
"text": " ge",
|
||||
"logprob": -9.0234375
|
||||
},
|
||||
{
|
||||
"id": 21017,
|
||||
"text": "ometric",
|
||||
"logprob": -9.0859375
|
||||
},
|
||||
{
|
||||
"id": 81,
|
||||
"logprob": -1.6035156,
|
||||
"text": "_"
|
||||
"text": "_",
|
||||
"logprob": -0.25878906
|
||||
},
|
||||
{
|
||||
"id": 7656,
|
||||
"logprob": -5.9882812,
|
||||
"text": "hello"
|
||||
"id": 6009,
|
||||
"text": "mean",
|
||||
"logprob": -2.2109375
|
||||
},
|
||||
{
|
||||
"id": 26,
|
||||
"text": "(",
|
||||
"logprob": -0.30371094
|
||||
},
|
||||
{
|
||||
"id": 62,
|
||||
"text": "L",
|
||||
"logprob": -5.6054688
|
||||
},
|
||||
{
|
||||
"id": 44,
|
||||
"text": ":",
|
||||
"logprob": -3.0722656
|
||||
},
|
||||
{
|
||||
"id": 1682,
|
||||
"text": " List",
|
||||
"logprob": -0.6879883
|
||||
},
|
||||
{
|
||||
"id": 77,
|
||||
"text": "[",
|
||||
"logprob": -0.38500977
|
||||
},
|
||||
{
|
||||
"id": 1808,
|
||||
"text": "float",
|
||||
"logprob": -0.984375
|
||||
},
|
||||
{
|
||||
"id": 10794,
|
||||
"text": "]):",
|
||||
"logprob": -2.5351562
|
||||
}
|
||||
],
|
||||
"seed": 0,
|
||||
"tokens": [
|
||||
{
|
||||
"id": 2262,
|
||||
"logprob": -0.042999268,
|
||||
"special": false,
|
||||
"text": "():"
|
||||
},
|
||||
{
|
||||
"id": 284,
|
||||
"logprob": 0.0,
|
||||
"special": false,
|
||||
"text": "\n "
|
||||
"text": "\n ",
|
||||
"logprob": -0.05831909,
|
||||
"special": false
|
||||
},
|
||||
{
|
||||
"id": 1459,
|
||||
"logprob": 0.0,
|
||||
"special": false,
|
||||
"text": " print"
|
||||
"id": 442,
|
||||
"text": " return",
|
||||
"logprob": 0,
|
||||
"special": false
|
||||
},
|
||||
{
|
||||
"id": 440,
|
||||
"logprob": 0.0,
|
||||
"special": false,
|
||||
"text": "(\""
|
||||
},
|
||||
{
|
||||
"id": 8279,
|
||||
"logprob": 0.0,
|
||||
"special": false,
|
||||
"text": "Hello"
|
||||
},
|
||||
{
|
||||
"id": 10896,
|
||||
"logprob": -0.38549805,
|
||||
"special": false,
|
||||
"text": " World"
|
||||
},
|
||||
{
|
||||
"id": 657,
|
||||
"logprob": -0.5229492,
|
||||
"special": false,
|
||||
"text": "\")"
|
||||
},
|
||||
{
|
||||
"id": 203,
|
||||
"logprob": -0.10632324,
|
||||
"special": false,
|
||||
"text": "\n"
|
||||
},
|
||||
{
|
||||
"id": 203,
|
||||
"logprob": 0.0,
|
||||
"special": false,
|
||||
"text": "\n"
|
||||
},
|
||||
{
|
||||
"id": 589,
|
||||
"logprob": -0.20141602,
|
||||
"special": false,
|
||||
"text": "def"
|
||||
},
|
||||
{
|
||||
"id": 1459,
|
||||
"logprob": 0.0,
|
||||
"special": false,
|
||||
"text": " print"
|
||||
},
|
||||
{
|
||||
"id": 81,
|
||||
"logprob": 0.0,
|
||||
"special": false,
|
||||
"text": "_"
|
||||
},
|
||||
{
|
||||
"id": 7656,
|
||||
"logprob": 0.0,
|
||||
"special": false,
|
||||
"text": "hello"
|
||||
},
|
||||
{
|
||||
"id": 81,
|
||||
"logprob": 0.0,
|
||||
"special": false,
|
||||
"text": "_"
|
||||
},
|
||||
{
|
||||
"id": 426,
|
||||
"logprob": 0.0,
|
||||
"special": false,
|
||||
"text": "name"
|
||||
"id": 11665,
|
||||
"text": " reduce",
|
||||
"logprob": -0.9741211,
|
||||
"special": false
|
||||
},
|
||||
{
|
||||
"id": 26,
|
||||
"logprob": 0.0,
|
||||
"special": false,
|
||||
"text": "("
|
||||
"text": "(",
|
||||
"logprob": 0,
|
||||
"special": false
|
||||
},
|
||||
{
|
||||
"id": 426,
|
||||
"logprob": 0.0,
|
||||
"special": false,
|
||||
"text": "name"
|
||||
"id": 5962,
|
||||
"text": "lambda",
|
||||
"logprob": 0,
|
||||
"special": false
|
||||
},
|
||||
{
|
||||
"id": 711,
|
||||
"logprob": 0.0,
|
||||
"special": false,
|
||||
"text": "):"
|
||||
},
|
||||
{
|
||||
"id": 284,
|
||||
"logprob": 0.0,
|
||||
"special": false,
|
||||
"text": "\n "
|
||||
},
|
||||
{
|
||||
"id": 1459,
|
||||
"logprob": 0.0,
|
||||
"special": false,
|
||||
"text": " print"
|
||||
},
|
||||
{
|
||||
"id": 440,
|
||||
"logprob": -0.16027832,
|
||||
"special": false,
|
||||
"text": "(\""
|
||||
},
|
||||
{
|
||||
"id": 8279,
|
||||
"logprob": 0.0,
|
||||
"special": false,
|
||||
"text": "Hello"
|
||||
},
|
||||
{
|
||||
"id": 313,
|
||||
"logprob": 0.0,
|
||||
"special": false,
|
||||
"text": " \""
|
||||
},
|
||||
{
|
||||
"id": 474,
|
||||
"logprob": 0.0,
|
||||
"special": false,
|
||||
"text": " +"
|
||||
},
|
||||
{
|
||||
"id": 636,
|
||||
"logprob": 0.0,
|
||||
"special": false,
|
||||
"text": " name"
|
||||
},
|
||||
{
|
||||
"id": 27,
|
||||
"logprob": 0.0,
|
||||
"special": false,
|
||||
"text": ")"
|
||||
},
|
||||
{
|
||||
"id": 203,
|
||||
"logprob": 0.0,
|
||||
"special": false,
|
||||
"text": "\n"
|
||||
},
|
||||
{
|
||||
"id": 203,
|
||||
"logprob": 0.0,
|
||||
"special": false,
|
||||
"text": "\n"
|
||||
},
|
||||
{
|
||||
"id": 589,
|
||||
"logprob": 0.0,
|
||||
"special": false,
|
||||
"text": "def"
|
||||
},
|
||||
{
|
||||
"id": 1459,
|
||||
"logprob": 0.0,
|
||||
"special": false,
|
||||
"text": " print"
|
||||
},
|
||||
{
|
||||
"id": 81,
|
||||
"logprob": 0.0,
|
||||
"special": false,
|
||||
"text": "_"
|
||||
},
|
||||
{
|
||||
"id": 7656,
|
||||
"logprob": 0.0,
|
||||
"special": false,
|
||||
"text": "hello"
|
||||
},
|
||||
{
|
||||
"id": 81,
|
||||
"logprob": 0.0,
|
||||
"special": false,
|
||||
"text": "_"
|
||||
},
|
||||
{
|
||||
"id": 426,
|
||||
"logprob": 0.0,
|
||||
"special": false,
|
||||
"text": "name"
|
||||
},
|
||||
{
|
||||
"id": 81,
|
||||
"logprob": 0.0,
|
||||
"special": false,
|
||||
"text": "_"
|
||||
},
|
||||
{
|
||||
"id": 381,
|
||||
"logprob": 0.0,
|
||||
"special": false,
|
||||
"text": "age"
|
||||
},
|
||||
{
|
||||
"id": 26,
|
||||
"logprob": 0.0,
|
||||
"special": false,
|
||||
"text": "("
|
||||
},
|
||||
{
|
||||
"id": 426,
|
||||
"logprob": 0.0,
|
||||
"special": false,
|
||||
"text": "name"
|
||||
"id": 816,
|
||||
"text": " x",
|
||||
"logprob": 0,
|
||||
"special": false
|
||||
},
|
||||
{
|
||||
"id": 30,
|
||||
"logprob": 0.0,
|
||||
"special": false,
|
||||
"text": ","
|
||||
"text": ",",
|
||||
"logprob": 0,
|
||||
"special": false
|
||||
},
|
||||
{
|
||||
"id": 11442,
|
||||
"logprob": 0.0,
|
||||
"special": false,
|
||||
"text": " age"
|
||||
"id": 533,
|
||||
"text": " y",
|
||||
"logprob": 0,
|
||||
"special": false
|
||||
},
|
||||
{
|
||||
"id": 711,
|
||||
"logprob": 0.0,
|
||||
"special": false,
|
||||
"text": "):"
|
||||
"id": 44,
|
||||
"text": ":",
|
||||
"logprob": 0,
|
||||
"special": false
|
||||
},
|
||||
{
|
||||
"id": 284,
|
||||
"logprob": 0.0,
|
||||
"special": false,
|
||||
"text": "\n "
|
||||
"id": 816,
|
||||
"text": " x",
|
||||
"logprob": 0,
|
||||
"special": false
|
||||
},
|
||||
{
|
||||
"id": 1459,
|
||||
"logprob": 0.0,
|
||||
"special": false,
|
||||
"text": " print"
|
||||
"id": 319,
|
||||
"text": " *",
|
||||
"logprob": 0,
|
||||
"special": false
|
||||
},
|
||||
{
|
||||
"id": 440,
|
||||
"logprob": 0.0,
|
||||
"special": false,
|
||||
"text": "(\""
|
||||
"id": 533,
|
||||
"text": " y",
|
||||
"logprob": 0,
|
||||
"special": false
|
||||
},
|
||||
{
|
||||
"id": 8279,
|
||||
"logprob": 0.0,
|
||||
"special": false,
|
||||
"text": "Hello"
|
||||
"id": 30,
|
||||
"text": ",",
|
||||
"logprob": 0,
|
||||
"special": false
|
||||
},
|
||||
{
|
||||
"id": 313,
|
||||
"logprob": 0.0,
|
||||
"special": false,
|
||||
"text": " \""
|
||||
"id": 498,
|
||||
"text": " L",
|
||||
"logprob": 0,
|
||||
"special": false
|
||||
},
|
||||
{
|
||||
"id": 474,
|
||||
"logprob": 0.0,
|
||||
"special": false,
|
||||
"text": " +"
|
||||
},
|
||||
{
|
||||
"id": 636,
|
||||
"logprob": 0.0,
|
||||
"special": false,
|
||||
"text": " name"
|
||||
},
|
||||
{
|
||||
"id": 474,
|
||||
"logprob": 0.0,
|
||||
"special": false,
|
||||
"text": " +"
|
||||
},
|
||||
{
|
||||
"id": 313,
|
||||
"logprob": -0.6328125,
|
||||
"special": false,
|
||||
"text": " \""
|
||||
},
|
||||
{
|
||||
"id": 313,
|
||||
"logprob": -1.7011719,
|
||||
"special": false,
|
||||
"text": " \""
|
||||
},
|
||||
{
|
||||
"id": 474,
|
||||
"logprob": 0.0,
|
||||
"special": false,
|
||||
"text": " +"
|
||||
},
|
||||
{
|
||||
"id": 596,
|
||||
"logprob": 0.0,
|
||||
"special": false,
|
||||
"text": " str"
|
||||
},
|
||||
{
|
||||
"id": 26,
|
||||
"logprob": 0.0,
|
||||
"special": false,
|
||||
"text": "("
|
||||
},
|
||||
{
|
||||
"id": 381,
|
||||
"logprob": 0.0,
|
||||
"special": false,
|
||||
"text": "age"
|
||||
},
|
||||
{
|
||||
"id": 490,
|
||||
"logprob": 0.0,
|
||||
"special": false,
|
||||
"text": "))"
|
||||
"id": 27,
|
||||
"text": ")",
|
||||
"logprob": 0,
|
||||
"special": false
|
||||
},
|
||||
{
|
||||
"id": 203,
|
||||
"logprob": 0.0,
|
||||
"special": false,
|
||||
"text": "\n"
|
||||
"text": "\n",
|
||||
"logprob": -0.11279297,
|
||||
"special": false
|
||||
},
|
||||
{
|
||||
"id": 203,
|
||||
"logprob": 0.0,
|
||||
"special": false,
|
||||
"text": "\n"
|
||||
"text": "\n",
|
||||
"logprob": 0,
|
||||
"special": false
|
||||
},
|
||||
{
|
||||
"id": 589,
|
||||
"logprob": 0.0,
|
||||
"special": false,
|
||||
"text": "def"
|
||||
"text": "def",
|
||||
"logprob": 0,
|
||||
"special": false
|
||||
},
|
||||
{
|
||||
"id": 1459,
|
||||
"logprob": 0.0,
|
||||
"special": false,
|
||||
"text": " print"
|
||||
"id": 3226,
|
||||
"text": " ge",
|
||||
"logprob": 0,
|
||||
"special": false
|
||||
},
|
||||
{
|
||||
"id": 21017,
|
||||
"text": "ometric",
|
||||
"logprob": 0,
|
||||
"special": false
|
||||
}
|
||||
]
|
||||
},
|
||||
"generated_text": "():\n print(\"Hello World\")\n\ndef print_hello_name(name):\n print(\"Hello \" + name)\n\ndef print_hello_name_age(name, age):\n print(\"Hello \" + name + \" \" + str(age))\n\ndef print"
|
||||
}
|
||||
}
|
||||
|
||||
@ -1,374 +1,770 @@
|
||||
[
|
||||
{
|
||||
"generated_text": "\n return sum(L) / len(L)\n\n\ndef geometric_mean(L",
|
||||
"details": {
|
||||
"best_of_sequences": null,
|
||||
"finish_reason": "length",
|
||||
"generated_tokens": 10,
|
||||
"generated_tokens": 20,
|
||||
"seed": null,
|
||||
"prefill": [
|
||||
{
|
||||
"id": 589,
|
||||
"logprob": null,
|
||||
"text": "def"
|
||||
"text": "def",
|
||||
"logprob": null
|
||||
},
|
||||
{
|
||||
"id": 1459,
|
||||
"logprob": -5.6289062,
|
||||
"text": " print"
|
||||
"id": 3226,
|
||||
"text": " ge",
|
||||
"logprob": -9.03125
|
||||
},
|
||||
{
|
||||
"id": 21017,
|
||||
"text": "ometric",
|
||||
"logprob": -9.0859375
|
||||
},
|
||||
{
|
||||
"id": 81,
|
||||
"logprob": -1.6005859,
|
||||
"text": "_"
|
||||
"text": "_",
|
||||
"logprob": -0.26123047
|
||||
},
|
||||
{
|
||||
"id": 7656,
|
||||
"logprob": -5.9921875,
|
||||
"text": "hello"
|
||||
"id": 6009,
|
||||
"text": "mean",
|
||||
"logprob": -2.2304688
|
||||
},
|
||||
{
|
||||
"id": 26,
|
||||
"text": "(",
|
||||
"logprob": -0.29833984
|
||||
},
|
||||
{
|
||||
"id": 62,
|
||||
"text": "L",
|
||||
"logprob": -5.7382812
|
||||
},
|
||||
{
|
||||
"id": 44,
|
||||
"text": ":",
|
||||
"logprob": -3.0800781
|
||||
},
|
||||
{
|
||||
"id": 1682,
|
||||
"text": " List",
|
||||
"logprob": -0.6791992
|
||||
},
|
||||
{
|
||||
"id": 77,
|
||||
"text": "[",
|
||||
"logprob": -0.390625
|
||||
},
|
||||
{
|
||||
"id": 1808,
|
||||
"text": "float",
|
||||
"logprob": -0.89501953
|
||||
},
|
||||
{
|
||||
"id": 10794,
|
||||
"text": "]):",
|
||||
"logprob": -2.5234375
|
||||
}
|
||||
],
|
||||
"seed": null,
|
||||
"tokens": [
|
||||
{
|
||||
"id": 2262,
|
||||
"logprob": -0.7705078,
|
||||
"special": false,
|
||||
"text": "():"
|
||||
},
|
||||
{
|
||||
"id": 284,
|
||||
"logprob": -0.2602539,
|
||||
"special": false,
|
||||
"text": "\n "
|
||||
"text": "\n ",
|
||||
"logprob": -1.1699219,
|
||||
"special": false
|
||||
},
|
||||
{
|
||||
"id": 1459,
|
||||
"logprob": -0.39282227,
|
||||
"special": false,
|
||||
"text": " print"
|
||||
"id": 442,
|
||||
"text": " return",
|
||||
"logprob": -0.9116211,
|
||||
"special": false
|
||||
},
|
||||
{
|
||||
"id": 440,
|
||||
"logprob": -0.6113281,
|
||||
"special": false,
|
||||
"text": "(\""
|
||||
"id": 3632,
|
||||
"text": " sum",
|
||||
"logprob": -1.3330078,
|
||||
"special": false
|
||||
},
|
||||
{
|
||||
"id": 8279,
|
||||
"logprob": -0.4765625,
|
||||
"special": false,
|
||||
"text": "Hello"
|
||||
"id": 26,
|
||||
"text": "(",
|
||||
"logprob": -0.080566406,
|
||||
"special": false
|
||||
},
|
||||
{
|
||||
"id": 10896,
|
||||
"logprob": -1.5068359,
|
||||
"special": false,
|
||||
"text": " World"
|
||||
"id": 62,
|
||||
"text": "L",
|
||||
"logprob": -0.09790039,
|
||||
"special": false
|
||||
},
|
||||
{
|
||||
"id": 657,
|
||||
"logprob": -0.8154297,
|
||||
"special": false,
|
||||
"text": "\")"
|
||||
"id": 27,
|
||||
"text": ")",
|
||||
"logprob": -0.29101562,
|
||||
"special": false
|
||||
},
|
||||
{
|
||||
"id": 517,
|
||||
"text": " /",
|
||||
"logprob": -0.33569336,
|
||||
"special": false
|
||||
},
|
||||
{
|
||||
"id": 2069,
|
||||
"text": " len",
|
||||
"logprob": -0.0385437,
|
||||
"special": false
|
||||
},
|
||||
{
|
||||
"id": 26,
|
||||
"text": "(",
|
||||
"logprob": -0.0011758804,
|
||||
"special": false
|
||||
},
|
||||
{
|
||||
"id": 62,
|
||||
"text": "L",
|
||||
"logprob": -0.00049829483,
|
||||
"special": false
|
||||
},
|
||||
{
|
||||
"id": 27,
|
||||
"text": ")",
|
||||
"logprob": -0.0016813278,
|
||||
"special": false
|
||||
},
|
||||
{
|
||||
"id": 478,
|
||||
"text": "\n\n",
|
||||
"logprob": -0.6923828,
|
||||
"special": false
|
||||
},
|
||||
{
|
||||
"id": 203,
|
||||
"logprob": -0.7319336,
|
||||
"special": false,
|
||||
"text": "\n"
|
||||
},
|
||||
{
|
||||
"id": 203,
|
||||
"logprob": -0.35229492,
|
||||
"special": false,
|
||||
"text": "\n"
|
||||
"text": "\n",
|
||||
"logprob": -0.040618896,
|
||||
"special": false
|
||||
},
|
||||
{
|
||||
"id": 589,
|
||||
"logprob": -1.0380859,
|
||||
"special": false,
|
||||
"text": "def"
|
||||
"text": "def",
|
||||
"logprob": -0.27856445,
|
||||
"special": false
|
||||
},
|
||||
{
|
||||
"id": 3226,
|
||||
"text": " ge",
|
||||
"logprob": -1.5859375,
|
||||
"special": false
|
||||
},
|
||||
{
|
||||
"id": 21017,
|
||||
"text": "ometric",
|
||||
"logprob": -0.009353638,
|
||||
"special": false
|
||||
},
|
||||
{
|
||||
"id": 81,
|
||||
"text": "_",
|
||||
"logprob": -0.009216309,
|
||||
"special": false
|
||||
},
|
||||
{
|
||||
"id": 6009,
|
||||
"text": "mean",
|
||||
"logprob": -0.023910522,
|
||||
"special": false
|
||||
},
|
||||
{
|
||||
"id": 26,
|
||||
"text": "(",
|
||||
"logprob": -0.053619385,
|
||||
"special": false
|
||||
},
|
||||
{
|
||||
"id": 62,
|
||||
"text": "L",
|
||||
"logprob": -0.09790039,
|
||||
"special": false
|
||||
}
|
||||
]
|
||||
},
|
||||
"generated_text": "():\n print(\"Hello World\")\n\ndef"
|
||||
}
|
||||
},
|
||||
{
|
||||
"generated_text": "\n return sum(L) / len(L)\n\n\ndef geometric_mean(L",
|
||||
"details": {
|
||||
"best_of_sequences": null,
|
||||
"finish_reason": "length",
|
||||
"generated_tokens": 10,
|
||||
"generated_tokens": 20,
|
||||
"seed": null,
|
||||
"prefill": [
|
||||
{
|
||||
"id": 589,
|
||||
"logprob": null,
|
||||
"text": "def"
|
||||
"text": "def",
|
||||
"logprob": null
|
||||
},
|
||||
{
|
||||
"id": 1459,
|
||||
"logprob": -5.6289062,
|
||||
"text": " print"
|
||||
"id": 3226,
|
||||
"text": " ge",
|
||||
"logprob": -9.03125
|
||||
},
|
||||
{
|
||||
"id": 21017,
|
||||
"text": "ometric",
|
||||
"logprob": -9.0859375
|
||||
},
|
||||
{
|
||||
"id": 81,
|
||||
"logprob": -1.6005859,
|
||||
"text": "_"
|
||||
"text": "_",
|
||||
"logprob": -0.26123047
|
||||
},
|
||||
{
|
||||
"id": 7656,
|
||||
"logprob": -5.9921875,
|
||||
"text": "hello"
|
||||
"id": 6009,
|
||||
"text": "mean",
|
||||
"logprob": -2.2304688
|
||||
},
|
||||
{
|
||||
"id": 26,
|
||||
"text": "(",
|
||||
"logprob": -0.29833984
|
||||
},
|
||||
{
|
||||
"id": 62,
|
||||
"text": "L",
|
||||
"logprob": -5.7382812
|
||||
},
|
||||
{
|
||||
"id": 44,
|
||||
"text": ":",
|
||||
"logprob": -3.0800781
|
||||
},
|
||||
{
|
||||
"id": 1682,
|
||||
"text": " List",
|
||||
"logprob": -0.6791992
|
||||
},
|
||||
{
|
||||
"id": 77,
|
||||
"text": "[",
|
||||
"logprob": -0.390625
|
||||
},
|
||||
{
|
||||
"id": 1808,
|
||||
"text": "float",
|
||||
"logprob": -0.89501953
|
||||
},
|
||||
{
|
||||
"id": 10794,
|
||||
"text": "]):",
|
||||
"logprob": -2.5234375
|
||||
}
|
||||
],
|
||||
"seed": null,
|
||||
"tokens": [
|
||||
{
|
||||
"id": 2262,
|
||||
"logprob": -0.7705078,
|
||||
"special": false,
|
||||
"text": "():"
|
||||
},
|
||||
{
|
||||
"id": 284,
|
||||
"logprob": -0.2602539,
|
||||
"special": false,
|
||||
"text": "\n "
|
||||
"text": "\n ",
|
||||
"logprob": -1.1699219,
|
||||
"special": false
|
||||
},
|
||||
{
|
||||
"id": 1459,
|
||||
"logprob": -0.39282227,
|
||||
"special": false,
|
||||
"text": " print"
|
||||
"id": 442,
|
||||
"text": " return",
|
||||
"logprob": -0.9116211,
|
||||
"special": false
|
||||
},
|
||||
{
|
||||
"id": 440,
|
||||
"logprob": -0.6113281,
|
||||
"special": false,
|
||||
"text": "(\""
|
||||
"id": 3632,
|
||||
"text": " sum",
|
||||
"logprob": -1.3310547,
|
||||
"special": false
|
||||
},
|
||||
{
|
||||
"id": 8279,
|
||||
"logprob": -0.4765625,
|
||||
"special": false,
|
||||
"text": "Hello"
|
||||
"id": 26,
|
||||
"text": "(",
|
||||
"logprob": -0.080444336,
|
||||
"special": false
|
||||
},
|
||||
{
|
||||
"id": 10896,
|
||||
"logprob": -1.5068359,
|
||||
"special": false,
|
||||
"text": " World"
|
||||
"id": 62,
|
||||
"text": "L",
|
||||
"logprob": -0.09838867,
|
||||
"special": false
|
||||
},
|
||||
{
|
||||
"id": 657,
|
||||
"logprob": -0.8154297,
|
||||
"special": false,
|
||||
"text": "\")"
|
||||
"id": 27,
|
||||
"text": ")",
|
||||
"logprob": -0.2919922,
|
||||
"special": false
|
||||
},
|
||||
{
|
||||
"id": 517,
|
||||
"text": " /",
|
||||
"logprob": -0.33569336,
|
||||
"special": false
|
||||
},
|
||||
{
|
||||
"id": 2069,
|
||||
"text": " len",
|
||||
"logprob": -0.038024902,
|
||||
"special": false
|
||||
},
|
||||
{
|
||||
"id": 26,
|
||||
"text": "(",
|
||||
"logprob": -0.0011835098,
|
||||
"special": false
|
||||
},
|
||||
{
|
||||
"id": 62,
|
||||
"text": "L",
|
||||
"logprob": -0.0004940033,
|
||||
"special": false
|
||||
},
|
||||
{
|
||||
"id": 27,
|
||||
"text": ")",
|
||||
"logprob": -0.0016956329,
|
||||
"special": false
|
||||
},
|
||||
{
|
||||
"id": 478,
|
||||
"text": "\n\n",
|
||||
"logprob": -0.6972656,
|
||||
"special": false
|
||||
},
|
||||
{
|
||||
"id": 203,
|
||||
"logprob": -0.7319336,
|
||||
"special": false,
|
||||
"text": "\n"
|
||||
},
|
||||
{
|
||||
"id": 203,
|
||||
"logprob": -0.35229492,
|
||||
"special": false,
|
||||
"text": "\n"
|
||||
"text": "\n",
|
||||
"logprob": -0.040618896,
|
||||
"special": false
|
||||
},
|
||||
{
|
||||
"id": 589,
|
||||
"logprob": -1.0380859,
|
||||
"special": false,
|
||||
"text": "def"
|
||||
"text": "def",
|
||||
"logprob": -0.27807617,
|
||||
"special": false
|
||||
},
|
||||
{
|
||||
"id": 3226,
|
||||
"text": " ge",
|
||||
"logprob": -1.5898438,
|
||||
"special": false
|
||||
},
|
||||
{
|
||||
"id": 21017,
|
||||
"text": "ometric",
|
||||
"logprob": -0.009170532,
|
||||
"special": false
|
||||
},
|
||||
{
|
||||
"id": 81,
|
||||
"text": "_",
|
||||
"logprob": -0.00932312,
|
||||
"special": false
|
||||
},
|
||||
{
|
||||
"id": 6009,
|
||||
"text": "mean",
|
||||
"logprob": -0.023208618,
|
||||
"special": false
|
||||
},
|
||||
{
|
||||
"id": 26,
|
||||
"text": "(",
|
||||
"logprob": -0.05041504,
|
||||
"special": false
|
||||
},
|
||||
{
|
||||
"id": 62,
|
||||
"text": "L",
|
||||
"logprob": -0.09637451,
|
||||
"special": false
|
||||
}
|
||||
]
|
||||
},
|
||||
"generated_text": "():\n print(\"Hello World\")\n\ndef"
|
||||
}
|
||||
},
|
||||
{
|
||||
"generated_text": "\n return sum(L) / len(L)\n\n\ndef geometric_mean(L",
|
||||
"details": {
|
||||
"best_of_sequences": null,
|
||||
"finish_reason": "length",
|
||||
"generated_tokens": 10,
|
||||
"generated_tokens": 20,
|
||||
"seed": null,
|
||||
"prefill": [
|
||||
{
|
||||
"id": 589,
|
||||
"logprob": null,
|
||||
"text": "def"
|
||||
"text": "def",
|
||||
"logprob": null
|
||||
},
|
||||
{
|
||||
"id": 1459,
|
||||
"logprob": -5.6289062,
|
||||
"text": " print"
|
||||
"id": 3226,
|
||||
"text": " ge",
|
||||
"logprob": -9.03125
|
||||
},
|
||||
{
|
||||
"id": 21017,
|
||||
"text": "ometric",
|
||||
"logprob": -9.0859375
|
||||
},
|
||||
{
|
||||
"id": 81,
|
||||
"logprob": -1.6005859,
|
||||
"text": "_"
|
||||
"text": "_",
|
||||
"logprob": -0.26123047
|
||||
},
|
||||
{
|
||||
"id": 7656,
|
||||
"logprob": -5.9921875,
|
||||
"text": "hello"
|
||||
"id": 6009,
|
||||
"text": "mean",
|
||||
"logprob": -2.2304688
|
||||
},
|
||||
{
|
||||
"id": 26,
|
||||
"text": "(",
|
||||
"logprob": -0.29833984
|
||||
},
|
||||
{
|
||||
"id": 62,
|
||||
"text": "L",
|
||||
"logprob": -5.7382812
|
||||
},
|
||||
{
|
||||
"id": 44,
|
||||
"text": ":",
|
||||
"logprob": -3.0800781
|
||||
},
|
||||
{
|
||||
"id": 1682,
|
||||
"text": " List",
|
||||
"logprob": -0.6791992
|
||||
},
|
||||
{
|
||||
"id": 77,
|
||||
"text": "[",
|
||||
"logprob": -0.390625
|
||||
},
|
||||
{
|
||||
"id": 1808,
|
||||
"text": "float",
|
||||
"logprob": -0.89501953
|
||||
},
|
||||
{
|
||||
"id": 10794,
|
||||
"text": "]):",
|
||||
"logprob": -2.5234375
|
||||
}
|
||||
],
|
||||
"seed": null,
|
||||
"tokens": [
|
||||
{
|
||||
"id": 2262,
|
||||
"logprob": -0.7705078,
|
||||
"special": false,
|
||||
"text": "():"
|
||||
},
|
||||
{
|
||||
"id": 284,
|
||||
"logprob": -0.2602539,
|
||||
"special": false,
|
||||
"text": "\n "
|
||||
"text": "\n ",
|
||||
"logprob": -1.1699219,
|
||||
"special": false
|
||||
},
|
||||
{
|
||||
"id": 1459,
|
||||
"logprob": -0.39282227,
|
||||
"special": false,
|
||||
"text": " print"
|
||||
"id": 442,
|
||||
"text": " return",
|
||||
"logprob": -0.9169922,
|
||||
"special": false
|
||||
},
|
||||
{
|
||||
"id": 440,
|
||||
"logprob": -0.6113281,
|
||||
"special": false,
|
||||
"text": "(\""
|
||||
"id": 3632,
|
||||
"text": " sum",
|
||||
"logprob": -1.34375,
|
||||
"special": false
|
||||
},
|
||||
{
|
||||
"id": 8279,
|
||||
"logprob": -0.4765625,
|
||||
"special": false,
|
||||
"text": "Hello"
|
||||
"id": 26,
|
||||
"text": "(",
|
||||
"logprob": -0.080566406,
|
||||
"special": false
|
||||
},
|
||||
{
|
||||
"id": 10896,
|
||||
"logprob": -1.5068359,
|
||||
"special": false,
|
||||
"text": " World"
|
||||
"id": 62,
|
||||
"text": "L",
|
||||
"logprob": -0.097839355,
|
||||
"special": false
|
||||
},
|
||||
{
|
||||
"id": 657,
|
||||
"logprob": -0.8154297,
|
||||
"special": false,
|
||||
"text": "\")"
|
||||
"id": 27,
|
||||
"text": ")",
|
||||
"logprob": -0.29052734,
|
||||
"special": false
|
||||
},
|
||||
{
|
||||
"id": 517,
|
||||
"text": " /",
|
||||
"logprob": -0.33984375,
|
||||
"special": false
|
||||
},
|
||||
{
|
||||
"id": 2069,
|
||||
"text": " len",
|
||||
"logprob": -0.038330078,
|
||||
"special": false
|
||||
},
|
||||
{
|
||||
"id": 26,
|
||||
"text": "(",
|
||||
"logprob": -0.0011768341,
|
||||
"special": false
|
||||
},
|
||||
{
|
||||
"id": 62,
|
||||
"text": "L",
|
||||
"logprob": -0.00049591064,
|
||||
"special": false
|
||||
},
|
||||
{
|
||||
"id": 27,
|
||||
"text": ")",
|
||||
"logprob": -0.0016946793,
|
||||
"special": false
|
||||
},
|
||||
{
|
||||
"id": 478,
|
||||
"text": "\n\n",
|
||||
"logprob": -0.6982422,
|
||||
"special": false
|
||||
},
|
||||
{
|
||||
"id": 203,
|
||||
"logprob": -0.7319336,
|
||||
"special": false,
|
||||
"text": "\n"
|
||||
},
|
||||
{
|
||||
"id": 203,
|
||||
"logprob": -0.35229492,
|
||||
"special": false,
|
||||
"text": "\n"
|
||||
"text": "\n",
|
||||
"logprob": -0.040649414,
|
||||
"special": false
|
||||
},
|
||||
{
|
||||
"id": 589,
|
||||
"logprob": -1.0380859,
|
||||
"special": false,
|
||||
"text": "def"
|
||||
"text": "def",
|
||||
"logprob": -0.27905273,
|
||||
"special": false
|
||||
},
|
||||
{
|
||||
"id": 3226,
|
||||
"text": " ge",
|
||||
"logprob": -1.5888672,
|
||||
"special": false
|
||||
},
|
||||
{
|
||||
"id": 21017,
|
||||
"text": "ometric",
|
||||
"logprob": -0.009300232,
|
||||
"special": false
|
||||
},
|
||||
{
|
||||
"id": 81,
|
||||
"text": "_",
|
||||
"logprob": -0.009094238,
|
||||
"special": false
|
||||
},
|
||||
{
|
||||
"id": 6009,
|
||||
"text": "mean",
|
||||
"logprob": -0.023910522,
|
||||
"special": false
|
||||
},
|
||||
{
|
||||
"id": 26,
|
||||
"text": "(",
|
||||
"logprob": -0.05493164,
|
||||
"special": false
|
||||
},
|
||||
{
|
||||
"id": 62,
|
||||
"text": "L",
|
||||
"logprob": -0.097229004,
|
||||
"special": false
|
||||
}
|
||||
]
|
||||
},
|
||||
"generated_text": "():\n print(\"Hello World\")\n\ndef"
|
||||
}
|
||||
},
|
||||
{
|
||||
"generated_text": "\n return sum(L) / len(L)\n\n\ndef geometric_mean(L",
|
||||
"details": {
|
||||
"best_of_sequences": null,
|
||||
"finish_reason": "length",
|
||||
"generated_tokens": 10,
|
||||
"generated_tokens": 20,
|
||||
"seed": null,
|
||||
"prefill": [
|
||||
{
|
||||
"id": 589,
|
||||
"logprob": null,
|
||||
"text": "def"
|
||||
"text": "def",
|
||||
"logprob": null
|
||||
},
|
||||
{
|
||||
"id": 1459,
|
||||
"logprob": -5.6289062,
|
||||
"text": " print"
|
||||
"id": 3226,
|
||||
"text": " ge",
|
||||
"logprob": -9.03125
|
||||
},
|
||||
{
|
||||
"id": 21017,
|
||||
"text": "ometric",
|
||||
"logprob": -9.0859375
|
||||
},
|
||||
{
|
||||
"id": 81,
|
||||
"logprob": -1.6005859,
|
||||
"text": "_"
|
||||
"text": "_",
|
||||
"logprob": -0.26123047
|
||||
},
|
||||
{
|
||||
"id": 7656,
|
||||
"logprob": -5.9921875,
|
||||
"text": "hello"
|
||||
"id": 6009,
|
||||
"text": "mean",
|
||||
"logprob": -2.2304688
|
||||
},
|
||||
{
|
||||
"id": 26,
|
||||
"text": "(",
|
||||
"logprob": -0.29833984
|
||||
},
|
||||
{
|
||||
"id": 62,
|
||||
"text": "L",
|
||||
"logprob": -5.7382812
|
||||
},
|
||||
{
|
||||
"id": 44,
|
||||
"text": ":",
|
||||
"logprob": -3.0800781
|
||||
},
|
||||
{
|
||||
"id": 1682,
|
||||
"text": " List",
|
||||
"logprob": -0.6791992
|
||||
},
|
||||
{
|
||||
"id": 77,
|
||||
"text": "[",
|
||||
"logprob": -0.390625
|
||||
},
|
||||
{
|
||||
"id": 1808,
|
||||
"text": "float",
|
||||
"logprob": -0.89501953
|
||||
},
|
||||
{
|
||||
"id": 10794,
|
||||
"text": "]):",
|
||||
"logprob": -2.5234375
|
||||
}
|
||||
],
|
||||
"seed": null,
|
||||
"tokens": [
|
||||
{
|
||||
"id": 2262,
|
||||
"logprob": -0.7705078,
|
||||
"special": false,
|
||||
"text": "():"
|
||||
},
|
||||
{
|
||||
"id": 284,
|
||||
"logprob": -0.2602539,
|
||||
"special": false,
|
||||
"text": "\n "
|
||||
"text": "\n ",
|
||||
"logprob": -1.1699219,
|
||||
"special": false
|
||||
},
|
||||
{
|
||||
"id": 1459,
|
||||
"logprob": -0.39282227,
|
||||
"special": false,
|
||||
"text": " print"
|
||||
"id": 442,
|
||||
"text": " return",
|
||||
"logprob": -0.9116211,
|
||||
"special": false
|
||||
},
|
||||
{
|
||||
"id": 440,
|
||||
"logprob": -0.6113281,
|
||||
"special": false,
|
||||
"text": "(\""
|
||||
"id": 3632,
|
||||
"text": " sum",
|
||||
"logprob": -1.3349609,
|
||||
"special": false
|
||||
},
|
||||
{
|
||||
"id": 8279,
|
||||
"logprob": -0.4765625,
|
||||
"special": false,
|
||||
"text": "Hello"
|
||||
"id": 26,
|
||||
"text": "(",
|
||||
"logprob": -0.08062744,
|
||||
"special": false
|
||||
},
|
||||
{
|
||||
"id": 10896,
|
||||
"logprob": -1.5068359,
|
||||
"special": false,
|
||||
"text": " World"
|
||||
"id": 62,
|
||||
"text": "L",
|
||||
"logprob": -0.0993042,
|
||||
"special": false
|
||||
},
|
||||
{
|
||||
"id": 657,
|
||||
"logprob": -0.8154297,
|
||||
"special": false,
|
||||
"text": "\")"
|
||||
"id": 27,
|
||||
"text": ")",
|
||||
"logprob": -0.2890625,
|
||||
"special": false
|
||||
},
|
||||
{
|
||||
"id": 517,
|
||||
"text": " /",
|
||||
"logprob": -0.33520508,
|
||||
"special": false
|
||||
},
|
||||
{
|
||||
"id": 2069,
|
||||
"text": " len",
|
||||
"logprob": -0.038757324,
|
||||
"special": false
|
||||
},
|
||||
{
|
||||
"id": 26,
|
||||
"text": "(",
|
||||
"logprob": -0.0011634827,
|
||||
"special": false
|
||||
},
|
||||
{
|
||||
"id": 62,
|
||||
"text": "L",
|
||||
"logprob": -0.0004963875,
|
||||
"special": false
|
||||
},
|
||||
{
|
||||
"id": 27,
|
||||
"text": ")",
|
||||
"logprob": -0.0016756058,
|
||||
"special": false
|
||||
},
|
||||
{
|
||||
"id": 478,
|
||||
"text": "\n\n",
|
||||
"logprob": -0.69140625,
|
||||
"special": false
|
||||
},
|
||||
{
|
||||
"id": 203,
|
||||
"logprob": -0.7319336,
|
||||
"special": false,
|
||||
"text": "\n"
|
||||
},
|
||||
{
|
||||
"id": 203,
|
||||
"logprob": -0.35229492,
|
||||
"special": false,
|
||||
"text": "\n"
|
||||
"text": "\n",
|
||||
"logprob": -0.040618896,
|
||||
"special": false
|
||||
},
|
||||
{
|
||||
"id": 589,
|
||||
"logprob": -1.0380859,
|
||||
"special": false,
|
||||
"text": "def"
|
||||
"text": "def",
|
||||
"logprob": -0.27929688,
|
||||
"special": false
|
||||
},
|
||||
{
|
||||
"id": 3226,
|
||||
"text": " ge",
|
||||
"logprob": -1.5898438,
|
||||
"special": false
|
||||
},
|
||||
{
|
||||
"id": 21017,
|
||||
"text": "ometric",
|
||||
"logprob": -0.00907135,
|
||||
"special": false
|
||||
},
|
||||
{
|
||||
"id": 81,
|
||||
"text": "_",
|
||||
"logprob": -0.008728027,
|
||||
"special": false
|
||||
},
|
||||
{
|
||||
"id": 6009,
|
||||
"text": "mean",
|
||||
"logprob": -0.024429321,
|
||||
"special": false
|
||||
},
|
||||
{
|
||||
"id": 26,
|
||||
"text": "(",
|
||||
"logprob": -0.059814453,
|
||||
"special": false
|
||||
},
|
||||
{
|
||||
"id": 62,
|
||||
"text": "L",
|
||||
"logprob": -0.09899902,
|
||||
"special": false
|
||||
}
|
||||
]
|
||||
},
|
||||
"generated_text": "():\n print(\"Hello World\")\n\ndef"
|
||||
}
|
||||
}
|
||||
]
|
||||
|
||||
@ -2,55 +2,48 @@ import pytest
|
||||
|
||||
|
||||
@pytest.fixture(scope="module")
|
||||
def flash_santacoder_gptq_handle(launcher):
|
||||
def flash_starcoder_gptq_handle(launcher):
|
||||
with launcher("Narsil/starcoder-gptq", num_shard=2, quantize="gptq") as handle:
|
||||
yield handle
|
||||
|
||||
|
||||
@pytest.fixture(scope="module")
|
||||
async def flash_santacoder_gptq(flash_santacoder_gptq_handle):
|
||||
await flash_santacoder_gptq_handle.health(300)
|
||||
return flash_santacoder_gptq_handle.client
|
||||
async def flash_starcoder_gptq(flash_starcoder_gptq_handle):
|
||||
await flash_starcoder_gptq_handle.health(300)
|
||||
return flash_starcoder_gptq_handle.client
|
||||
|
||||
|
||||
@pytest.mark.asyncio
|
||||
@pytest.mark.private
|
||||
async def test_flash_santacoder_gptq(flash_santacoder_gptq, response_snapshot):
|
||||
response = await flash_santacoder_gptq.generate(
|
||||
'def sum(L: List[int]):\n"""Sums all elements from the list L."""', max_new_tokens=40, decoder_input_details=True
|
||||
async def test_flash_starcoder_gptq(flash_starcoder_gptq, response_snapshot):
|
||||
response = await flash_starcoder_gptq.generate(
|
||||
"def geometric_mean(L: List[float]):", max_new_tokens=20, decoder_input_details=True
|
||||
)
|
||||
|
||||
# assert response.details.generated_tokens == 10
|
||||
assert response.details.generated_tokens == 20
|
||||
assert response == response_snapshot
|
||||
|
||||
|
||||
@pytest.mark.asyncio
|
||||
@pytest.mark.private
|
||||
async def test_flash_santacoder_gptq_all_params(flash_santacoder_gptq, response_snapshot):
|
||||
response = await flash_santacoder_gptq.generate(
|
||||
'def sum(L: List[int]):\n"""Sums all elements from the list L."""',
|
||||
max_new_tokens=10,
|
||||
repetition_penalty=1.2,
|
||||
return_full_text=True,
|
||||
stop_sequences=["test"],
|
||||
temperature=0.5,
|
||||
top_p=0.9,
|
||||
top_k=10,
|
||||
truncate=5,
|
||||
typical_p=0.9,
|
||||
watermark=True,
|
||||
async def test_flash_starcoder_gptq_default_params(flash_starcoder_gptq, response_snapshot):
|
||||
response = await flash_starcoder_gptq.generate(
|
||||
"def geometric_mean(L: List[float]):",
|
||||
max_new_tokens=20,
|
||||
temperature=0.2,
|
||||
top_p=0.95,
|
||||
decoder_input_details=True,
|
||||
seed=0,
|
||||
)
|
||||
|
||||
#assert response.details.generated_tokens == 10
|
||||
assert response.details.generated_tokens == 20
|
||||
assert response == response_snapshot
|
||||
|
||||
|
||||
@pytest.mark.asyncio
|
||||
@pytest.mark.private
|
||||
async def test_flash_santacoder_gptq_load(flash_santacoder_gptq, generate_load, response_snapshot):
|
||||
responses = await generate_load(flash_santacoder_gptq, 'def sum(L: List[int]):\n"""Sums all elements from the list L."""', max_new_tokens=10, n=4)
|
||||
async def test_flash_starcoder_gptq_load(flash_starcoder_gptq, generate_load, response_snapshot):
|
||||
responses = await generate_load(flash_starcoder_gptq, "def geometric_mean(L: List[float]):", max_new_tokens=20, n=4)
|
||||
|
||||
assert len(responses) == 4
|
||||
assert all([r.generated_text == responses[0].generated_text for r in responses])
|
||||
|
||||
Loading…
Reference in New Issue
Block a user