mirror of
https://github.com/huggingface/text-generation-inference.git
synced 2025-04-19 22:02:06 +00:00
574 lines
11 KiB
Plaintext
574 lines
11 KiB
Plaintext
# serializer version: 1
|
|
# name: test_flash_starcoder
|
|
dict({
|
|
'details': dict({
|
|
'best_of_sequences': None,
|
|
'finish_reason': <FinishReason.Length: 'length'>,
|
|
'generated_tokens': 10,
|
|
'prefill': list([
|
|
dict({
|
|
'id': 589,
|
|
'text': 'def',
|
|
}),
|
|
dict({
|
|
'id': 1459,
|
|
'text': ' print',
|
|
}),
|
|
dict({
|
|
'id': 81,
|
|
'text': '_',
|
|
}),
|
|
dict({
|
|
'id': 7656,
|
|
'text': 'hello',
|
|
}),
|
|
]),
|
|
'seed': None,
|
|
'tokens': list([
|
|
dict({
|
|
'id': 2262,
|
|
'special': False,
|
|
'text': '():',
|
|
}),
|
|
dict({
|
|
'id': 284,
|
|
'special': False,
|
|
'text': '''
|
|
|
|
|
|
''',
|
|
}),
|
|
dict({
|
|
'id': 1459,
|
|
'special': False,
|
|
'text': ' print',
|
|
}),
|
|
dict({
|
|
'id': 440,
|
|
'special': False,
|
|
'text': '("',
|
|
}),
|
|
dict({
|
|
'id': 8279,
|
|
'special': False,
|
|
'text': 'Hello',
|
|
}),
|
|
dict({
|
|
'id': 10896,
|
|
'special': False,
|
|
'text': ' World',
|
|
}),
|
|
dict({
|
|
'id': 657,
|
|
'special': False,
|
|
'text': '")',
|
|
}),
|
|
dict({
|
|
'id': 203,
|
|
'special': False,
|
|
'text': '''
|
|
|
|
|
|
''',
|
|
}),
|
|
dict({
|
|
'id': 203,
|
|
'special': False,
|
|
'text': '''
|
|
|
|
|
|
''',
|
|
}),
|
|
dict({
|
|
'id': 589,
|
|
'special': False,
|
|
'text': 'def',
|
|
}),
|
|
]),
|
|
}),
|
|
'generated_text': '''
|
|
():
|
|
print("Hello World")
|
|
|
|
def
|
|
''',
|
|
})
|
|
# ---
|
|
# name: test_flash_starcoder_default_params
|
|
dict({
|
|
'details': dict({
|
|
'best_of_sequences': None,
|
|
'finish_reason': <FinishReason.EndOfSequenceToken: 'eos_token'>,
|
|
'generated_tokens': 12,
|
|
'prefill': list([
|
|
dict({
|
|
'id': 589,
|
|
'text': 'def',
|
|
}),
|
|
dict({
|
|
'id': 1459,
|
|
'text': ' print',
|
|
}),
|
|
dict({
|
|
'id': 81,
|
|
'text': '_',
|
|
}),
|
|
dict({
|
|
'id': 7656,
|
|
'text': 'hello',
|
|
}),
|
|
]),
|
|
'seed': 0,
|
|
'tokens': list([
|
|
dict({
|
|
'id': 2262,
|
|
'special': False,
|
|
'text': '():',
|
|
}),
|
|
dict({
|
|
'id': 284,
|
|
'special': False,
|
|
'text': '''
|
|
|
|
|
|
''',
|
|
}),
|
|
dict({
|
|
'id': 5741,
|
|
'special': False,
|
|
'text': ' logging',
|
|
}),
|
|
dict({
|
|
'id': 32,
|
|
'special': False,
|
|
'text': '.',
|
|
}),
|
|
dict({
|
|
'id': 1338,
|
|
'special': False,
|
|
'text': 'info',
|
|
}),
|
|
dict({
|
|
'id': 463,
|
|
'special': False,
|
|
'text': "('",
|
|
}),
|
|
dict({
|
|
'id': 8279,
|
|
'special': False,
|
|
'text': 'Hello',
|
|
}),
|
|
dict({
|
|
'id': 30,
|
|
'special': False,
|
|
'text': ',',
|
|
}),
|
|
dict({
|
|
'id': 10896,
|
|
'special': False,
|
|
'text': ' World',
|
|
}),
|
|
dict({
|
|
'id': 683,
|
|
'special': False,
|
|
'text': "')",
|
|
}),
|
|
dict({
|
|
'id': 203,
|
|
'special': False,
|
|
'text': '''
|
|
|
|
|
|
''',
|
|
}),
|
|
dict({
|
|
'id': 0,
|
|
'special': True,
|
|
'text': '<|endoftext|>',
|
|
}),
|
|
]),
|
|
}),
|
|
'generated_text': '''
|
|
():
|
|
logging.info('Hello, World')
|
|
<|endoftext|>
|
|
''',
|
|
})
|
|
# ---
|
|
# name: test_flash_starcoder_load
|
|
list([
|
|
dict({
|
|
'details': dict({
|
|
'best_of_sequences': None,
|
|
'finish_reason': <FinishReason.Length: 'length'>,
|
|
'generated_tokens': 10,
|
|
'prefill': list([
|
|
dict({
|
|
'id': 589,
|
|
'text': 'def',
|
|
}),
|
|
dict({
|
|
'id': 1459,
|
|
'text': ' print',
|
|
}),
|
|
dict({
|
|
'id': 81,
|
|
'text': '_',
|
|
}),
|
|
dict({
|
|
'id': 7656,
|
|
'text': 'hello',
|
|
}),
|
|
]),
|
|
'seed': None,
|
|
'tokens': list([
|
|
dict({
|
|
'id': 2262,
|
|
'special': False,
|
|
'text': '():',
|
|
}),
|
|
dict({
|
|
'id': 284,
|
|
'special': False,
|
|
'text': '''
|
|
|
|
|
|
''',
|
|
}),
|
|
dict({
|
|
'id': 1459,
|
|
'special': False,
|
|
'text': ' print',
|
|
}),
|
|
dict({
|
|
'id': 440,
|
|
'special': False,
|
|
'text': '("',
|
|
}),
|
|
dict({
|
|
'id': 8279,
|
|
'special': False,
|
|
'text': 'Hello',
|
|
}),
|
|
dict({
|
|
'id': 10896,
|
|
'special': False,
|
|
'text': ' World',
|
|
}),
|
|
dict({
|
|
'id': 657,
|
|
'special': False,
|
|
'text': '")',
|
|
}),
|
|
dict({
|
|
'id': 203,
|
|
'special': False,
|
|
'text': '''
|
|
|
|
|
|
''',
|
|
}),
|
|
dict({
|
|
'id': 203,
|
|
'special': False,
|
|
'text': '''
|
|
|
|
|
|
''',
|
|
}),
|
|
dict({
|
|
'id': 589,
|
|
'special': False,
|
|
'text': 'def',
|
|
}),
|
|
]),
|
|
}),
|
|
'generated_text': '''
|
|
():
|
|
print("Hello World")
|
|
|
|
def
|
|
''',
|
|
}),
|
|
dict({
|
|
'details': dict({
|
|
'best_of_sequences': None,
|
|
'finish_reason': <FinishReason.Length: 'length'>,
|
|
'generated_tokens': 10,
|
|
'prefill': list([
|
|
dict({
|
|
'id': 589,
|
|
'text': 'def',
|
|
}),
|
|
dict({
|
|
'id': 1459,
|
|
'text': ' print',
|
|
}),
|
|
dict({
|
|
'id': 81,
|
|
'text': '_',
|
|
}),
|
|
dict({
|
|
'id': 7656,
|
|
'text': 'hello',
|
|
}),
|
|
]),
|
|
'seed': None,
|
|
'tokens': list([
|
|
dict({
|
|
'id': 2262,
|
|
'special': False,
|
|
'text': '():',
|
|
}),
|
|
dict({
|
|
'id': 284,
|
|
'special': False,
|
|
'text': '''
|
|
|
|
|
|
''',
|
|
}),
|
|
dict({
|
|
'id': 1459,
|
|
'special': False,
|
|
'text': ' print',
|
|
}),
|
|
dict({
|
|
'id': 440,
|
|
'special': False,
|
|
'text': '("',
|
|
}),
|
|
dict({
|
|
'id': 8279,
|
|
'special': False,
|
|
'text': 'Hello',
|
|
}),
|
|
dict({
|
|
'id': 10896,
|
|
'special': False,
|
|
'text': ' World',
|
|
}),
|
|
dict({
|
|
'id': 657,
|
|
'special': False,
|
|
'text': '")',
|
|
}),
|
|
dict({
|
|
'id': 203,
|
|
'special': False,
|
|
'text': '''
|
|
|
|
|
|
''',
|
|
}),
|
|
dict({
|
|
'id': 203,
|
|
'special': False,
|
|
'text': '''
|
|
|
|
|
|
''',
|
|
}),
|
|
dict({
|
|
'id': 589,
|
|
'special': False,
|
|
'text': 'def',
|
|
}),
|
|
]),
|
|
}),
|
|
'generated_text': '''
|
|
():
|
|
print("Hello World")
|
|
|
|
def
|
|
''',
|
|
}),
|
|
dict({
|
|
'details': dict({
|
|
'best_of_sequences': None,
|
|
'finish_reason': <FinishReason.Length: 'length'>,
|
|
'generated_tokens': 10,
|
|
'prefill': list([
|
|
dict({
|
|
'id': 589,
|
|
'text': 'def',
|
|
}),
|
|
dict({
|
|
'id': 1459,
|
|
'text': ' print',
|
|
}),
|
|
dict({
|
|
'id': 81,
|
|
'text': '_',
|
|
}),
|
|
dict({
|
|
'id': 7656,
|
|
'text': 'hello',
|
|
}),
|
|
]),
|
|
'seed': None,
|
|
'tokens': list([
|
|
dict({
|
|
'id': 2262,
|
|
'special': False,
|
|
'text': '():',
|
|
}),
|
|
dict({
|
|
'id': 284,
|
|
'special': False,
|
|
'text': '''
|
|
|
|
|
|
''',
|
|
}),
|
|
dict({
|
|
'id': 1459,
|
|
'special': False,
|
|
'text': ' print',
|
|
}),
|
|
dict({
|
|
'id': 440,
|
|
'special': False,
|
|
'text': '("',
|
|
}),
|
|
dict({
|
|
'id': 8279,
|
|
'special': False,
|
|
'text': 'Hello',
|
|
}),
|
|
dict({
|
|
'id': 10896,
|
|
'special': False,
|
|
'text': ' World',
|
|
}),
|
|
dict({
|
|
'id': 657,
|
|
'special': False,
|
|
'text': '")',
|
|
}),
|
|
dict({
|
|
'id': 203,
|
|
'special': False,
|
|
'text': '''
|
|
|
|
|
|
''',
|
|
}),
|
|
dict({
|
|
'id': 203,
|
|
'special': False,
|
|
'text': '''
|
|
|
|
|
|
''',
|
|
}),
|
|
dict({
|
|
'id': 589,
|
|
'special': False,
|
|
'text': 'def',
|
|
}),
|
|
]),
|
|
}),
|
|
'generated_text': '''
|
|
():
|
|
print("Hello World")
|
|
|
|
def
|
|
''',
|
|
}),
|
|
dict({
|
|
'details': dict({
|
|
'best_of_sequences': None,
|
|
'finish_reason': <FinishReason.Length: 'length'>,
|
|
'generated_tokens': 10,
|
|
'prefill': list([
|
|
dict({
|
|
'id': 589,
|
|
'text': 'def',
|
|
}),
|
|
dict({
|
|
'id': 1459,
|
|
'text': ' print',
|
|
}),
|
|
dict({
|
|
'id': 81,
|
|
'text': '_',
|
|
}),
|
|
dict({
|
|
'id': 7656,
|
|
'text': 'hello',
|
|
}),
|
|
]),
|
|
'seed': None,
|
|
'tokens': list([
|
|
dict({
|
|
'id': 2262,
|
|
'special': False,
|
|
'text': '():',
|
|
}),
|
|
dict({
|
|
'id': 284,
|
|
'special': False,
|
|
'text': '''
|
|
|
|
|
|
''',
|
|
}),
|
|
dict({
|
|
'id': 1459,
|
|
'special': False,
|
|
'text': ' print',
|
|
}),
|
|
dict({
|
|
'id': 440,
|
|
'special': False,
|
|
'text': '("',
|
|
}),
|
|
dict({
|
|
'id': 8279,
|
|
'special': False,
|
|
'text': 'Hello',
|
|
}),
|
|
dict({
|
|
'id': 10896,
|
|
'special': False,
|
|
'text': ' World',
|
|
}),
|
|
dict({
|
|
'id': 657,
|
|
'special': False,
|
|
'text': '")',
|
|
}),
|
|
dict({
|
|
'id': 203,
|
|
'special': False,
|
|
'text': '''
|
|
|
|
|
|
''',
|
|
}),
|
|
dict({
|
|
'id': 203,
|
|
'special': False,
|
|
'text': '''
|
|
|
|
|
|
''',
|
|
}),
|
|
dict({
|
|
'id': 589,
|
|
'special': False,
|
|
'text': 'def',
|
|
}),
|
|
]),
|
|
}),
|
|
'generated_text': '''
|
|
():
|
|
print("Hello World")
|
|
|
|
def
|
|
''',
|
|
}),
|
|
])
|
|
# ---
|