mirror of
https://github.com/ggerganov/llama.cpp.git
synced 2024-11-11 21:39:52 +00:00
92139b90af
* tests : add test-tokenizer-0.sh * unicode : add all unicode number ranges * starcoder : fix pre-tokenizer * tests : add test that fails with DeepSeek tokenizers * falcon : fix regex * unicode : regenerate unicode tables * refact : add tokenizer model * lint : fix * tests : disable failing tests ggml-ci * refact : add tests files ggml-ci * convert : print -> logging ggml-ci * lint : fix * unicode : digit -> number * phi-3 : update
44 lines
1.8 KiB
Plaintext
44 lines
1.8 KiB
Plaintext
4850 244 57 244 162 159 17722
|
|
75 2022 3943 284
|
|
|
|
244
|
|
280
|
|
283
|
|
221
|
|
222
|
|
499
|
|
3067
|
|
15767
|
|
8302 5810
|
|
12009 5810
|
|
8302 10914
|
|
12009 10914
|
|
12009 10914 38
|
|
8302 49 5810 38
|
|
12009 49 5810 38
|
|
477 458 5954 137 271 51 3779
|
|
124 53 57 61 244 60 121 1726 12568 10240 1519 8290
|
|
39916 8389 1059 9504 40216 13858 2073 8983 12571 1539 10721
|
|
14566 246 14566 152 14566 265 30428 257 14566 261 30428 248 14566 268 14566 153 14566 277 30428 247 14566 277 14566 133 14566 152 14566 251 14566 247 14566 273 14566 251 30428 247 14566 255
|
|
3822 272 246 327 4434 46 18445 152 46030 45022 142 13878 327 12585 19884 33773 40920 751 46 41839 327 2605 22716 708 1421 2840 4387 2421 46
|
|
8302
|
|
12009
|
|
244 12009
|
|
280 12009
|
|
283 12009
|
|
283 12009 303 12009
|
|
327
|
|
222 299
|
|
44 34719
|
|
8302 49 553 44 483 38 4998 904 863 18445 247 1037 4995 13379 2924 9515 17823 54 56 54 57 54 58 54 11904 47892
|
|
56
|
|
56 56
|
|
56 56 56
|
|
56 56 56 56
|
|
56 56 56 56 56
|
|
56 56 56 56 56 56
|
|
56 56 56 56 56 56 56
|
|
56 56 56 56 56 56 56 56
|
|
56 56 56 56 56 56 56 56 56
|
|
353 736 8886 221 10883 4238 16101 28540 222 3822 272 246 327 4434 46 18445 152 46030 45022 142 13878 327 12585 19884 33773 40920 751 46 41839 5954 137 271 3822 137 271 244 56 244 56 56 244 56 56 56 244 56 56 56 56 244 56 56 56 56 56 244 56 56 56 56 56 56 244 56 56 56 56 56 56 56 244 56 56 56 56 56 56 56 56 244 56 51 56 244 56 516 56 244 56 1198 56 244 14566 246 14566 152 14566 265 30428 257 14566 261 30428 248 14566 268 14566 153 14566 277 30428 247 14566 277 14566 133 14566 152 14566 251 36570 247 1037 4995 13379 2924 9515 17823 54 56 54 57 54 58 54 11904 47892 20895 16625 13047 8389 1059 9504 40216 13858 2073 8983 12571 1539 10721 5918 9643 13298 932 31723 31330 9221 3226 35426 10400 457 4783 2602 349 121 1477 957 1200 2038 49 349 632 863 3673 68 349 82 666 3673 457 4650 1949 580 49 349 73 863 2144 1649 35941 68 2726 44 7728 331 44 113 81
|