mirror of
https://github.com/ggerganov/llama.cpp.git
synced 2024-11-11 21:39:52 +00:00
92139b90af
* tests : add test-tokenizer-0.sh * unicode : add all unicode number ranges * starcoder : fix pre-tokenizer * tests : add test that fails with DeepSeek tokenizers * falcon : fix regex * unicode : regenerate unicode tables * refact : add tokenizer model * lint : fix * tests : disable failing tests ggml-ci * refact : add tests files ggml-ci * convert : print -> logging ggml-ci * lint : fix * unicode : digit -> number * phi-3 : update
44 lines
1.8 KiB
Plaintext
44 lines
1.8 KiB
Plaintext
1052 207 19 207 19109 4223
|
|
37 100014 71 6245
|
|
|
|
207
|
|
243
|
|
300
|
|
184
|
|
185
|
|
185 185
|
|
185 185 185
|
|
184 185
|
|
17464 1843
|
|
37727 1843
|
|
17464 5427
|
|
37727 5427
|
|
37727 5427 0
|
|
17464 11 1843 0
|
|
37727 11 1843 0
|
|
437 317 12356 99 234 13 14743
|
|
86 15 19 23 207 22 83 3970 27519 26016 3944 14025
|
|
1603 6476 620 91754
|
|
71374 209 71374 114 71374 228 155 240 220 71374 224 155 240 211 71374 231 71374 115 71374 240 155 240 210 71374 240 71374 95 71374 114 71374 214 71374 210 71374 236 71374 214 155 240 210 71374 218
|
|
10044 95300 334 8754 8 33701 114 350 222 10044 221 104 46713 334 34732 996 24250 262 80923 8 207 37103 214 334 5956 89213 344 643 895 1377 10728 8
|
|
17464
|
|
37727
|
|
207 37727
|
|
243 37727
|
|
300 37727
|
|
300 37727 185 300 37727
|
|
334
|
|
185 403
|
|
6 2906
|
|
17464 11 320 6 436 0 1724 418 340 33701 210 3025 19017 612 9407 2681 16 18 16 19 16 20 16 1398 68940 239
|
|
18
|
|
18 18
|
|
18 18 18
|
|
18 18 18 18
|
|
18 18 18 18 18
|
|
18 18 18 18 18 18
|
|
18 18 18 18 18 18 18
|
|
18 18 18 18 18 18 18 18
|
|
18 18 18 18 18 18 18 18 18
|
|
185 207 185 185 207 185 185 185 207 11969 486 22504 185 243 185 300 185 251 185 663 185 10044 95300 334 8754 8 33701 114 350 222 10044 221 104 46713 334 34732 996 24250 262 80923 8 207 37103 214 12356 99 234 10044 99 234 207 18 207 18 18 207 18 18 18 207 18 18 18 18 207 18 18 18 18 18 207 18 18 18 18 18 18 207 18 18 18 18 18 18 18 207 18 18 18 18 18 18 18 18 207 18 13 18 207 18 526 18 207 18 1204 18 207 71374 209 71374 114 71374 228 155 240 220 71374 224 155 240 211 71374 231 71374 115 71374 240 155 240 210 71374 240 71374 95 71374 114 71374 214 71899 210 3025 19017 612 9407 2681 16 18 16 19 16 20 16 1398 68940 239 78827 55170 76659 620 91754 31116 36804 4885 4885 10897 4390 4390 41047 15278 3033 14986 5675 304 6 313 803 655 33326 362 6 82 745 11 655 1374 340 2049 30 655 44 441 2049 304 6 647 1099 359 11 655 35 340 837 742 10842 30 1003 6 10699 245 6 75 43
|