mirror of
https://github.com/ggerganov/llama.cpp.git
synced 2024-11-11 21:39:52 +00:00
889bdd7686
* Add BPE pre-tokenization for Command-R/R+. * Bump transformers convert requirement. * command-r : add individual digits regex --------- Co-authored-by: Georgi Gerganov <ggerganov@gmail.com>
44 lines
1.8 KiB
Plaintext
44 lines
1.8 KiB
Plaintext
2536 228 27 228 22957 6983
|
|
45 193433
|
|
|
|
228
|
|
1667
|
|
1742
|
|
205
|
|
206
|
|
2126
|
|
11516
|
|
34777
|
|
28339 3845
|
|
46609 3845
|
|
28339 3930
|
|
46609 3930
|
|
46609 3930 8
|
|
28339 19 3845 8
|
|
46609 19 3845 8
|
|
2075 1801 11254 107 255 21 19317
|
|
94 23 27 31 228 30 21213 20752 39267 6405 9980
|
|
4929 40071 2196 3236 8750 1764 37097 41168
|
|
38111 230 174833 38111 249 86325 241 38111 245 86325 232 38111 252 38111 123 38111 261 165 24629 38111 261 38111 103 174833 38111 235 38111 231 38111 257 38111 235 165 24629 38111 239
|
|
2226 256 230 1737 18258 16 80503 122 35927 2226 242 112 57462 1737 54457 223165 106230 2096 16 48389 1737 10203 109160 1875 2222 2517 3342 12523 16
|
|
28339
|
|
46609
|
|
228 46609
|
|
1667 46609
|
|
1742 46609
|
|
1742 46609 1856 46609
|
|
1737
|
|
206 1857
|
|
14 4515
|
|
28339 19 1770 14 1954 8 4070 1955 1933 80503 231 5691 12081 13336 2648 29325 14315 24 26 24 27 24 28 24 5123 18372
|
|
26
|
|
26 26
|
|
26 26 26
|
|
26 26 26 26
|
|
26 26 26 26 26
|
|
26 26 26 26 26 26
|
|
26 26 26 26 26 26 26
|
|
26 26 26 26 26 26 26 26
|
|
26 26 26 26 26 26 26 26 26
|
|
127731 51628 205 57788 18494 97469 126134 206 2226 256 230 1737 18258 16 80503 122 35927 2226 242 112 57462 1737 54457 223165 106230 2096 16 48389 11254 107 255 2226 107 255 228 26 228 26 26 228 26 26 26 228 26 26 26 26 228 26 26 26 26 26 228 26 26 26 26 26 26 228 26 26 26 26 26 26 26 228 26 26 26 26 26 26 26 26 228 26 21 26 228 26 2271 26 228 26 3834 26 182018 230 174833 38111 249 86325 241 38111 245 86325 232 38111 252 38111 123 38111 261 165 24629 38111 261 38111 103 174833 38111 235 188568 231 5691 12081 13336 2648 29325 14315 24 26 24 27 24 28 24 5123 18372 8391 158343 3512 40071 2196 3236 8750 1764 37097 41168 29721 32797 25646 3802 4975 4975 116167 57178 10251 154048 27292 1767 5125 2632 2155 91 2378 1919 1914 2782 19 2155 3354 1933 5470 38 2155 52 2068 5470 1767 4961 3059 1894 19 2155 43 1933 3026 2725 23186 38 2930 14 20676 1671 14 83 51
|