From 9d5c7115879fe33828edf3a1892b597b61c1cd7d Mon Sep 17 00:00:00 2001 From: Georgi Gerganov Date: Sat, 21 Dec 2024 10:22:04 +0200 Subject: [PATCH] llama : the WPM vocabs use the CLS token as BOS ggml-ci --- src/llama-vocab.cpp | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/src/llama-vocab.cpp b/src/llama-vocab.cpp index 7f2725f94..0a477d6dd 100644 --- a/src/llama-vocab.cpp +++ b/src/llama-vocab.cpp @@ -1657,7 +1657,7 @@ bool llama_token_is_control_impl(const struct llama_vocab & vocab, llama_token t } llama_token llama_token_bos_impl(const struct llama_vocab & vocab) { - return vocab.special_bos_id; + return vocab.type != LLAMA_VOCAB_TYPE_WPM ? vocab.special_bos_id : vocab.special_cls_id; } llama_token llama_token_eos_impl(const struct llama_vocab & vocab) {