root/llama.cpp
1
0
Fork 0
mirror of https://github.com/ggerganov/llama.cpp.git synced 2024-12-25 02:44:36 +00:00
Code Issues Actions 9 Packages Projects Releases Wiki Activity

llama : fix build + fix fabs compile warnings (#8683)

Browse Source 
ggml-ci
This commit is contained in:
Georgi Gerganov 2024-07-25 19:57:31 +03:00 committed by GitHub
parent bf5a81df37
commit 4226a8d10e
No known key found for this signature in database
GPG Key ID: B5690EEEBB952194
2 changed files with 2 additions and 10 deletions
Show Stats Download Patch File Download Diff File Expand all files Collapse all files

2
src/llama-grammar.h
View File

@ -13,8 +13,6 @@ struct llama_grammar {
llama_partial_utf8 partial_utf8; llama_partial_utf8 partial_utf8;
}; };
struct llama_grammar * llama_get_grammar(struct llama_context * ctx);
// //
// internal API // internal API
// //

10
src/llama.cpp
View File

@ -2657,7 +2657,6 @@ struct llama_context {
llama_context(const llama_model & model) llama_context(const llama_model & model)
: model(model) : model(model)
, sampling(llama_n_vocab(&model)) , sampling(llama_n_vocab(&model))
, grammar()
, t_start_us(model.t_start_us) , t_start_us(model.t_start_us)
, t_load_us(model.t_load_us) {} , t_load_us(model.t_load_us) {}
@ -2675,7 +2674,6 @@ struct llama_context {
struct llama_cparams cparams; struct llama_cparams cparams;
struct llama_sampling sampling; struct llama_sampling sampling;
struct llama_grammar grammar;
struct llama_kv_cache kv_self; struct llama_kv_cache kv_self;
struct llama_control_vector cvec; struct llama_control_vector cvec;
@ -14048,7 +14046,7 @@ static void llama_set_inputs(llama_context & lctx, const llama_batch & batch) {
f = -INFINITY; f = -INFINITY;
} else { } else {
if (hparams.use_alibi) { if (hparams.use_alibi) {
f = -fabs(lctx.kv_self.cells[i].pos - pos); f = -std::abs(lctx.kv_self.cells[i].pos - pos);
} else { } else {
f = 0.0f; f = 0.0f;
} }
@ -14102,7 +14100,7 @@ static void llama_set_inputs(llama_context & lctx, const llama_batch & batch) {
for (int s = 0; s < batch.n_seq_id[i]; ++s) { for (int s = 0; s < batch.n_seq_id[i]; ++s) {
if (batch.seq_id[i][s] == seq_id) { if (batch.seq_id[i][s] == seq_id) {
if (hparams.use_alibi) { if (hparams.use_alibi) {
f = -fabs(batch.pos[i] - batch.pos[j]); f = -std::abs(batch.pos[i] - batch.pos[j]);
} else { } else {
f = 0.0f; f = 0.0f;
} }
@ -16833,10 +16831,6 @@ const struct llama_vocab * llama_get_vocab(const struct llama_context * ctx) {
return &ctx->model.vocab; return &ctx->model.vocab;
} }
struct llama_grammar * llama_get_grammar(struct llama_context * ctx) {
return &ctx->grammar;
}
uint32_t llama_n_ctx(const struct llama_context * ctx) { uint32_t llama_n_ctx(const struct llama_context * ctx) {
return ctx->cparams.n_ctx; return ctx->cparams.n_ctx;
} }