diff --git a/backends/llamacpp/csrc/backend.cpp b/backends/llamacpp/csrc/backend.cpp
index b6b3de004..d3f89adca 100644
--- a/backends/llamacpp/csrc/backend.cpp
+++ b/backends/llamacpp/csrc/backend.cpp
@@ -36,7 +36,7 @@ namespace huggingface::tgi::backends::llamacpp {
 
         llama_sampler_chain_add(sampler, llama_sampler_init_temp(temperature));
         llama_sampler_chain_add(sampler, llama_sampler_init_dist(seed));
-        return {sampler, llama_sampler_deleter};
+        return llama_sampler_ptr(sampler);
     }
 
     std::expected<llama_batch, backend_error_t> get_batch_from_prompt(std::span<llama_token> prompt) {
diff --git a/backends/llamacpp/csrc/backend.hpp b/backends/llamacpp/csrc/backend.hpp
index e1ab1e650..84602e77d 100644
--- a/backends/llamacpp/csrc/backend.hpp
+++ b/backends/llamacpp/csrc/backend.hpp
@@ -17,18 +17,12 @@
 #include <vector>
 
 #include <llama.h>
+#include <llama-cpp.h>
 #include <thread>
 
 #define LLAMA_SUCCESS(x) x == 0
 
 namespace huggingface::tgi::backends::llamacpp {
-
-    static constexpr auto llama_context_deleter = [](llama_context *pContext) { llama_free(pContext); };
-    typedef std::unique_ptr<llama_context, decltype(llama_context_deleter)> llama_context_ptr;
-
-    static constexpr auto llama_sampler_deleter = [](llama_sampler *pSampler) { llama_sampler_free(pSampler); };
-    typedef std::unique_ptr<llama_sampler, decltype(llama_sampler_deleter)> llama_sampler_ptr;
-
     typedef std::function<bool(llama_token, float_t, bool, size_t)> llama_decode_callback;
     static constexpr auto llama_void_callback = [](llama_token, float_t, bool, size_t) -> bool { return false; };