[{"content":"llama.cppでgpt-oss-20bを動かしたときのメモです。\n動かし方 llama.cppのクローン＆ビルド\n1 2 3 git clone https://github.com/ggml-org/llama.cpp cmake -B build -DGGML_NATIVE=ON -DBUILD_SHARED_LIBS=OFF cmake --build build --config Release -j$(nproc) モデルのダウンロード\n1 2 cd models/ wget https://huggingface.co/ggml-org/gpt-oss-20b-GGUF/resolve/main/gpt-oss-20b-mxfp4.gguf 実行\n1 ~/llama.cpp/build/bin/llama-server --host 0.0.0.0 --port 8080 -m ~/llama.cpp/models/gpt-oss-20b-mxfp4.gguf --jinja -ngl 0 -t 4 -b 2048 -ub 2048 -c 2048 ","permalink":"https://sleepydog.dev/posts/first-post/","summary":"\u003cp\u003ellama.cppでgpt-oss-20bを動かしたときのメモです。\u003c/p\u003e","title":"llama.cppでgpt-oss-20bを動かす"}]