{
  "type": "book",
  "site": {
    "name": "Kołczan Książek",
    "language": "pl-PL",
    "url": "https://www.kolczanksiazek.pl"
  },
  "formats": "Każda podstrona ma dwie wersje z tymi samymi danymi: JSON (adres strony + .json) i markdown (adres strony + .md). Do każdego `url` w tym dokumencie można dopisać .json albo .md.",
  "title": "LLM w środowisku produkcyjnym. Serwowanie, optymalizacja i hosting na dużą skalę",
  "subtitle": null,
  "slug": "llm-w-srodowisku-produkcyjnym-serwowanie-optymalizacja-i-hosting-na-duza-skale",
  "url": "https://www.kolczanksiazek.pl/chi-wang/llm-w-srodowisku-produkcyjnym-serwowanie-optymalizacja-i-hosting-na-duza-skale",
  "json": "https://www.kolczanksiazek.pl/chi-wang/llm-w-srodowisku-produkcyjnym-serwowanie-optymalizacja-i-hosting-na-duza-skale.json",
  "markdown": "https://www.kolczanksiazek.pl/chi-wang/llm-w-srodowisku-produkcyjnym-serwowanie-optymalizacja-i-hosting-na-duza-skale.md",
  "authors": [
    {
      "name": "Chi Wang",
      "slug": "chi-wang",
      "url": "https://www.kolczanksiazek.pl/chi-wang"
    },
    {
      "name": "Peiheng Hu",
      "slug": "peiheng-hu",
      "url": "https://www.kolczanksiazek.pl/peiheng-hu"
    }
  ],
  "language": "pl_PL",
  "original_title": "Hands-On LLM Serving and Optimization: Hosting LLMs at Scale",
  "original_language": "en",
  "first_published": null,
  "genres": [
    {
      "code": "UN",
      "heading": "Bazy danych"
    },
    {
      "code": "UNC",
      "heading": "Pozyskiwanie i analiza danych"
    },
    {
      "code": "UYQ",
      "heading": "Sztuczna inteligencja"
    },
    {
      "code": "UYQL",
      "heading": "Języki naturalne i tłumaczenie automatyczne"
    },
    {
      "code": "UYQM",
      "heading": "Uczenie maszynowe / Systemy uczące się"
    }
  ],
  "series": [],
  "cover": null,
  "description": "Wdrażaj i optymalizuj modele LLM szybko, tanio i na dużą skalę Rewolucja sztucznej inteligencji sprawiła, że duże modele językowe (LLM) z ciekawostek badawczych stały się krytyczną infrastrukturą produkcyjną. Obecnie największym wyzwaniem dla firm IT nie jest już samo trenowanie modeli, ale ich wydajne, bezpieczne i opłacalne wdrażanie. W erze agentów AI i w obliczu rosnących kosztów korzystania z publicznych API organizacje coraz częściej decydują się na hosting własnych rozwiązań. Ta książka stanowi kompleksowy przewodnik po serwowaniu i optymalizacji LLM. Wypełnia lukę między teorią a praktyką, pokazując, jak przekuć potężne modele w niezawodne aplikacje działające w czasie rzeczywistym, a przy tym poradzić sobie z nową fizyką i ekonomią generatywnej sztucznej inteligencji. Ta publikacja krok po kroku przeprowadza czytelnika przez cykl życia modelu w środowisku produkcyjnym. Autorzy demistyfikują architekturę transformerów, szczegółowo omawiając fazy wstępnego wypełniania (prefill) i dekodowania, jak również zarządzanie pamięcią podręczną KV. Książka uczy projektowania systemów dla pojedynczych i wielu modeli, a także wdrażania zaawansowanych technik optymalizacji: ciągłego przetwarzania wsadowego, kwantyzacji, dekodowania spekulatywnego czy buforowania prefiksów. Czytelnik dowie się, jak skutecznie używać nowoczesnych frameworków (w tym vLLM, TensorRT-LLM, SGLang, llama. cpp) i jak skalować infrastrukturę na wiele procesorów graficznych (GPU) i węzłów przy zachowaniu idealnego balansu między przepustowością, opóźnieniami a kosztami operacyjnymi. Najważniejsze zagadnienia: Architektura LLM i mechanizmy generowania tokenów Zarządzanie pamięcią KV i ciągłe przetwarzanie wsadowe Projektowanie systemów serwowania Zaawansowana optymalizacja Skalowanie na wiele GPU Przegląd frameworków: vLLM, TensorRT-LLM, SGLang, llama. cpp Gdy duże modele językowe stają się podstawą nowoczesnych platform sztucznej inteligencji, ta książka oferuje praktyczny plan serwowania i optymalizacji modeli LLM na dużą skalę co umożliwia niezawodną i opłacalną obsługę ogromnych obciążeń. Bhavesh Doshi, wicedyrektor działu chmury AI w Salesforce",
  "editions": [
    {
      "title": "LLM w środowisku produkcyjnym. Serwowanie, optymalizacja i hosting na dużą skalę",
      "subtitle": null,
      "url": "https://www.kolczanksiazek.pl/chi-wang/llm-w-srodowisku-produkcyjnym-serwowanie-optymalizacja-i-hosting-na-duza-skale/9788328942042",
      "publisher": "Helion",
      "publisher_series": [],
      "translators": [
        "Robert Górczyński",
        "Małgorzata Grygierowska-Augustynowicz",
        "Halina Kraśkiewicz"
      ],
      "medium": "paper",
      "duration_seconds": null,
      "narrators": [],
      "illustrators": [],
      "cover_artists": [],
      "isbn": "978-83-2894-204-2",
      "pages": 341,
      "published": null,
      "language": "pl_PL",
      "cover": null
    }
  ],
  "other_languages": [],
  "characters": [],
  "chapters": []
}