Слушайте с 60% отстъпка 90 дни

Намерете новата си любима история - сега само за 3.48 € на месец за първите 3 месеца

  • Над 500,000 заглавия на 6 езика
  • Детски режим - безопасна зона за деца
  • Нови книги всяка седмица и ексклузивни заглавия
  • Офлайн режим
Активирайте офертата
BG - Details page - Device banner - 894x1036
Cover for TensorRT‑LLM Optimization: Quantization, Kernel Fusion, and Throughput Engineering

TensorRT‑LLM Optimization: Quantization, Kernel Fusion, and Throughput Engineering

Език
Английски
Формат
Категория

Документални

"TensorRT‑LLM Optimization: Quantization, Kernel Fusion, and Throughput Engineering"

Built for experienced ML systems engineers, inference specialists, and GPU performance practitioners, this book is a deep guide to making large language models run faster, cheaper, and more predictably with TensorRT‑LLM. Rather than offering generic acceleration advice, it develops a precise mental model of the TensorRT‑LLM stack so readers can understand where performance is won or lost: in quantization choices, graph compilation, fused kernels, KV-cache policy, and serving scheduler behavior.

The book covers the full optimization path from precision strategy and post-training quantization pipelines to engine build configuration, plugin-enabled fusion, attention specialization, and throughput-oriented serving design. Readers will learn how to choose among FP16, BF16, FP8, INT8, and INT4 in hardware-aware ways; validate deployable quantized artifacts; realize fused execution paths in compiled engines; engineer KV-cache behavior for long-context workloads; and benchmark and profile systems with enough rigor to attribute gains to the right layer.

Structured as an advanced, implementation-minded text, the book emphasizes cross-layer tradeoffs rather than isolated tricks. It assumes solid familiarity with transformer inference, CUDA-era GPU concepts, and production deployment concerns, and rewards readers who want durable optimization judgment instead of version-fragile recipes."

© 2026 NobleTrex Press (Е-книга): 6610001219079

Дата на излизане

Е-книга: 8 май 2026 г.

Разгледай още от

    Изберете своя абонамент

    • Над 500,000 заглавия на 6 езика

    • Нови книги всяка седмица и ексклузивни заглавия

    • Детски режим - безопасна зона за деца

    • Офлайн режим

    Най-популярен

    Unlimited

    Най-добрият избор. Открийте хиляди незабравими истории.

    8.69 € | 16.99 лв. /30 дни

    • Избирайте от хиляди заглавия

    • Слушайте и четете неограничено

    • Прекратете по всяко време

    Пробвайте сега

    Unlimited Годишен

    33% отстъпка от месечния абонамент. Избирайте от хиляди заглавия.

    69.53 € | 135.99 лв. /година

    12 месеца на цената на 8
    • Избирайте от хиляди заглавия

    • Слушайте и четете неограничено

    • Прекратете по всяко време

    Пробвайте 7 дни безплатно

    Family 2 профила

    Споделете историите със семейството или приятелите си.

    12.78 € | 24.99 лв. /30 дни

    • Потопете се заедно в света на историите

    • Слушайте и четете неограничено

    • Прекратете по всяко време

    Пробвайте 7 дни безплатно

    Family 3 профила

    Споделете историите със семейството или приятелите си.

    14.99 € | 29.32 лв. /30 дни

    • Потопете се заедно в света на историите

    • Слушайте и четете неограничено

    • Прекратете по всяко време

    Пробвайте 7 дни безплатно