Escucha y lee

Descubre un mundo infinito de historias

  • Lee y escucha todo lo que quieras
  • Más de 500 000 títulos
  • Títulos exclusivos + Storytel Originals
  • 14 días de prueba gratis, luego $24,900 COP/al mes
  • Cancela cuando quieras
Descarga la app
Cover for Learning Spark SQL

Learning Spark SQL

Idioma
Inglés
Formato
Categoría

No ficción

Design, implement, and deliver successful streaming applications, machine learning pipelines and graph applications using Spark SQL API

About This Book

• Learn about the design and implementation of streaming applications, machine learning pipelines, deep learning, and large-scale graph processing applications using Spark SQL APIs and Scala.

• Learn data exploration, data munging, and how to process structured and semi-structured data using real-world datasets and gain hands-on exposure to the issues and challenges of working with noisy and "dirty" real-world data.

• Understand design considerations for scalability and performance in web-scale Spark application architectures.

Who This Book Is For

If you are a developer, engineer, or an architect and want to learn how to use Apache Spark in a web-scale project, then this is the book for you. It is assumed that you have prior knowledge of SQL querying. A basic programming knowledge with Scala, Java, R, or Python is all you need to get started with this book.

What You Will Learn

• Familiarize yourself with Spark SQL programming, including working with DataFrame/Dataset API and SQL

• Perform a series of hands-on exercises with different types of data sources, including CSV, JSON, Avro, MySQL, and MongoDB

• Perform data quality checks, data visualization, and basic statistical analysis tasks

• Perform data munging tasks on publically available datasets

• Learn how to use Spark SQL and Apache Kafka to build streaming applications

• Learn key performance-tuning tips and tricks in Spark SQL applications

• Learn key architectural components and patterns in large-scale Spark SQL applications

In Detail

In the past year, Apache Spark has been increasingly adopted for the development of distributed applications. Spark SQL APIs provide an optimized interface that helps developers build such applications quickly and easily. However, designing web-scale production applications using Spark SQL APIs can be a complex task. Hence, understanding the design and implementation best practices before you start your project will help you avoid these problems.

This book gives an insight into the engineering practices used to design and build real-world, Spark-based applications. The book's hands-on examples will give you the required confidence to work on any future projects you encounter in Spark SQL.

It starts by familiarizing you with data exploration and data munging tasks using Spark SQL and Scala. Extensive code examples will help you understand the methods used to implement typical use-cases for various types of applications. You will get a walkthrough of the key concepts and terms that are common to streaming, machine learning, and graph applications. You will also learn key performance-tuning details including Cost Based Optimization (Spark 2.2) in Spark SQL applications. Finally, you will move on to learning how such systems are architected and deployed for a successful delivery of your project.

Style and approach

This book is a hands-on guide to designing, building, and deploying Spark SQL-centric production applications at scale.

© 2017 Packt Publishing (Libro electrónico): 9781785887352

Fecha de lanzamiento

Libro electrónico: 7 de septiembre de 2017

Libros similares a Learning Spark SQL

  1. Prohibido decir toda la verdad
    Prohibido decir toda la verdadRaul Benoit
    3.3
  2. El hombre en busca de sentido
    El hombre en busca de sentidoViktor Frankl
    4.6
  3. Influencia. La psicología de la persuasión
    Influencia. La psicología de la persuasiónRobert B. Cialdini, Robert B.Cialdini
    4.1
  4. Psicología oscura: Una guía esencial de persuasión, manipulación, engaño, control mental, negociación, conducta humana, PNL y guerra psicológica
    Psicología oscura: Una guía esencial de persuasión, manipulación, engaño, control mental, negociación, conducta humana, PNL y guerra psicológicaSteven Turner
    4.1
  5. Ni la muerte me quiso llevar: N/A
    Ni la muerte me quiso llevar: N/AMónica María Restrepo Castaño
    5
  6. Cómo Ganar Amigos e Influir Sobre las Personas [How to Win Friends and Influence People]
    Cómo Ganar Amigos e Influir Sobre las Personas [How to Win Friends and Influence People]Dale Carnegie
    4.4
  7. Meditaciones
    MeditacionesMarco Aurelio
    4.4
  8. El clan de Los Doce Apóstoles: Conversaciones con el mayor Juan Carlos Meneses: Conversaciones con el mayor Juan Carlos Meneses
    El clan de Los Doce Apóstoles: Conversaciones con el mayor Juan Carlos Meneses: Conversaciones con el mayor Juan Carlos MenesesOlga Behar
    4.7
  9. Un amor bonito
    Un amor bonitoEfrén Martínez
    3.7
  10. Neurociencia para la vida real: Los 10 pasos que mejoran tu cerebro
    Neurociencia para la vida real: Los 10 pasos que mejoran tu cerebroAna Ibáñez
    4.6
  11. La sociedad del cansancio
    La sociedad del cansancioByung-Chul Han
    4
  12. El duelo: (Cuando el dolor se hace carne)
    El duelo: (Cuando el dolor se hace carne)Gabriel Rolón
    3.8
  13. La generación ansiosa: Por qué las redes sociales están causando una epidemia de enfermedades mentales entre nuestros jóvenes
    La generación ansiosa: Por qué las redes sociales están causando una epidemia de enfermedades mentales entre nuestros jóvenesJonathan Haidt
    4.6
  14. El hombre en busca de sentido
    El hombre en busca de sentidoViktor Frankl
    4.7
  15. Una habitación propia
    Una habitación propiaVirginia Woolf
    4.4
  16. Cartas del Diablo a Su Sobrino
    Cartas del Diablo a Su SobrinoC. S. Lewis
    4.6
  17. Cómo ser un estoico: Utilizar la filosofía antigua para vivir una vida moderna
    Cómo ser un estoico: Utilizar la filosofía antigua para vivir una vida modernaMassimo Pigliucci
    4.3
  18. Psicología Oscura: Descubre cómo analizar a las personas y dominar la manipulación humana usando los secretos del lenguaje corporal, la PNL encubierta, el control mental, la persuasión subliminal, la hipnosis y técnicas de lectura rápida.
    Psicología Oscura: Descubre cómo analizar a las personas y dominar la manipulación humana usando los secretos del lenguaje corporal, la PNL encubierta, el control mental, la persuasión subliminal, la hipnosis y técnicas de lectura rápida.Vincent McDaniel
    4.8
  19. La noche en que Frankenstein leyó el Quijote: La vida secreta de los libros
    La noche en que Frankenstein leyó el Quijote: La vida secreta de los librosSantiago Posteguillo
    4.6
  20. Desde los zulos
    Desde los zulosDahlia de la Cerda
    4.4
  21. Compañeros de vida o celda.: Cómo aprendí a amar sin controlar.
    Compañeros de vida o celda.: Cómo aprendí a amar sin controlar.Adriana Reinking
    4.6
  22. Así matamos al Patrón. La cacería de Pablo Escobar
    Así matamos al Patrón. La cacería de Pablo EscobarDon Berna
    4
  23. Todo sobre el amor: Nuevas perspectivas
    Todo sobre el amor: Nuevas perspectivasbell hooks
    4
  24. El imitador de Garavito
    El imitador de GaravitoKevin Pinzón
    4.3
  25. Heartstopper - Tomo 1
    Heartstopper - Tomo 1Alice Oseman
    4.6