Learning Spark SQL

Språk
Engelsk
Format
Kategori

Fakta og dokumentar

Design, implement, and deliver successful streaming applications, machine learning pipelines and graph applications using Spark SQL API

About This Book

• Learn about the design and implementation of streaming applications, machine learning pipelines, deep learning, and large-scale graph processing applications using Spark SQL APIs and Scala.

• Learn data exploration, data munging, and how to process structured and semi-structured data using real-world datasets and gain hands-on exposure to the issues and challenges of working with noisy and "dirty" real-world data.

• Understand design considerations for scalability and performance in web-scale Spark application architectures.

Who This Book Is For

If you are a developer, engineer, or an architect and want to learn how to use Apache Spark in a web-scale project, then this is the book for you. It is assumed that you have prior knowledge of SQL querying. A basic programming knowledge with Scala, Java, R, or Python is all you need to get started with this book.

What You Will Learn

• Familiarize yourself with Spark SQL programming, including working with DataFrame/Dataset API and SQL

• Perform a series of hands-on exercises with different types of data sources, including CSV, JSON, Avro, MySQL, and MongoDB

• Perform data quality checks, data visualization, and basic statistical analysis tasks

• Perform data munging tasks on publically available datasets

• Learn how to use Spark SQL and Apache Kafka to build streaming applications

• Learn key performance-tuning tips and tricks in Spark SQL applications

• Learn key architectural components and patterns in large-scale Spark SQL applications

In Detail

In the past year, Apache Spark has been increasingly adopted for the development of distributed applications. Spark SQL APIs provide an optimized interface that helps developers build such applications quickly and easily. However, designing web-scale production applications using Spark SQL APIs can be a complex task. Hence, understanding the design and implementation best practices before you start your project will help you avoid these problems.

This book gives an insight into the engineering practices used to design and build real-world, Spark-based applications. The book's hands-on examples will give you the required confidence to work on any future projects you encounter in Spark SQL.

It starts by familiarizing you with data exploration and data munging tasks using Spark SQL and Scala. Extensive code examples will help you understand the methods used to implement typical use-cases for various types of applications. You will get a walkthrough of the key concepts and terms that are common to streaming, machine learning, and graph applications. You will also learn key performance-tuning details including Cost Based Optimization (Spark 2.2) in Spark SQL applications. Finally, you will move on to learning how such systems are architected and deployed for a successful delivery of your project.

Style and approach

This book is a hands-on guide to designing, building, and deploying Spark SQL-centric production applications at scale.

© 2017 Packt Publishing (E-bok): 9781785887352

Utgivelsesdato

E-bok: 7. september 2017

Bøker som liknar Learning Spark SQL

  1. Pelsjegerliv
    PelsjegerlivHelge Ingstad
    4.6
  2. Jakten på Norges farligste kvinne
    Jakten på Norges farligste kvinneMagnus Braaten, Kenneth Fossheim
    4.3
  3. En av oss: en fortelling om Norge
    En av oss: en fortelling om NorgeÅsne Seierstad
    4.8
  4. Sjøfareren: en reise gjennom Portugals tapte imperium
    Sjøfareren: en reise gjennom Portugals tapte imperiumErika Fatland
    4.4
  5. Uelskbar - Om psykopater, narsissister og andre relasjonstyranner
    Uelskbar - Om psykopater, narsissister og andre relasjonstyrannerHarald Vestgöte Kirsebom
    4.4
  6. The 48 Laws of Power
    The 48 Laws of PowerRobert Greene
    4.2
  7. Berre bønder lengtar heim
    Berre bønder lengtar heimAre Kalvø
    4.7
  8. Ikke tro på alt du tenker: hvorfor tankene dine er starten og slutten på mentale smerter
    Ikke tro på alt du tenker: hvorfor tankene dine er starten og slutten på mentale smerterJoseph Nguyen
    3.9
  9. En seksti under
    En seksti underTor-Håkon Gabriel Håvardsen
    4.8
  10. Den mørke hemmeligheten i Tysfjord
    Den mørke hemmeligheten i TysfjordAnne-Britt Harsem
    4.5
  11. Den fabelaktige narsissisten - Et nytt blikk på vår tids mest forhatte personlighet
    Den fabelaktige narsissisten - Et nytt blikk på vår tids mest forhatte personlighetEspen Skorstad
    4.4
  12. Regime Change: The phenomenal bestseller making global headlines
    Regime Change: The phenomenal bestseller making global headlinesJonathan Swan, Maggie Haberman
    4.7
  13. Tvillingene: hvorfor klarte ingen å hjelpe Mina og Mille
    Tvillingene: hvorfor klarte ingen å hjelpe Mina og MilleRønnaug Jarlsbo
    4.7
  14. Bokhandleren i Kabul: et familiedrama
    Bokhandleren i Kabul: et familiedramaÅsne Seierstad
    4.1
  15. Skjerm barna
    Skjerm barnaMaja Lunde
    4.6
  16. 25 konspirasjoner å snakke om i lunsjen
    25 konspirasjoner å snakke om i lunsjenBjørn-Henning Ødegaard, Fredrik Sjaastad Næss
    4.2
  17. Hvordan redde demokratiet fra kunstig intelligens
    Hvordan redde demokratiet fra kunstig intelligensHenrik Skaug Sætra
    4.1
  18. Maskiner som tenker
    Maskiner som tenkerInga Strümke
    4.5
  19. Grensen
    GrensenErika Fatland
    4.4
  20. Gjør Norge greit igjen: et manifest for å gjenreise annerledeslandet
    Gjør Norge greit igjen: et manifest for å gjenreise annerledeslandetMímir Kristjánsson
    4.7
  21. Hel ved: alt om hogging, stabling og tørking - og vedfyringens sjel
    Hel ved: alt om hogging, stabling og tørking - og vedfyringens sjelLars Mytting
    4.3
  22. Sjarmen med tarmen
    Sjarmen med tarmenGiulia Enders
    4.2
  23. Havet - vår siste villmark
    Havet - vår siste villmarkDavid Attenborough, Colin Butfield
    4.4
  24. 90 dager på loffen i Børgefjell
    90 dager på loffen i BørgefjellLars Monsen
    4.4
  25. To søstre
    To søstreÅsne Seierstad
    4.5

Velg ditt abonnement:

  • Over 900 000 lydbøker og e-bøker

  • Nye eksklusive titler hver dag

  • Lag din personlige bokhylle

  • Lytt og les offline

  • Titler på norsk, svensk og engelsk

  • Barnevennlig visning (Kids Mode)

  • Avslutt når du vil

Mest populær

Unlimited

For deg som vil lytte og lese ubegrenset.

219 kr /måned

  • 1 konto

  • Ubegrenset lytting

Benytt tilbud

Family

Familiens førstevalg - for deg som ønsker å dele historier med familien.

Fra 289 kr /måned

  • 2-3 kontoer

  • Ubegrenset lytting

Du + 1 familiemedlem

2 kontoer

289 kr /måned

Benytt tilbud

Premium

For deg som lytter og leser ofte.

189 kr /måned

  • 1 konto

  • 50 timer/måned

Prøv gratis

Basic

For deg som lytter og leser av og til.

149 kr /måned

  • 1 konto

  • 20 timer/måned

Start nå