InhoudsopgaveInleiding 11 Introductie 31.1 Big Data . . . . . . . . . . . . . . . . . . . . . 31.1.1 Volume . . . . . . . . . . . . . . . . . 41.1.2 Variety . . . . . . . . . . . . . . . . . 41.1.3 Velocity . . . . . . . . . . . . . . . . . 61.1.4 Veracity . . . . . . . . . . . . . . . . . 61.2 Data science . . . . . . . . . . . . . . . . . . . 71.2.1 Statistiek . . . . . . . . . . . . . . . . 81.2.2 Data Mining . . . . . . . . . . . . . . 91.2.3 Machine learning . . . . . . . . . . . . 101.2.4 Articial Intelligence . . . . . . . . . . 111.3 Data analyse in organisaties . . . . . . . . . . 111.3.1 Business Intelligence . . . . . . . . . . 121.3.2 Data Engineering . . . . . . . . . . . . 142 Data-analyse- en verwerkingstechnieken 172.1 Analyse met spreadsheets . . . . . . . . . . . 172.2 Geavanceerde data mining analyses . . . . . . 192.2.1 R . . . . . . . . . . . . . . . . . . . . . 202.2.2 Python . . . . . . . . . . . . . . . . . 202.2.3 Overig . . . . . . . . . . . . . . . . . . 212.3 Schaalbare analyse van grote datasets . . . . 222.4 Machine Learning & articial intelligence . . 262.4.1 Het `nieuwe' paradigma . . . . . . . . 272.4.2 Unsupervised Learning . . . . . . . . . 322.4.3 Supervised Learning . . . . . . . . . . 363 Het data lake 433.1 Opslagmechanismen . . . . . . . . . . . . . . 433.1.1 Relationele databases . . . . . . . . . 443.1.2 No-SQL . . . . . . . . . . . . . . . . . 473.1.3 Blob/Bucket stores . . . . . . . . . . . 533.2 Data lake design . . . . . . . . . . . . . . . . 543.2.1 Archive layer . . . . . . . . . . . . . . 553.2.2 Metadata . . . . . . . . . . . . . . . . 563.2.3 Processing layer . . . . . . . . . . . . 573.2.4 Streaming layer . . . . . . . . . . . . . 584 De dataverzamelingsketen 604.1 Databronnen . . . . . . . . . . . . . . . . . . 604.1.1 Aangekochte data . . . . . . . . . . . 614.1.2 Open data . . . . . . . . . . . . . . . . 614.1.3 Personal devices . . . . . . . . . . . . 624.1.4 Sensoren . . . . . . . . . . . . . . . . . 624.1.5 Camera's . . . . . . . . . . . . . . . . 634.1.6 OT-systemen . . . . . . . . . . . . . . 644.2 Edge computing . . . . . . . . . . . . . . . . 674.3 IoT devices . . . . . . . . . . . . . . . . . . . 704.4 Aan de rand van het data lake . . . . . . . . 714.5 Communicatieprotocollen . . . . . . . . . . . 735 Integratie 755.1 Services . . . . . . . . . . . . . . . . . . . . . 765.1.1 RESTful API's . . . . . . . . . . . . . 765.1.2 Messaging . . . . . . . . . . . . . . . . 775.2 Infrastructuur . . . . . . . . . . . . . . . . . . 795.2.1 Continuous integration & deployment 795.2.2 Containers . . . . . . . . . . . . . . . 806 Organisatie 826.1 BI vs Data Science . . . . . . . . . . . . . . . 826.2 Data vs Software Engineering . . . . . . . . . 836.3 Van DevOps naar DataOps . . . . . . . . . . 84Een overzicht van technieken, tools en methoden op het gebied van data engineering. Wat komt erbij kijken om datagedreven te gaan werken.De beloften en verwachtingen van data-analyse, en met name data science, zijn torenhoog. Techbedrijven buitelen over elkaar heen met cloud-based oplossingen die uw bedrijf radicaal zullen veranderen naar een datagedreven operatie.Dit boek neemt u invogelvlucht mee over het oerwoud aan technieken dat hierbij komt kijken, gezien vanuit een zakelijk perspectief. Wat zijn precies de mogelijkheden? Wat is van toepassing voor úw bedrijf, maar vooral: wat niet?