云计算与大数据技术：微课版 于长青 2023年版

云计算与大数据技术：微课版 作者：于长青 出版时间：2023年版 内容简介 本书重点阐述云计算与大数据的基本原理、关键技术、常用平台和应用案例。本书共8章，包括云计算和大数据基础、云计算架构、虚拟化技术、云计算技术、大数据技术架构、大数据技术、云计算与大数据应用、综合实践等。 本书配有PPT课件、教学大纲、教学计划、电子教案、课后习题答案、模拟试卷及答案、实验指导书、实验虚拟机，使用本书的老师可在人邮教育社区免费下载使用。 本书可作为高等院校数据科学与大数据技术、计算机科学与技术、软件工程、大数据管理与应用等专业学生的教材，还可供IT领域的技术人员学习使用，同时可作为云计算与大数据研究人员的参考书。 目录 第 1章 云计算和大数据基础1 【本章知识结构图】1 【本章学习目标】1 1.1 云计算概述1 1.1.1 云计算发展历程2 1.1.2 云计算基本概念3 1.1.3 云计算基本特征4 1.1.4 云计算关键技术4 1.2 大数据技术概述8 1.2.1 大数据发展历程8 1.2.2 大数据基本概念9 1.2.3 大数据基本特征10 1.2.4 大数据关键技术11 1.3 云计算、大数据与其他技术的关系13 习题14 第 2章 云计算架构16 【本章知识结构图】16 【本章学习目标】17 2.1 云计算架构概述17 2.2 云计算架构设计与部署18 2.2.1 通用架构设计与部署18 2.2.2 高可用性架构设计与部署19 2.2.3 高性能架构设计与部署21 2.2.4 容灾架构设计与部署22 2.2.5 云安全架构设计与部署23 2.2.6 云桌面架构设计与部署26 2.3 云计算架构优化27 2.3.1 云计算架构优化概念27 2.3.2 云计算架构优化案例27 2.4 几种典型的云计算架构29 2.4.1 谷歌云计算架构30 2.4.2 阿里云计算架构30 2.4.3 腾讯云计算架构32 2.4.4 华为云计算架构33 2.5 实践：腾讯云部署Web应用35 2.5.1 概述35 2.5.2 基础环境36 2.5.3 实践条件36 2.5.4 实践流程36 习题39 第3章 虚拟化技术41 【本章知识结构图】41 【本章学习目标】41 3.1 虚拟化概述42 3.1.1 虚拟化发展历程42 3.1.2 虚拟化的几个重要概念42 3.1.3 虚拟化的主要特性44 3.1.4 虚拟化常见的架构类型44 3.2 虚拟化的关键技术47 3.2.1 CPU虚拟化47 3.2.2 存储虚拟化49 3.2.3 网络虚拟化51 3.2.4 服务器虚拟化54 3.2.5 虚拟桌面54 3.2.6 应用程序虚拟化55 3.3 几种典型的虚拟化软件56 3.3.1 KVM57 3.3.2 Xen57 3.3.3 VMware ESXi58 3.3.4 Microsoft Hyper-V58 3.4 实践：轻量级虚拟化——Docker容器实战58 3.4.1 Docker简述58 3.4.2 Docker案例59 习题61 第4章 云计算技术64 【本章知识结构图】64 【本章学习目标】65 4.1 云计算技术概述65 4.2 分布式存储技术66 4.2.1 GFS66 4.2.2 Swift68 4.2.3 Ceph71 4.2.4 Lustre75 4.2.5 主流分布式存储技术的比较76 4.3 云计算网络76 4.3.1 数据中心网络77 4.3.2 软件定义网络77 4.3.3 租户网络管理81 4.4 云计算安全82 4.4.1 云安全风险82 4.4.2 云计算安全技术82 4.5 云操作系统85 4.5.1 云操作系统基本概念85 4.5.2 云操作系统管理平台功能85 4.5.3 云操作系统资源调度86 4.5.4 云操作系统实例87 4.6 云开发87 4.6.1 云开发与传统开发87 4.6.2 一站式后端Serverless服务88 4.6.3 应用场景88 4.7 云计算运维89 4.8 实践89 4.8.1 使用OpenStack搭建云计算管理平台89 4.8.2 云开发实践91 习题91 第5章 大数据技术架构93 【本章知识结构图】93 【本章学习目标】94 5.1 大数据技术架构概述94 5.1.1 大数据技术参考模型94 5.1.2 大数据技术处理平台95 5.2 大数据技术架构设计97 5.2.1 Lambda架构97 5.2.2 Kappa架构98 5.2.3 IOTA架构99 5.3 Hadoop生态架构101 5.3.1 Hadoop基本概念101 5.3.2 Hadoop生态系统101 5.3.3 Hadoop生态架构特点103 5.3.4 Hadoop生态架构缺点103 5.4 Spark生态架构103 5.4.1 Spark基本概念103 5.4.2 Spark生态系统104 5.4.3 Spark基本流程105 5.4.4 Spark适用场景106 5.4.5 Spark与Hadoop的区别106 5.5 Flink生态架构106 5.5.1 Flink基本概念106 5.5.2 Flink架构体系107 5.5.3 Flink架构特性108 5.5.4 流处理应用的基本组件108 5.5.5 Flink API109 5.5.6 Flink扩展库110 5.5.7 Flink基础编程模型111 5.5.8 Flink作业执行过程112 5.5.9 Flink应用场景112 5.5.10 Flink和Spark Streaming的区别113 5.6 实践：Hadoop安装与配置114 5.6.1 Hadoop基础环境配置114 5.6.2 Hadoop配置114 5.6.3 格式化文件系统116 5.6.4 启动和验证Hadoop116 5.6.5 Hadoop Web管理工具116 习题117 第6章 大数据技术119 【本章知识结构图】119 【本章学习目标】120 6.1 大数据处理过程120 6.2 大数据采集与预处理120 6.2.1 大数据采集概述121 6.2.2 数据采集121 6.2.3 数据预处理122 6.3 大数据存储技术123 6.3.1 HDFS123 6.3.2 NoSQL数据库125 6.4 大数据计算技术128 6.4.1 批处理计算128 6.4.2 流计算130 6.4.3 查询分析计算131 6.4.4 图计算133 6.5 数据挖掘与可视化分析133 6.5.1 数据挖掘133 6.5.2 可视化分析134 6.6 实践：某招聘网站信息抓取可视化分析135 6.6.1 爬虫概述135 6.6.2 基本数据概述136 6.6.3 模块及库文件137 6.6.4 数据爬取137 6.6.5 利用pyecharts进行数据可视化142 习题146 第7章 云计算与大数据应用148 【本章知识结构图】148 【本章学习目标】148 7.1 云计算与大数据在数字政府中的应用149 7.1.1 城市智能运行中心149 7.1.2 社会治理150 7.1.3 互联网+监管152 7.2 云计算与大数据在工业领域中的应用153 7.2.1 工业互联网153 7.2.2 生产过程优化154 7.2.3 工业数字孪生155 7.3 云计算与大数据在医疗健康中的应用157 7.3.1 数字化医院157 7.3.2 医药云158 7.3.3 基因测序160 7.4 云计算与大数据在教育行业中的应用161 7.4.1 智慧校园161 7.4.2 科研云163 7.4.3 智慧教学164 7.5 云计算与大数据在金融领域中的应用165 7.5.1 互联网银行166 7.5.2 证券智能营销167 7.5.3 保险168 习题169 第8章 综合实践：搭建云平台并进行大数据处理分析171 【本章知识结构图】171 【本章学习目标】172 8.1 案例介绍172 8.2 搭建云平台172 8.2.1 OpenStack概述172 8.2.2 OpenStack基础环境174 8.2.3 安装和部署Keystone身份服务178 8.2.4 安装和部署Glance镜像服务180 8.2.5 安装和部署Placement放置服务182 8.2.6 安装和部署Nova计算服务183 8.2.7 安装和部署Neutron网络服务186 8.2.8 安装和部署Horizon仪表板193 8.2.9 创建和操作虚拟机实例195 8.3 搭建大数据平台196 8.3.1 数据仓库196 8.3.2 安装Hive197 8.3.3 安装Spark197 8.3.4 安装Zeppelin198 8.3.5 安装Sqoop198 8.3.6 安装Flume199 8.4 大数据采集与预处理199 8.4.1 数据采集199 8.4.2 数据预处理200 8.5 大数据实时分析200 8.5.1 订单指标分析——订单总数量201 8.5.2 订单指标分析——预约订单非预约订单占比201 8.5.3 订单指标分析——不同时段订单占比202 8.5.4 订单指标分析——不同地域订单占比202 8.5.5 订单指标分析——不同年龄段时段订单占比203 8.6 用户行为可视化204 习题206 参考文献208