大数据技术及应用基础-教学大纲.pdf

【大数据技术及应用基础】是一门面向初学者的课程，旨在教授大数据技术的基本概念、工具和应用。课程总共60学时，适用于互联网等相关专业，旨在培养学生在大数据领域的实践操作能力。 1. **大数据概述**：课程首先介绍大数据的起源与发展，强调其特征，如海量性、多样性、高速性和价值密度低，以及大数据处理的技术层面，包括批处理、流处理、图处理等。 2. **数据获取**：讲解如何使用Scrapy框架构建网络爬虫，获取网络数据，包括目标数据项定义、爬虫运行机制和数据存储技术。 3. **Hadoop基础**：深入理解Hadoop的核心特性，包括HDFS（分布式文件系统）、MapReduce（分布式计算框架）和YARN（资源调度器）。学生将学习如何部署Hadoop的单机和集群环境。 4. **HDFS基本应用**：掌握HDFS的API接口，理解数据在HDFS中的流动过程，进行基本操作。 5. **MapReduce应用开发**：通过Eclipse环境进行MapReduce程序开发，理解Map和Reduce过程的工作原理，学会解决实际问题。 6. **分布式数据库HBase**：学习HBase的基本概念，集群安装步骤，以及使用HBase API进行数据操作。 7. **数据仓库工具Hive**：了解Hive在数据仓库中的角色，掌握Hive接口，用Hive解决实际数据处理问题。 8. **Spark**：理解Spark的内存计算模型，配置Spark环境，熟悉Spark API，完成实际工作流程。 9. **实时处理系统Storm**：掌握Storm的基本概念，设置和配置Storm环境，进行实时数据处理。 10. **企业级大数据处理Apex**：学习Apex的基本概念，配置环境，理解其组件原理，解决实际问题。 11. **OLAP系统Druid**：理解Druid的用途，安装Druid单机环境，执行数据加载和查询。 12. **事件数据引擎Flink**：了解Flink的核心概念和架构，安装Flink环境，进行基本操作。 13. **分布式文件搜索引擎Elasticsearch**：掌握Elasticsearch的基本结构，安装过程，进行基本的搜索和索引操作。 14. **电商数据分析实践**：利用所学的工具和环境，对实际电商数据进行系统分析，包括数据清洗、预处理、特征工程、建模和结果解释等步骤。 这门课程通过理论与实践相结合的方式，使学生能够理解和运用大数据技术，应对日益增长的数据处理需求，为未来在互联网行业及其他领域从事大数据分析和应用打下坚实基础。