第 1 部分大数据简介

一、大数据导论

大数据是指传统软件工具无法在可承受的时间范围内捕获、管理和处理的数据集合。它要求新的加工模式具有更强的决策、洞察力和流程优化能力。适应海量、高增长、多样化的信息资产。大数据技术的战略意义不是掌握海量数据信息，而是专业地处理这些有意义的数据。也就是说，如果把大数据比作一个行业，让这个行业盈利的关键是提高数据的“加工能力”，通过“加工”实现数据的“增值”。

二、背景

移动互联网、电子商务和社交媒体的快速发展，导致企业需要面对的数据量呈指数级增长。据IDC《数字宇宙》（）研究报告显示，2020年全球新创建和复制的信息量已超过40ZB，是2012年的12倍；而2020年中国的数据量将超过8ZB，比2012年增长22%。数据量的快速增长带来了大数据技术和服务市场的繁荣发展。IDC亚太区（不包括日本）大数据与分析（BDA）领域的最新市场研究表明，大数据技术和服务的市场规模将从2012年的48亿美元增长到2017年的22亿美元5. @3.8 亿美元，未来5年复合增长率为34.1%。市场涵盖存储、服务器、网络、软件和服务市场。数据量的增长是非线性的增长速度。

据IDC分析报告显示，过去一年大数据实验室，亚太地区大数据与分析领域的应用案例越来越多。在中国，从互联网公司到电信、金融、政府等传统行业，都开始采用各种大数据和分析技术，开始了自己的大数据实践之旅；应用场景逐渐扩大，从结构化数据的分析发展到对半结构化和非结构化数据的分析，尤其是社交媒体信息的分析越来越受到用户的关注。用户已经开始评估与大数据相关的新技术，以数据库一体机和内存计算技术为代表。

第二部分大数据实验室介绍

一、建设大数据实验室的必要性

数据挖掘与大数据分析是一门以计算机为基础，以挖掘算法为核心，紧密面向行业应用的综合性学科。其主要技术涉及概率论与数理统计、数据挖掘、算法与数据结构、计算机网络、并行计算等多个专业方向，对实验室的专业要求较高。实验室不仅要提供基础的开发环境，还要提供大数据计算环境和实用的大数据案例进行实验。这些实验材料的准备需要专业大数据实验室的支持。

目前，中国高校专业设置中与数据挖掘和大数据分析实验相关的学科包括：计算机科学与技术、信息管理与信息系统、统计学、经济学、金融学、贸易学、生物信息学、公共卫生学等。这些专业的学生需要从原理、技术和应用等不同角度掌握大数据分析的理论和分析方法。要让学生掌握好这些课程，除了课堂学习外，实验也是加深理解、提高实际应用能力的主要途径。调查显示，中国高校现有实验室无法完成数据挖掘和大数据分析实验所需的算法、计算环境和数据。

二、建设大数据实验室的意义

大数据为新兴互联网企业（如电子商务、搜索引擎、社交网络、网络营销等）、银行金融企业、高端装备制造企业带来了巨大的商机。大数据在整个公司的增值链中。起到关键和决定性的作用。与此同时，大数据正在成为政企竞争的新焦点，各大企业纷纷投入大数据推动的新蓝海，为大数据产业带来新的发展机遇。泛亚咨询发布的调查数据显示，2013年前两季度，各招聘平台数据分析相关招聘需求同比增长67%；

大数据专业教学实训实验室的建设、面向大数据的创新专业的开发、项目实训，可以有效实现国内外大数据先进技术、成熟解决方案、管理和教学内容的快速引进。同时，可以为社会输送合格的大数据技术人才，提高我校毕业生的就业率和就业质量；让高校展示新技术教学成果、数据挖掘、数据分析、商业智能等科研方向，以及校企合作。领域的领先地位。实现科研、教学和社会服务的顺畅衔接，逐步建成以大数据培养为核心人才的科研教学基地。同时，大数据云实验室的建设，将使师生领略大数据技术的魅力和广阔前景，使学生掌握主流的大数据存储、管理、分析和处理技术，以及大数据平台的架构与搭建，分享成功的大数据应用项目实施经验，学习大数据应用项目解决方案咨询服务。

第三部分大数据实验室建设

(1）基础环境搭建

实验室基础环境建设主要是支持实验室教学运行的基础环境的配套建设，包括学生实验课桌椅、教学投影音响设备、实验室空调系统、综合布线系统、安防监控系统和实验室装修系统。只有通过这些基础配套环境的建设，实验室才能正常为教学和科研服务。

(2）IT环境建设

IT环境建设包括实验终端个人电脑和存储规划建设。

一方面，学生的实验终端电脑可以使用普通的终端PC，组成实验室局域网，支持学生进行实验。另一方面，随着云计算技术的发展，学生电脑可以采用虚拟桌面云终端的设计方法。设计了云资源服务器和云存储调度设备，采用服务器虚拟化方式支持终端。用户通过部署在实验平台上的瘦客户端进行实验操作。所有应用程序和数据都统一存储在后台服务器中，虚拟桌面云终端不存储任何数据，可以通过管理工具统一管理，包括分发系统、更新软件、远程监控和审计。虚拟桌面云平台也通过虚拟化平台的管理工具进行管理，大大减少了维护人员的重复性工作量。

(3）网络环境搭建

数据挖掘与大数据分析实验室的网络部署环境如上图所示。其中，路由器、交换机等网络设备连接用户和存储，是用户之间、用户与资源之间的通信设备；训练平台设备提供云存储和统一资源调度系统功能，可以是一个设备，也可以是多个设备的集群部署，提高设备的虚拟化能力。用户可以通过统一的资源调度平台调用所有资源，无需关注硬件设备；管理员可以对平台进行统一管理，包括账号管理、资源管理、实验管理等。

可以集成学校现有的网络设备，也可以根据学校专业教学和实验室建设的具体情况选择相关设备和模块。

<@3.大数据实验室建设内容

基于以上产品概述，大数据教学实训实验室的建设分为三个部分：

n 数据挖掘和大数据分析相关的教学培训资源

n 教培过程管理平台——云博教育云教学平台

n 云计算平台-云博教育云基础桌面云平台

4. 实验室操作架构

从上图可以看出，整个实验室的运作依托于云计算平台，将云计算平台的计算资源与各种教学资源进行整合，为用户提供各种服务。详细情况如下：

IaaS的底层是有机整合的IT资源，包括计算资源、网络资源和存储资源。统一的云计算管理平台将这些资源虚拟化并提供基础服务，包括分布式数据存储、计算服务、负载管理和备份。该层利用虚拟化技术整合分布式计算资源，提供实验室操作的统一管理和使用。

中间PaaS层为云平台业务调度中心，包括统一身份认证管理、各类实践教学业务引擎、各类实践教学应用服务器、实践教学资源管理、统一业务访问控制、数据挖掘分析等功能。该层将各种实践环境所需的开发工具、业务和管理支持工具、实践教学管理工具有机地集成在一起，并根据需要分发上层的封装和集成。

SaaS包括提供给最终用户的各种服务和各种调用方式。方法是将课程所需的课程关系、课程资源和专业实践环境，通过教学平台打包整合，为用户服务。中短通话资源可以是PC、笔记本电脑、各种云终端、平板电脑。

5.大数据实验室教学云平台建设

实验室教学云平台建设采用瑞亚讯云博教育云平台（®）。云博教育云平台（RPEP）基于瑞亚迅多年的教育平台开发理念和经验，采用先进的云计算技术，实现了强大的交互式自适应教学平台。平台可支持课件、实验手册、教学视频、教师参考答案、学生答案模板、实验资料下载、多媒体播放等多种教学资源。目前平台可支持软件开发、软件测试、电子商务、移动开发（苹果）、云计算、大数据、物联网、项目管理等IT领域。在高校中的应用，可以为计算机相关高校构建全校范围。一个全面和互动的整体教育实践解决方案。

5.1.平台技术架构示意图如下

5.1 平台特性

5.2 平台特性

(1）产品定位

可供学院或全校使用，可全面呈现各学院下属各专业课程的教学过程和数据，便于教学管理。

可与学校教务系统（如庆国、政方等）对接，配合教务系统管理教学全过程

平台采用准QQ界面，账号结合教师工号和学生学号，免培训，操作简单，使用方便

(2）产品架构

采用富客户端分布式架构，扩展性强，可支持海量用户（如：全校3W+学生，每学期100W+选课数据），前端客户端，后端浏览器访问

标准化的云计算平台接口，可将统一的上层应用需求扩展到多个云计算平台

提供第三方集成接口，可与考试系统、MOOC平台、在线教学平台等高校其他应用集成

(3）教学支持

完善的教学课程安排，实现备课、作业布置、作业提交、检查评价等教学过程的全面系统化管理

教学资源库是开放的，支持多种目录的多种形式文件和复杂资源格式的上传，支持教师自有资源的上传，与平台资源无缝集成，充分满足教学需求

学生提交作业，无需下载直接播放，方便老师批改

集成云桌面技术，可根据课程提供不同类型的练习环境（+Linux），实现单用户、跨课程、多桌面

师生可基于云桌面进行互动，方便教师随时远程查看学生的实践活动环境，进行指导和作业评分。

基于云桌面的学生实践环境可通过网络进行控制，防止学生抄袭作业，提高学习效果

平台采用任务驱动型教学案例模式，贯穿教学案例与知识点的编排，内容组织灵活有序。

采用“学习导向图”学习法，明确学习目标，对学习过程进行整体控制，使学习更有针对性。

提供多种形式的标准化教学资源，开放平台，也可根据需要导入和上传教学资源，充分满足教学需求。

强大的交互客户端，方便了师生之间、学生与教师之间、教师与教师之间的持续互动，满足课程指导、督促作业等互动需求。

完善可执行的教学和教务管理，实现备课、作业布置、作业提交、检查、评价等无纸化系统管理。

5.3平台桌面云集成接口®

它是云博平台与各种虚拟桌面解决方案之间的统一接口引擎。向上为教学平台提供统一桌面资源管理接口，通过统一调用接口兼容主流虚拟化平台，如基于KVM的VDI解决方案、基于View的终端解决方案和微软基于Hyper-V的RDS解决方案。

引擎实现的主要功能有：

1. 云博客客户端与虚拟桌面VDI的结合

1) 学生使用云博客客户端查看课程信息。在查看案例和提交作业的界面，可以点击“进入实践环境”进入相关案例对应的虚拟桌面。

2) 虚拟桌面中已经配置好与案例相关的开发环境以及运行或训练案例项目所需的相关软件（如数据库前端程序、版本管理软件前端、项目管理软件前端，软件测试工具前端）等等。这个虚拟桌面是学生的专属桌面，永久保存在服务器上。学生在虚拟桌面环境中开发的代码、文档等成果都存储在桌面环境中。

3) 可以控制虚拟桌面的网络环境和接口：如果不能上网，不能使用USB口，不能随意安装其他软件，保证虚拟桌面不被损坏通过病毒和其他软件，并为一个干净的项目环境进行培训。但可以通过局域网与其他服务器资源连接：如数据库服务器、版本管理服务器、软件测试工具服务器、文件管理服务器、项目管理软件服务器等），形成复杂的企业级实开发环境。

4) 教师可以通过云博客客户端进入学生的虚拟桌面查看学生在专用虚拟桌面的使用情况，在页面查看学生的任务状态：例如在IDE中查看学生的作文在桌面代码上，编译、查看学生部署的版本、查看学生编写的文档等等。教师进入学生桌面的方式可以是盗用，也可以是分享，方便教师基于虚拟桌面进行指导和学生交流。

5) 虚拟桌面提供工具，可以将学生的成绩打包成作业，上传到云平台。作业可以反映在学生的云博客客户端，与对应的案例相关。当学生打开虚拟桌面时，云博也会将课程等相关信息传输到虚拟桌面，供上传作业的工具程序使用。

6) 老师也有自己的桌面

7) 在教学过程中，根据课程，可以将老师或任何学生的桌面共享给他人进行观察（互动评论）。

2. 虚拟桌面镜像的创建和维护

1) 教学资源案例及配套教学开发环境，根据项目或案例，通过云博客客户端打开虚拟桌面背景模板，创建主图。主图像用于生成每个学生的培训桌面。

2) 可以通过云博客客户端在虚拟桌面后台打开模板编辑来维护父图。

3)学生使用的专属桌面在云博客户端可以批量动态生成、批量关闭、批量回收、批量重启。

4) 学生使用过一次虚拟桌面，下次再次进入时，无需再次生成，直接进入上次生成的专属桌面。

5) 虚拟桌面与课程匹配。也就是说，每门课程都配备了一个用于学习和培训的虚拟桌面。

6) 将与课程相匹配的虚拟桌面中的基础（开发）环境固化为模板基础，为学习本课程的教师提供个性化服务。教师个性化内容以网盘形式实现。在师生的虚拟桌面中，可以通过网盘方便地共享文件。学生虚拟桌面资源回收

7) 学生的课程、毕业或实践活动结束后，可以回收学生的专用桌面以节省资源。

6. 实验室承载的课程规划与教学资源建设

大数据实验室将围绕高校大数据技术的教学科研任务，专门为学生的教学、科研、师资培训设计大数据技术教育培训综合管理解决方案。面向高校计算机技术专业：计算机科学与技术、软件工程、信息安全、网络工程、物联网、数字媒体等，为教学和科研提供大数据。课程体系建设与学科规划、横向校企合作项目建设、大数据技术实验管理软件平台、大数据教学与实验资源包、大数据技术课程师资培养计划、

6.1 大数据课程体系建设与学科规划

作为继云计算、物联网之后IT行业的又一颠覆性技术，大数据备受关注。大数据无处不在，金融、汽车、零售、餐饮、电信、能源、政务、医疗、体育、娱乐等各行各业都融入了大数据的烙印，大数据对人类社会生产产生影响。生命将产生重大而深远的影响。随着大数据时代的到来，迫切需要高校适时建立大数据技术课程体系，为社会培养和输送一大批具有大数据专业素养的高级人才。社会，满足社会对大数据人才日益增长的需求。

根据现有国内外高校开展大数据课程建设经验和现有大数据技术就业市场需求，使学生具备研究大数据科学与工程领域问题的能力和解决实际大数据应用问题，系统掌握信息技术、数据分析、云计算技术、信息处理等方面的基本理论、知识和技能，能够在所学的培训知识、方法的基础上从事实际的大数据分析工作和技术，并具有创新和运营的能力。

(1) 培养目标

大数据技术课程旨在培养能够掌握和运用计算机技术、大数据存储管理技术、大数据分析与挖掘技术，并具备解决实际大数据应用问题的理论和实践能力的高素质复合型人才。数据爆炸时代。管理人才。

（2) 培训要求

大数据技术专业学生应具备的知识和能力如下：

系统掌握计算机数据结构、操作系统、数据库原理技术、分布式系统技术、数据分析等基础理论与技术；

能够熟练运用所学的大数据技术知识、信息处理等方法，设计、开发、实施和部署信息系统；

能够承担行业软件公司大数据应用系统的开发和政企信息数据基础设施的咨询规划和大数据分析