一、 什么是数据挖掘?什么是数据仓库?并简述数据挖掘的步骤。(20分)
数据挖掘是从大量数据中提取或发现(挖掘)知识的过程。
数据仓库是面向主题的、集成的、稳定的、不同时间的数据集合,用于支持经营管理中的决策制定过程。 步骤:
1)数据清理 (消除噪声或不一致数据) 2) 数据集成 (多种数据源可以组合在一起)
3 ) 数据选择 (从数据库中检索与分析任务相关的数据)
4 ) 数据变换 (数据变换或统一成适合挖掘的形式,如通过汇总或聚集操作) 5) 数据挖掘 (基本步骤,使用智能方法提取数据模式)
6) 模式评估 (根据某种兴趣度度量,识别表示知识的真正有趣的模式;) 7) 知识表示 (使用可视化和知识表示技术,向用户提供挖掘的知识)
二、元数据的定义是什么?元数据包括哪些内容?(20分)
元数据是关于数据的数据。在数据仓库中, 元数据是定义仓库对象的数据。 元数据包括 :
数据仓库结构的描述,包括仓库模式、视图、维、分层结构、导出数据的定义, 以及数据集市的位置和内容。
操作元数据,包括数据血统(移植数据的历史和它所使用的变换序列)、数据流通(主动的、档案的或净化的) 、管理信息(仓库使用统计量、错误报告和审计跟踪)。
汇总算法,包括度量和维定义算法, 数据所处粒度、划分、主题领域、聚集、汇总、预定义的查询和报告 。
由操作环境到数据仓库的映射,包括源数据库和它们的内容,网间连接程序描述, 数据划分, 数据提取、清理、转换规则和缺省值, 数据刷新和净化规则, 安全 (用户授权和存取控制) 。
关于系统性能的数据,刷新、更新定时和调度的规则与更新周期,改善数据存取和检索性能的索引和配置。
商务元数据,包括商务术语和定义, 数据拥有者信息和收费策略。
三、在 O L A P 中,如何使用概念分层? 请解释多维数据模型中的OLAP 上卷下钻切片切块和转轴操作。(20分) 在多维数据模型中,数据组织成多维,每维包含由概念分层定义的多个抽象层。这种组织为用户从不同角度观察数据提供了灵活性。有一些 O L A P 数据立方体操作用来物化这些不同视图,允许交互查询和分析手头数据。因此 , O L A P 为交互数据分析提供了友好的环境。 上卷 :上卷操作通过一个维的概念分层向上攀升或者通过维归约 ,在数据立方体上进行聚集。
下钻:下钻是上卷的逆操作,它由不太详细的数据到更详细的数据。下钻可以通过沿维的概念分层向下或引入新的维来实现。
切片:在给定的数据立方体的一个维上进行选择,导致一个子方。 切块:通过对两个或多个维执行选择,定义子方。
转轴: 转轴是一种目视操作,它转动数据的视角,提供数据的替代表示。
四、什么是数据变换? 数据变换涉及的内容有哪些? (20分)
数据变换是将数据转换成适合于挖掘的形式。数据变换可能涉及如下内容 : 1). 平滑 :去掉数据中的噪声。这种技术包括分箱、聚类和回归。
2). 聚集 :对数据进行汇总和聚集。例如,可以聚集日销售数据,计算月和年销售额。通常,这一步用来为多粒度数据分析构造数据立方体。
3). 数据概化 :使用概念分层,用高层次概念替换低层次“原始”数据。例如,分类的属性,如 s t re e t ,可以概化为较高层的概念,如 c i t y 或 c o u n t ry 。类似地,数值属性,如 a g e ,可以映射到较高层概念,如 young, middle-age 和 s e n i o r 。
4). 规范化 :将属性数据按比例缩放,使之落入一个小的特定区间,如- 1 . 0 到 1 . 0 或 0 . 0 到 1 . 0 。
5). 属性构造 (或 特征构造 ):可以构造新的属性并添加到属性集中,以帮助挖掘过程。
五、用Apriori 、FP-growth 、GSP 、Prefixspan 、SPAM 算法中任意一到两种算法,挖掘出所有的频繁项集(表1)或频繁序列(表2),并写出具体过程。假设事务数据库D 如下:最小支持度计数为2。(20分)以Apriori 算法为例。
一、 什么是数据挖掘?什么是数据仓库?并简述数据挖掘的步骤。(20分)
数据挖掘是从大量数据中提取或发现(挖掘)知识的过程。
数据仓库是面向主题的、集成的、稳定的、不同时间的数据集合,用于支持经营管理中的决策制定过程。 步骤:
1)数据清理 (消除噪声或不一致数据) 2) 数据集成 (多种数据源可以组合在一起)
3 ) 数据选择 (从数据库中检索与分析任务相关的数据)
4 ) 数据变换 (数据变换或统一成适合挖掘的形式,如通过汇总或聚集操作) 5) 数据挖掘 (基本步骤,使用智能方法提取数据模式)
6) 模式评估 (根据某种兴趣度度量,识别表示知识的真正有趣的模式;) 7) 知识表示 (使用可视化和知识表示技术,向用户提供挖掘的知识)
二、元数据的定义是什么?元数据包括哪些内容?(20分)
元数据是关于数据的数据。在数据仓库中, 元数据是定义仓库对象的数据。 元数据包括 :
数据仓库结构的描述,包括仓库模式、视图、维、分层结构、导出数据的定义, 以及数据集市的位置和内容。
操作元数据,包括数据血统(移植数据的历史和它所使用的变换序列)、数据流通(主动的、档案的或净化的) 、管理信息(仓库使用统计量、错误报告和审计跟踪)。
汇总算法,包括度量和维定义算法, 数据所处粒度、划分、主题领域、聚集、汇总、预定义的查询和报告 。
由操作环境到数据仓库的映射,包括源数据库和它们的内容,网间连接程序描述, 数据划分, 数据提取、清理、转换规则和缺省值, 数据刷新和净化规则, 安全 (用户授权和存取控制) 。
关于系统性能的数据,刷新、更新定时和调度的规则与更新周期,改善数据存取和检索性能的索引和配置。
商务元数据,包括商务术语和定义, 数据拥有者信息和收费策略。
三、在 O L A P 中,如何使用概念分层? 请解释多维数据模型中的OLAP 上卷下钻切片切块和转轴操作。(20分) 在多维数据模型中,数据组织成多维,每维包含由概念分层定义的多个抽象层。这种组织为用户从不同角度观察数据提供了灵活性。有一些 O L A P 数据立方体操作用来物化这些不同视图,允许交互查询和分析手头数据。因此 , O L A P 为交互数据分析提供了友好的环境。 上卷 :上卷操作通过一个维的概念分层向上攀升或者通过维归约 ,在数据立方体上进行聚集。
下钻:下钻是上卷的逆操作,它由不太详细的数据到更详细的数据。下钻可以通过沿维的概念分层向下或引入新的维来实现。
切片:在给定的数据立方体的一个维上进行选择,导致一个子方。 切块:通过对两个或多个维执行选择,定义子方。
转轴: 转轴是一种目视操作,它转动数据的视角,提供数据的替代表示。
四、什么是数据变换? 数据变换涉及的内容有哪些? (20分)
数据变换是将数据转换成适合于挖掘的形式。数据变换可能涉及如下内容 : 1). 平滑 :去掉数据中的噪声。这种技术包括分箱、聚类和回归。
2). 聚集 :对数据进行汇总和聚集。例如,可以聚集日销售数据,计算月和年销售额。通常,这一步用来为多粒度数据分析构造数据立方体。
3). 数据概化 :使用概念分层,用高层次概念替换低层次“原始”数据。例如,分类的属性,如 s t re e t ,可以概化为较高层的概念,如 c i t y 或 c o u n t ry 。类似地,数值属性,如 a g e ,可以映射到较高层概念,如 young, middle-age 和 s e n i o r 。
4). 规范化 :将属性数据按比例缩放,使之落入一个小的特定区间,如- 1 . 0 到 1 . 0 或 0 . 0 到 1 . 0 。
5). 属性构造 (或 特征构造 ):可以构造新的属性并添加到属性集中,以帮助挖掘过程。
五、用Apriori 、FP-growth 、GSP 、Prefixspan 、SPAM 算法中任意一到两种算法,挖掘出所有的频繁项集(表1)或频繁序列(表2),并写出具体过程。假设事务数据库D 如下:最小支持度计数为2。(20分)以Apriori 算法为例。