重庆分公司,新征程启航
为企业提供网站建设、域名注册、服务器等服务
value值里可以存放一组数据,取出来再解析。关键是key的设计,一般设计成查询条件的组合,中间用冒号分隔。
目前创新互联建站已为上1000家的企业提供了网站建设、域名、网站空间、网站运营、企业网站设计、盐津网站维护等服务,公司将坚持客户导向、应用为本的策略,正道将秉承"和谐、参与、激情"的文化,与客户和合作伙伴齐心协力一起成长,共同发展。
2. 什么是NoSQL?
2.1 NoSQL 概述
NoSQL(NoSQL = Not Only SQL ),意即“不仅仅是SQL”,
泛指非关系型的数据库。随着互联网web2.0网站的兴起,传统的关系数据库在应付web2.0网站,特别是超大规模和高并发的SNS类型的web2.0纯动态网站已经显得力不从心,暴露了很多难以克服的问题,而非关系型的数据库则由于其本身的特点得到了非常迅速的发展。NoSQL数据库的产生就是为了解决大规模数据集合多重数据种类带来的挑战,尤其是大数据应用难题,包括超大规模数据的存储。
(例如谷歌或Facebook每天为他们的用户收集万亿比特的数据)。这些类型的数据存储不需要固定的模式,无需多余操作就可以横向扩展。
2.2 NoSQL代表
MongDB、 Redis、Memcache
3. 关系型数据库与NoSQL的区别?
3.1 RDBMS
高度组织化结构化数据
结构化查询语言(SQL)
数据和关系都存储在单独的表中。
数据操纵语言,数据定义语言
严格的一致性
基础事务
ACID
关系型数据库遵循ACID规则
事务在英文中是transaction,和现实世界中的交易很类似,它有如下四个特性:
A (Atomicity) 原子性
原子性很容易理解,也就是说事务里的所有操作要么全部做完,要么都不做,事务成功的条件是事务里的所有操作都成功,只要有一个操作失败,整个事务就失败,需要回滚。比如银行转账,从A账户转100元至B账户,分为两个步骤:1)从A账户取100元;2)存入100元至B账户。这两步要么一起完成,要么一起不完成,如果只完成第一步,第二步失败,钱会莫名其妙少了100元。
C (Consistency) 一致性
一致性也比较容易理解,也就是说数据库要一直处于一致的状态,事务的运行不会改变数据库原本的一致性约束。
I (Isolation) 独立性
所谓的独立性是指并发的事务之间不会互相影响,如果一个事务要访问的数据正在被另外一个事务修改,只要另外一个事务未提交,它所访问的数据就不受未提交事务的影响。比如现有有个交易是从A账户转100元至B账户,在这个交易还未完成的情况下,如果此时B查询自己的账户,是看不到新增加的100元的
D (Durability) 持久性
持久性是指一旦事务提交后,它所做的修改将会永久的保存在数据库上,即使出现宕机也不会丢失。
3.2 NoSQL
代表着不仅仅是SQL
没有声明性查询语言
没有预定义的模式
键 - 值对存储,列存储,文档存储,图形数据库
最终一致性,而非ACID属性
非结构化和不可预知的数据
CAP定理
高性能,高可用性和可伸缩性
分布式数据库中的CAP原理(了解)
CAP定理:
Consistency(一致性), 数据一致更新,所有数据变动都是同步的
Availability(可用性), 好的响应性能
Partition tolerance(分区容错性) 可靠性
P: 系统中任意信息的丢失或失败不会影响系统的继续运作。
定理:任何分布式系统只可同时满足二点,没法三者兼顾。
CAP理论的核心是:一个分布式系统不可能同时很好的满足一致性,可用性和分区容错性这三个需求,
因此,根据 CAP 原理将 NoSQL 数据库分成了满足 CA 原则、满足 CP 原则和满足 AP 原则三 大类:
CA - 单点集群,满足一致性,可用性的系统,通常在可扩展性上不太强大。
CP - 满足一致性,分区容忍性的系统,通常性能不是特别高。
AP - 满足可用性,分区容忍性的系统,通常可能对一致性要求低一些。
CAP理论就是说在分布式存储系统中,最多只能实现上面的两点。
而由于当前的网络硬件肯定会出现延迟丢包等问题,所以分区容忍性是我们必须需要实现的。
所以我们只能在一致性和可用性之间进行权衡,没有NoSQL系统能同时保证这三点。
说明:C:强一致性 A:高可用性 P:分布式容忍性
举例:
CA:传统Oracle数据库
AP:大多数网站架构的选择
CP:Redis、Mongodb
注意:分布式架构的时候必须做出取舍。
一致性和可用性之间取一个平衡。多余大多数web应用,其实并不需要强一致性。
因此牺牲C换取P,这是目前分布式数据库产品的方向。
4. 当下NoSQL的经典应用
当下的应用是 SQL 与 NoSQL 一起使用的。
代表项目:阿里巴巴商品信息的存放。
去 IOE 化。
ps:I 是指 IBM 的小型机,很贵的,好像好几万一台;O 是指 Oracle 数据库,也很贵的,好几万呢;M 是指 EMC 的存储设备,也很贵的。
难点:
数据类型多样性。
数据源多样性和变化重构。
数据源改造而服务平台不需要大面积重构。
一、数据库考试内容:
(1)计算机体系结构以及各主要部件的性能和基本工作原理。
(2)操作系统、程序设计语言的基础知识,了解编译程序的基本知识。
(3)常用数据结构和常用算法。
(4)软件工程和软件开发项目管理的基础知识。
(5)计算机网络的原理和技术。
(6)数据库原理及基本理论。
(7)常用的大型数据库管理系统的应用技术。
(8)数据库应用系统的设计方法和开发过程。
(9)数据库系统的管理和维护方法,了解相关的安全技术。
(10)数据库发展趋势与新技术。
(11)常用信息技术标准、安全性,以及有关法律、法规的基本知识。
(12)了解信息化、计算机应用的基础知识。
(13)正确阅读和理解计算机领域的英文资料。
二、考试目标
作为数据库管理员管理信息系统中的数据资源,作为数据库管理员建立和维护核心数据库;担任数据库系统有关的技术支持,同时具备一定的网络结构设计及组网能力;具有工程师的实际工作能力和业务水平,能指导计算机技术与软件专业助理工程师(或技术员)工作。
三、考试范围
信息系统知识
1.计算机系统知识
2.数据库技术
3.系统开发和运行维护知识
4.安全性知识
5.标准化知识
6.信息化基础知识
7.计算机专业英语
数据库系统设计与管理
1.数据库设计
2.数据库应用系统设计
3.数据库应用系统实施
4.数据库系统的运行和管理
5.SQL
6.网络环境下的数据库
7.数据库的安全性
8.数据库发展趋势与新技术
扩展资料:
有些考生在报名软考中级数据库系统工程师考试的时候发现没有这项资格考试,以为数据库系统工程师考试没有了,其实并不是这样的。
数据库系统工程师每年只有一次考试,通常安排在上半年开考,而下半年是没有安排数据库系统工程师考试的。因此,要报名数据库系统工程师考试的考生要在上半年报名。
由于软考每年的开考资格安排可能会有所变动,并不是固定在上半年或者下半年考试,因此要报名的考生请关注软考办公布的每年的开考资格安排,及时报名
一、SQL
结构化查询语言(Structured Query Language)简称SQL(发音:/ˈes kjuː ˈel/ "S-Q-L"),是一种特殊目的的编程语言,是一种数据库查询和程序设计语言,用于存取数据以及查询、更新和管理关系数据库系统;同时也是数据库脚本文件的扩展名。结构化查询语言是高级的非过程化编程语言,允许用户在高层数据结构上工作。它不要求用户指定对数据的存放方法,也不需要用户了解具体的数据存放方式,所以具有完全不同底层结构的不同数据库系统, 可以使用相同的结构化查询语言作为数据输入与管理的接口。结构化查询语言语句可以嵌套,这使它具有极大的灵活性和强大的功能。
结构化查询语言包含6个部分:
1、数据查询语言(DQL:Data Query Language):
其语句,也称为“数据检索语句”,用以从表中获得数据,确定数据怎样在应用程序给出。保留字SELECT是DQL(也是所有SQL)用得最多的动词,其他DQL常用的保留字有WHERE,ORDER BY,GROUP BY和HAVING。这些DQL保留字常与其他类型的SQL语句一起使用。
2、数据操作语言(DML:Data Manipulation Language):
其语句包括动词INSERT,UPDATE和DELETE。它们分别用于添加,修改和删除表中的行。也称为动作查询语言。
3、事务处理语言(TPL):
它的语句能确保被DML语句影响的表的所有行及时得以更新。TPL语句包括BEGIN TRANSACTION,COMMIT和ROLLBACK。
4、数据控制语言(DCL):
它的语句通过GRANT或REVOKE获得许可,确定单个用户和用户组对数据库对象的访问。某些RDBMS可用GRANT或REVOKE控制对表单个列的访问。
5、数据定义语言(DDL):
其语句包括动词CREATE和DROP。在数据库中创建新表或删除表(CREAT TABLE 或 DROP TABLE);为表加入索引等。DDL包括许多与人数据库目录中获得数据有关的保留字。它也是动作查询的一部分。
6、指针控制语言(CCL):
它的语句,像DECLARE CURSOR,FETCH INTO和UPDATE WHERE CURRENT用于对一个或多个表单独行的操作。
二、全国计算机等级考试有选择数据库的如下:
二级:
二级 Access 数据库程序设计。
二级 Visual Foxpro 数据库程序设计。
二级 MySQL 数据库程序设计 。
三级:三级数据库技术证书要求已经(或同时)获得二级数据库程序设计类证书。数据库技术:数据库应用系统分析及规划、数据库设计及实现、数据库存储技术、并发控制技术、数据库管理与维护、数据库技术的发展及新技术。
四级:四级考生需要获得三级证书。数据库工程师:考核数据库原理、软件工程两门课程。测试内容包括数据库系统的基本理论以及数据库设计、维护、管理与应用开发的基本能力。
要参加2020年浙江省高校计算机等级考试的小伙伴们注意了,环球青藤小编整理分享了2020年浙江省高校计算机三级数据管理与分析技术考试大纲,小伙伴们快来看看吧,希望以下内容对大家接下来的考试有所帮助,更多计算机等级考试信息敬请关注环球青藤计算机二级频道。
2020年浙江省高校计算机三级数据管理与分析技术考试大纲
考试目标
掌握关系数据库理论和基本应用,掌握大数据基本概念、Hadoop与Spark的核心思想、分布式计算模型,具备基于关系数据库和大数据的数据管理和应用分析能力。
基本要求
1、掌握数据库的基本概念;
2、掌握关系模型、关系模型完整性约束和函数依赖范畴的规范化理论;
3、熟练掌握关系数据库设计方法:包括ER模型的设计、ER模型向关系模型的转换与优化、数据库逻辑结构设计;
4、熟练掌握在MySQL平台的基本用户管理、基本权限管理、SQL基本指令的应用;
5、熟练掌握MySQL存储过程和触发器的设计,理解数据库事务与并发控制机制;
6、理解大数据技术Hadoop与Spark的核心思想与各自的特点;Spark与Hadoop功能定位的区别与联系;理解Spark优于Hadoop的核心技术(RDD,DAG,内存计算,惰性求值);
7、掌握HDFS分布式文件系统与MapReduce计算模型;
8、熟练掌握常用的Linux命令行操作和Hadoop指令操作;
9、熟练掌握Hadoop分布式计算常见任务的MapReduce实现方法;
10、熟练使用交互式spark-shell编写分布式机器学习的任务。
考试内容
一、关系数据库应用(40%)
1、数据库的基本概念:数据、数据库与数据处理、数据库系统的组成、结构与发展历史;数据库三级模式结构的概念、数据逻辑独立性与物理独立性的含义。
2、数据库系统的数据模型类别:层次、网状、关系、面向对象数据库、NoSQL数据库模型的特点、区别与典型DBMS产品。
3、关系数据库的完整性约束类别:主键约束、外键约束、数据类型约束、(Not)Null约束、Check约束;掌握关系数据理论的函数依赖、1NF、2NF、3NF、BCNF的定义和判断方法。
4、结构化查询语言SQL的基本应用:数据库对象定义语言(DDL)(数据类型、库的创建与删除、表的创建、修改与删除、视图的创建与删除、索引的创建与删除)、数据库查询(单表查询、单表自身连接查询、2表或3表的连接查询(等值连接、自然连接、左外、右外、全外连接的select实现)、不相关与相关嵌套子查询、分组统计查询、查询结果排序)、数据更新(表数据的插入、删除和修改);其中不相关嵌套子查询要求掌握in、any、all的应用,相关嵌套子查询要求掌握exists谓词的简单应用。
5、MySQL存储过程和触发器的设计:MySQL平台下不带参数、带若干in、out参数的存储过程的设计及触发器的设计;存储过程的调用方法和触发器的测试;理解事务的定义、ACID特性与多用户数据库系统的封锁并发控制技术的基本原理。
6、MySQL用户及权限基本管理:新用户的创建、table对象的授权(select、insert、update、delete权限)。
7、简单数据库应用的数据库设计:需求描述、ER图设计、ER图向关系模型的转换方法、数据模型优化、设计视图、逻辑设计、物理设计;ER图包括实体、属性、联系(1对1、1对多、多对多)、参与度约束(最小min、最大max)的表示方法与含义。
二、大数据管理与分析技术(60%)
1、大数据基本概念:大数据的4V特征、类型(结构化与非结构化大数据)、核心技术(分布式存储和分布式处理)、大数据计算模式(批处理计算、流计算、图计算、查询分析计算)、每类计算模式典型的代表产品。
2、Hadoop框架基础理论: Hadoop特性、核心模块与相应的主要功能(HDFS分布式文件系统、MapReduce计算模型)。
(1)HDFS文件系统基本内容:体系结构、HDFS实现的目标与局限性、HDFS的NameNode和DataNode的功能与模块(NameNode:FsImage与EditLog;DataNode:数据存储与检索)。
(2)MapReduce计算模型基本内容:体系结构(Client、JobTracker、TaskTracker以及Task)、优势(容错性好、硬件要求低、编程难度低、使用场景多等)、设计策略(分而治之、计算向数据靠拢、Master/Slave架构)。
(3)Map/Reduce的输入/输出和工作流程:Input-Map-Reduce-Output。
3、常用的Linux命令行工具和Hadoop操作:
(1)Linux常用操作:cd、mkdir、rmdir、cp、mv、rm、cat、more、head、tail、touch、chown、chmod、find、tar、grep;
(2)Hadoop常用操作:Hadoop启动(所有进程启动、单进程启动)、查看目录(hdfs dfs –ls)、打开文件(hdfs dfs –cat)、本地文件或目录上传到Hadoop(hdfs dfs –put)、从Hadoop下载至本地目录(hadoop dfs -get)、删除Hadoop上文件夹或文件(hdfs dfs –rm||-rmr)、在Hadoop指定目录内创建新目录(hdfs dfs –mkdir)、将Hadoop某个文件重命名(hdfs dfs –mv)、将Hadoop指定目录下所有内容保存为一个文件,同时download至本地(hdfs dfs –getmerge)、kill正在运行的Hadoop作业(hadoop job –kill)、查看PATH目录信息(hdfs dfs –count)、显示文件的内容(hdfs dfs –text)、查看帮助(hdfs dfs -help)。
4、经典统计算法(去重、计数、排序、TopK排序、求最大最小值)与关系运算(选择、投影、分组)的MapReduce实现。
5、Spark基本概念:Spark核心技术(RDD:弹性分布式数据集,RDD的两类操作:Transformation和Action,有向无环图 DAG、内存计算技术、惰性计算)、Spark特性(速度快、丰富的API、高容错性、部署方式多样化)、Spark的架构(驱动器程序、SparkContext对象、集群管理器(Cluster Manager)、工作节点)。
6、Spark应用程序的运行架构与运行流程(集群管理器(Cluster Manager),多个工作节点(Worker Node),每个应用的任务控制节点(Driver)和每个工作结点上负责具体任务执行进程(Executor))。
7、使用Spark MLib库进行机器学习(特征提取、统计、分类、回归、聚类、协同过滤)。
8、Spark经典应用场景分析:SQL查询,文本处理,分析,音乐、视频、广告精准推荐,实时数据分析。
以上就是小编整理的2020年浙江省高校计算机三级数据管理与分析技术考试大纲,准备参加二级考试的同学们都来了解一下吧。想要及时了解考试动态的小伙伴可“ 免费预约短信提醒”届时环球青藤会及时为大家推送全国计算机等级考试相关信息提醒。环球青藤友情提示:对于想要参加计算机二级考试的小伙伴们,环球青藤特地为您准备了计算机二级考试资料,如有需要请点击文章下方“免费下载计算机二级考试资料”下载学习。