sqlserver第三章,sql第五章课后题

关于学习管理数据流图,数据词典和数状模块

各种类型数据的高等界面，后来逐渐演变成满足所有数据访问需要的完整解datamodule4.adoquery2.sql.add('SELECT借书证号,密码FROM[user]WHERE(借书证号=:tt)');

东辽ssl适用于网站、小程序/APP、API接口等需要进行数据传输应用场景，ssl证书未来市场广阔！成为成都创新互联的ssl证书销售渠道，可以享受市场价格4-6折优惠！如果有意向欢迎电话联系或者加微信：13518219792（备注：SSL证书合作）期待与您的合作！

datamodule4.adoquery2.parameters[0].value:=username;

datamodule4.adoquery2.open;

在为TQuery或TADOquery部件设置SQL属性时调用Close方法总是很安全的，如果TQuery或TADOquery部件已经被关闭了，调用Close方法时不会产生任何影响。在应用程序中为SQL属性设置新的SQL命令语句时，必须要调用Clear方法以清除SQL属性中现存的SQL命令语句，如果不调用Clear方法，便调用Add方法向SQL属性中设置SQL命令语句，那么新设置的SQL命令语句会追加在现存SQL命令语句后面，在程序运行时常常会出现出乎意料的查询结果甚至程序无法运行下去。

在这里要特别注意的，一般情况下TQuery或TADOquery部件的SQL属性只能包含一条完整的SQL语句，它不允许被设置成多条SQL语句。当然有些数据库服务器也支持在TQuery或TADOquery部件的SQL属性中设置多条SQL语句，只要数据库服务器允许这样，我们在编程时可以为SQL属性设置多条SQL语句。

在为TQuery或TADOquery部件设置完SQL属性的属性值之后，也即编写好适当的SQL程序之后，可以有多种方式来执行SQL程序。

在设计过程中，设置完TQuery或TADOquery部件的SQL属性之后将其Active属性的值置为True，这样便可以执行SQL属性中的SQL程序，如果应用中有与TQuery或TADOquery部件相连的数据浏览部件(如TDDGridTDBEdit等)那么在这些数据浏览部件中会显示SQL程序的执行结果。

在应用程序运行过程中，通过程序调用TQuery或TADOquery组件的Open方法或ExecSQL方法可以执行其SQL属性中的SQL程序。Open方法和ExecSQL方法是不一样的。Open方法只能用来执行SQL语言的查询语句(Select命令)，并返回一个查询结果集，而ExecSQL方法还可以用来执行其它常用的SQL语句(如INSERT,UPDATE,DELETE等命令)，例如：

Query1.Open(这样会返回一个查询结果集)

如果调用Open方法，而没有查询结果时，会出错。此时应该调用ExecSQL方法来代替Open方法。如：

Query1.ExecSQL(没有返回结果)

当然在设计应用程序时，程序设计人员是无法确定TQuery或TADOquery组件中的SQL语句是否会返回一个查询结果的。对于这种情况应当用Try…Except模块来设计程序。在Try部分调用Open方法，而在Except部分调用ExceSQL方法，这样才能保证程序的正确运行。

例如：

Try

Query1.Open

Except

Query1.ExecSQL

End

通过Tquery或TADOquery组件可以获得两种类型的数据：

u“活动”的数据

这种数据就跟通过TTable部件获得的数据一样，用户可以通过数据浏览部件来编辑修改这些数据，并且当调用Post方法或当焦点离开当前的数据浏览部件时，用户对数据的修改自动地被写回到数据库中。

u非活动的数据(只读数据)

用户通过数据浏览部件是不能修改其中的数据。在缺省情况下，通过TQuery部件获得的查询结果数据是只读数据，要想获得“活动”的数据，在应用程序中必须要设置Tquery或TADOquery组件的RequestLive属性值为True，然而并不是在任何情况下(通过设置RequestLive的属值True)都可以获得“活动”的数据的，要想获得“活动”的数据，除了将TQuery部件的RequestLive属性设置为True外，相应的SQL命令还要满足以下条件。

本地SQL语句查询情况下，要得到可更新的数据集，SQL语句的限制为：

n查询只能涉及到一个单独的表

nSQL语句中不能包含ORDERBY命令

nSQL语句中不能含聚集运算符SUM或AVG

n在Select后的字段斜碇胁荒苡屑扑阕侄?

n在Select语句WHERE部分只能包含字段值与常量的比较运算，这些比较运算符是：Like,,,=,=。各比较运算之间可以有并和交运算：AND和OR

当通过SQL语句查询数据库服务器中的数据库表：

n查询只能涉及到一个单独的表

nSQL语句中不能包含ORDERBY命令

nSQL语句中不能含聚集运算符SUM或AVG运算

另外，如果是查询Sybase数据库中的表，那么被查询的表中只能有一个索引。

如果在应用程序中要求TQuery或TADOquery组件返回一个“活动”的查询结果数据集，但是SQL命令语句不满足上述约束条件时，对于本地数据库的SQL查询，BDE只能返回只读的数据集。对于数据库服务器中的SQL查询，只能返回错误的代码。当Tquery或TADOquery组件返回一个“活动”的查询结果数据集时，它的CanModIfy属性的值会被设置成True。

§3.4MSSQLServer简述

SQLServer是一个后台数据库管理系统,它功能强大操作简便,日益为广大数据库用户所喜爱。越来越多的开发工具提供了与SQLServer的接口。SQLServer是一个关系数据库管理系统，它最初是由Microsoft、Sybase和Ashton-Tate三家公司共同开发的。于1988年推出了第一个OS/2版本，在WindowsNT推出后，Microsoft与Sybase在SQLServer的开发上就分道扬镳了，Microsoft将SQLServer移植到WindowsNT系统上，专注于开发推广SQLServer的WindowsNT版本。

SQLServer2000是Microsoft公司推出的SQLServer数据库管理系统的最新版本，该版本继承了SQLServer7.0版本的优点，同时又比它增加了许多更先进的功能、具有使用方便、可伸缩性好与相关软件集成程度高等优点。可跨越从运行MicrosoftWindows98的膝上型电脑到运行MicrosoftWindows2000的大型多处理器的服务器等多种平台使用。MSSQLServer不但可以应用于大中型数据库管理中，建立分布式关系数据库，并且也可以开发桌面数据库。事实上，SQLServer数据库处理的基本结构，采取关系型数据库模式，尽管如此，相信大家都可以轻易的发现，在SQLServer的数据库处理方式，则是使用面向对象的操作方式与精神，也就是说，SQLServer的所有功能，都可以基于系统已经建立好的一些对象来达成，是相当OO（面向对象）的一个系统结构。

SQLServer企业管理器是SQLServer的主要管理工具，它提供了一个遵从MMC标准的用户界面，使用户得以：

·定义SQLServer实例组。

·将个别服务器注册到组中。

·为每个已注册的服务器配置所有SQLServer选项。

·在每个已注册的服务器中创建并管理所有SQLServer数据库、对象、登录、用户和权限。

·在每个已注册的服务器上定义并执行所有SQLServer管理任务。

·通过唤醒调用SQL查询分析器，交互地设计并测试SQL语句、批处理和脚本。

·唤醒调用为SQLServer定义的各种向导。

·

第三章图书管理系统设计分析

§4.1应用需求分析

图书管理系统需要满足来自三方面的需求，这三个方面分别是图书借阅者、图书馆工作人员和图书馆管理人员。图书借阅者的需求是查询图书馆所存的图书、个人借阅情况及个人信息的修改；图书馆工作人员对图书借阅者的借阅及还书要求进行操作，同时形成借书或还书报表给借阅者查看确认；图书馆管理人员的功能最为复杂，包括对工作人员、图书借阅者、图书进行管理和维护，及系统状态的查看、维护并生成催还图书报表。

图书借阅者可直接查看图书馆图书情况，如果图书借阅者根据本人借书证号和密码登录系统，还可以进行本人借书情况的查询和维护部分个人信息。一般情况下，图书借阅者只应该查询和维护本人的借书情况和个人信息，若查询和维护其他借阅者的借书情况和个人信息，就要知道其他图书借阅者的借书证号和密码。这些是很难得到的，特别是密码，所以不但满足了图书借阅者的要求，还保护了图书借阅者的个人隐私。

图书馆工作人员有修改图书借阅者借书和还书记录的权限，所以需对工作人员登陆本模块进行更多的考虑。在此模块中，图书馆工作人员可以为图书借阅者加入借书记录或是还书记录，并打印生成相应的报表给用户查看和确认。

图书馆管理人员功能的信息量大，数据安全性和保密性要求最高。本功能实现对图书信息、借阅者信息、总体借阅情况信息的管理和统计、工作人员和管理人员信息查看及维护。图书馆管理员可以浏览、查询、添加、删除、修改、统计图书的基本信息；浏览、查询、统计、添加、删除和修改图书借阅者的基本信息，浏览、查询、统计图书馆的借阅信息，但不能添加、删除和修改借阅信息，这部分功能应该由图书馆工作人员执行，但是，删除某条图书借阅者基本信息记录时，应实现对该图书借阅者借阅记录的级联删除。并且还应具有生成催还图书报表，并打印输出的功能。

在本系统中由于没有打印机设备供试验，所以预先把报表打印改成报表预览。

设计不同用户的操作权限和登陆方法

对所有用户开放的图书查询

借阅者维护借阅者个人部分信息

借阅者查看个人借阅情况信息

维护借阅者个人密码

根据借阅情况对数据库进行操作并生成报表

根据还书情况对数据库进行操作并生成报表

查询及统计各种信息

维护图书信息

维护工作人员和管理员信息

维护借阅者信息

处理信息的完整性

对借阅过期的图书生成报表

图4-2图书管理系统数据库应用需求的总结

根据以上所做的需求分析，并略掉一些细节（如不考虑用户的登录；对记录的维护），得出以下的三层数据流图。

§4.2系统功能模块划分

系统功能框图如图4-10所示。

§4.3系统数据库设计

4.3.1概念设计

在概念设计阶段中，设计人员从用户的角度看待数据及处理要求和约束，产生一个反映用户观点的概念模式。然后再把概念模式转换成逻辑模式。将概念设计从设计过程中独立开来，使各阶段的任务相对单一化，设计复杂程度大大降低，不受特定DBMS的限制。

利用ER方法进行数据库的概念设计，可分成三步进行：首先设计局部ER模式，然后把各局部ER模式综合成一个全局模式，最后对全局ER模式进行优化，得到最终的模式，即概念模式。

（1）设计局部ER模式

实体和属性的定义：

图书（图书编号，图书名称，作者，出版社，出版日期，备注，价格，数量，）

借阅者（借书证号，姓名，性别，身份证，联系电话，密码）

身份（身份编号，身份描述，最大借阅数）

图书类别（图书类别编号，类别描述）

ER模型的“联系”用于刻画实体之间的关联。一种完整的方式是对局部结构中任意两个实体类型，依据需求分析的结果，考察局部结构中任意两个实体类型之间是否存在联系。若有联系，进一步确定是1:N，M:N，还是1:1等。还要考察一个实体类型内部是否存在联系，两个实体类型之间是否存在联系，多个实体类型之间是否存在联系，等等。联系定义如图4-5所示。解释如下：

u一个借阅者（用户）只能具有一种身份，而一种身份可被多个借阅者所具有；

u一本图书只能属于一种图书类别（类别），而一种图书类别可以包含多本图书；

u一个用户可以借阅多本不同的书，而一本书也可以被多个不同的用户所借阅。

（2）设计全局ER模式

所有局部ER模式都设计好了后，接下来就是把它们综合成单一的全局概念结构。全局概念结构不仅要支持所有局部ER模式，而且必须合理地表示一个完整、一致的数据库概念结构。

1)确定公共实体类型

为了给多个局部ER模式的合并提供开始合并的基础，首先要确定各局部结构中的公共实体类型。在这一步中我们仅根据实体类型名和键来认定公共实体类型。一般把同名实体类型作为公共实体类型的一类候选，把具有相同键的实体类型作为公共实体类型的另一类候眩

2)局部ER模式的合并

合并的原则是：首先进行两两合并；先和合并那些现实世界中有联系的局部结构；合并从公共实体类型开始，最后再加入独立的局部结构。

3)消除冲突

冲突分为三类：属性冲突、结构冲突、命名冲突。

设计全局ER模式的目的不在于把若干局部ER模式形式上合并为一个ER模式，而在于消除冲突，使之成为能够被所有用户共同理解和接受的同一的概念模型。

3)全局ER模式的优化

在得到全局ER模式后，为了提高数据库系统的效率，还应进一步依据处理需求对ER模式进行优化。一个好的全局ER模式，除能准确、全面地反映用户功能需求外，还应满足下列条件：实体类型的个数要尽可能的少；实体类型所含属性个数尽可能少；实体类型间联系无冗余。

综上所述，“图书管理系统”的全局ER模式如图4-13所示。

4.3.2关系数据库的逻辑设计

由于概念设计的结果是ER图，DBMS一般采用关系型（本人所使用的MSSQLServer就是关系型的DBMS），因此数据库的逻辑设计过程就是把ER图转化为关系模式的过程。由于关系模型所具有的优点，逻辑设计可以充分运用关系数据库规范化理论，使设计过程形式化地进行。设计结果是一组关系模式的定义。

（1）导出初始关系模式

book（图书编号＃，图书名称，图书类别＃，作者，出版社，出版日期，备注，价格，数量）class（图书类别#，类别名）user（借书证号＃，姓名，性别，身份编号＃，身份证，联系电话，密码）ID（身份编号#，身份描述，最大借阅数）Owner（借书证号#,图书编号#，借书日期）

图4-14关系模式集

（2）产生子模式

子模式是用户所用到的那部分数据的描述。除了指出用户用到的数据外，还应指出数据与概念模式中相应数据的联系，即指出概念模式与子模式之间的对应性。

借书子模式（借书证号#，姓名，图书编号＃，图书名称，借书日期）

图4-15部分子模式

（3）根据设计中出现的问题本人在写系统时还加入了两个关系模式：

1、ownertemp：用于工作人员在处理借书、还书工作时临时存储借书、还书信息，以便打印报表时使用。

2、keyer：用于存储工作人员和图书馆管理员的用户名和密码及权限，以便工作人员或图书馆管理员进入相应的功能模块时进行验证用户的身份。

4.3.3数据库的实现

我选用MicrosoftSQLServer2000(企业版)数据库来进行数据库的逻辑设计。首先创建七个基本数据库表如表4-1－4-7所示，然后根据全局ER图，建立各个表之间的联系，如图4-8所示。

表4-1借阅者基本信息表的结构(User)

表4-2图书信息表的结构（Book）

表4-3图书类别信息表的结构（Class）

表4-4借阅者身份信息表的结构（ID）

表4-5借阅情况信息表的结构（Owner）

表4-6借阅情况临时存储信息表的结构（Ownertemp）

注：在owner表和ownertemp表中加入了索引字段，用来唯一标识一条借书记录，并且设置为标识，标识种子为1。

表4-7工作人员和管理员信息表的结构（Keyer）

图4-8数据库表间联系图

第五章图书管理系统应用程序设计

§5.1系统窗体模块组成

§5.2数据模块窗体的设置

在编写数据库应用程序时，经常要遇到这样的情况，即好多组件、窗体同时访问相同的数据源，如果为每一个组件或者窗体都设置一个数据源将是十分耗时的工件，而且要保证这些数据源的确是相同的也需花一番功夫。那么，能不能将这些数据源集中管理，最好是做成一个统一的模块，需要时就将该模块引入而不必直接操作数据源本身呢？数据模块（DataModule）是解决这个问题最好的答案。简单说来，数据模块是用来集中管理数据源的一个窗体，该窗体可被需要的地方随时引入。

但本人在开发这个系统时，开始使用了一下数据模块，但在使用过程中却碰到了一些问题。并且考虑这个系统使用到的TADOQuery控件比较多，如果使用数据控件可能会带来管理上的麻烦，如弄混各个数据控件的作用。还考虑到使用动态生成ADOQuery可能会更节省资源。所以在本人的系统中，开始做的第一个模块“借阅者个人模块”中还稍微使用了一下数据模块。但在后面做的两个模块中大多都是用动态生成ADOQuery来实现的。并且由于SQL语句是动态加入的所以datamodule中的控件也不会多。

§5.3启动画面的实现

启动画面是为了给用户一个良好的印像，加深软件的亲和力，没有实际的功能，在Form1窗体中加入了Image和Time组件。启动画面的窗体略，主要的源代码如下：

§5.4用户登录窗体的的实现

本窗体是为三种不同的用户（一般用户，工作人员，管理员）提供选择以进入不同的模块，满足不同用户的需求。源代码比较简单，略。

§5.5用户密码认证窗体的的实现

本窗体是为了让工作人员或图书馆管理员按照用户名和密码进行登录，并且跟据用户名检查Keyer表中的“权限”字段，以分辩进入图书馆管理人员模块还是进入工作人员模块。窗体界面、源代码如下

§5.6借阅者服务模块的实现

借阅者服务窗体的功能主要是图书的查询，个人借阅情况查看及个人部分信息的修改。界面图如下：

5.6.1图书查询功能的实现

在本系统中，任何人都有权限使用查询功能，不做任何限制。界面如下，

由于实现的查询功能有多种，如按图书编号、图书名称等字段进行完全体配查找和部分体配的模糊查找，还有按多个条件进行逻辑与或是逻辑或的多条件查找。其中实现的方法者差不多，所以只给出多条件查找的代码，如下：

5.6.2借阅者登录功能的实现

这个功能的实现与工作人员和管理人员登录功能实现的方法大致一样，并且还要简单。是从User表中查到到借阅证号与密码，看与用户输入的是否一致。如果一致，那么用户就可查看自已的借阅情况并维护自己的部分信息。源代码与借阅者登录界面都略。

5.6.3借阅者借阅情况功能的实现

当借阅者正确登录到系统后，此功能将被激活，使用户能查看到自身的借阅情况。在此系统中，信息的显示一般用ListView来实现，只在较少的情况下用到了DBgrid，因为我觉得ListView更好实现，并能使信息数据对用户的完全分离。

在这里跟据借阅者的不同要求实现借阅情况的查询，有检查所有的借阅情部、某本书的借阅情况、和根据已借阅天数的来查询。其中根椐借阅天数来查询更有代表性，有方式一和方式二。以下给出此功能的源代码

按借阅天数查询方式一

按借阅天数查询方式二

5.6.4借阅者个人资料维护功能的实现

此功能实现当前借阅者部份资料的修改，但借书证号和身份类别这样的信息不允许修改，这是图书馆管理员模块的功能。在此界面中点击修改按钮将出现“修改”窗体（Form8），点击修改密码按钮将出现groupbox8，在这里进行密码修改。关键源代码如下。

这里给出个人部分信息修改的源代码：

这里给出密码修改的源代码：

5.7工作人员－图书借阅/归还模块的实现

5.7.1工作人员进行图书借阅功能实现

在这个功能中，工作人员输入借阅者的借阅证号和所要借阅的图书的图书编号，然后点击借阅按钮就可进行图书借阅。考虑到实际中可能会出现只知图书名而不知图书编号的情况，在此界面下方加入了一个转换功能，可以把图书名称转换成图书编号，再进行图书借阅。

在借阅完成后会生借阅报表以便借阅者检查和确认，借阅报表的打印效果如下图，实现比较简单，略去实现过程。

5.7.2工作人员进行图书归还功能实现

在此功能中，工作人员根据借阅者的借书证号和归还的图书编号进行图书的归还工作。并且根据现实中可能会出现的只知图书名不知图书编号的归还情况，所以加入了按书籍名称进行归还的功能。这个功能是图书借阅功能中把图书名称转换成图书编号的一种改进方法，这样就不用如借阅功能中一样要先转换再借阅了。归还完成后，同样会打印出归还报表以便用户检查和确认。

5.8图书馆管理员模块的实现

5.8.1图书馆管理员图书管理功能的实现

在这个功能中可以在（＊图书编号）中输入图书编号，点查找按钮后就会在各个相应的组件中显示出信息，或按图书名称模糊查找到所要的记录，在各个相应的组件中显示第一条记录的信息，也可在下端的ListView组件中点击某一条记录，在各个相应的组件中也会显示所选记录的信息。在入库功能中只要不是相同的图书编号并且带＊号提示的字段不为空就可插入新的图书记录。删除则删除那些Book表中的图书记录，如果借出还可依用户要求连带删除owner表中的记录。因为图书修改与图书入库的功能与工作人员记录修改和工作人员记录添加的实现过程一样，所以下面仅给出删除功能的源代码，如下

5.8.2图书馆管理员工作人员和管理员管理功能的实现

在此功能中可以加入工作人员或是管理员，或是修改他们的密码、权限。

在此功能中如果选中ListView中的记录，则在右边相应的组件中显示出信息，并且管理员还可对这些记录进行修改或加入新的记录。并且也可以点删除按钮删除选中的一条或多条记录。删除功能与图书记录的删除一般，所以下面只给出添加与修改的实现过程。

5.8.3图书馆管理员修改图书类别及统记功能的实现

在此窗体中能对图书的类别进行删除，添加和修改，这模块的功能的实现过程与图书记录的删除，添加和修改一样的，但是这个窗体还能跟据图书类别进行统计，还可根据Book表和owner表统计出图书总数目，库存图书数目，借出图书数目及借阅过期的图书数目。在这里给出统计图书总数目，库存图书数目，借出图书数目及借阅过期的图书数目的实现过程中的几个函数和过程

5.8.4图书馆管理员借阅者管理功能的实现

查询借阅者可根据借阅者的借书证号或姓名或身份编号查找到借阅者的信息，也可以实行模糊查找，这个功能的实现与前面图书查找的实现过程一般，就不再详细说明。

5.8.5图书馆维护借阅者管理功能的实现

此功能能对借阅者信息进行查看添加、删除、修改。在这里给出刷新按钮的实现过程

5.8.6图书馆身份维护功能的实现

这一部分是对借阅者身份进行管理，能对身份进行添加、删除、修改。并且同样的在listview中选中某条或多条记录时会在相应的右边的组件中显示出信息。此功能实现过程与前面所叙有雷同，略。

5.8.7图书馆借阅者统计功能的实现

此功能按借阅者身份进行统计，得出具有某种身份的借阅者总数，此种身份的并借阅图书的借阅者数和所借阅的图书数，在下面给出实现过程。

5.8.8图书馆统计借阅过期记录功能的实现

打印出的借阅过期催还报表如下图所示：

此报表能显示按借书证号升序排列的借阅信息超过限定时限的信息，其中主要的SQL语句如下：

5.9系统信息显示的实现

显过本系统的信息，并且右边的字向上滚动显示，主要实现如下：

大数据如何入门

首先我们要了解Java语言和Linux操作系统，这两个是学习大数据的基础，学习的顺序不分前后。

大数据

Java ：只要了解一些基础即可，做大数据不需要很深的Java 技术，学java SE 就相当于有学习大数据基础。

Linux：因为大数据相关软件都是在Linux上运行的，所以Linux要学习的扎实一些，学好Linux对你快速掌握大数据相关技术会有很大的帮助，能让你更好的理解hadoop、hive、hbase、spark等大数据软件的运行环境和网络环境配置，能少踩很多坑，学会shell就能看懂脚本这样能更容易理解和配置大数据集群。还能让你对以后新出的大数据技术学习起来更快。

Hadoop：这是现在流行的大数据处理平台几乎已经成为大数据的代名词，所以这个是必学的。Hadoop里面包括几个组件HDFS、MapReduce和YARN，HDFS是存储数据的地方就像我们电脑的硬盘一样文件都存储在这个上面，MapReduce是对数据进行处理计算的，它有个特点就是不管多大的数据只要给它时间它就能把数据跑完，但是时间可能不是很快所以它叫数据的批处理。

Zookeeper：这是个万金油，安装Hadoop的HA的时候就会用到它，以后的Hbase也会用到它。它一般用来存放一些相互协作的信息，这些信息比较小一般不会超过1M，都是使用它的软件对它有依赖，对于我们个人来讲只需要把它安装正确，让它正常的run起来就可以了。

Mysql：我们学习完大数据的处理了，接下来学习学习小数据的处理工具mysql数据库，因为一会装hive的时候要用到，mysql需要掌握到什么层度那?你能在Linux上把它安装好，运行起来，会配置简单的权限，修改root的密码，创建数据库。这里主要的是学习SQL的语法，因为hive的语法和这个非常相似。

Sqoop：这个是用于把Mysql里的数据导入到Hadoop里的。当然你也可以不用这个，直接把Mysql数据表导出成文件再放到HDFS上也是一样的，当然生产环境中使用要注意Mysql的压力。

Hive：这个东西对于会SQL语法的来说就是神器，它能让你处理大数据变的很简单，不会再费劲的编写MapReduce程序。有的人说Pig那?它和Pig差不多掌握一个就可以了。

Oozie：既然学会Hive了，我相信你一定需要这个东西，它可以帮你管理你的Hive或者MapReduce、Spark脚本，还能检查你的程序是否执行正确，出错了给你发报警并能帮你重试程序，最重要的是还能帮你配置任务的依赖关系。我相信你一定会喜欢上它的，不然你看着那一大堆脚本，和密密麻麻的crond是不是有种想屎的感觉。

Hbase：这是Hadoop生态体系中的NOSQL数据库，他的数据是按照key和value的形式存储的并且key是唯一的，所以它能用来做数据的排重，它与MYSQL相比能存储的数据量大很多。所以他常被用于大数据处理完成之后的存储目的地。

Kafka：这是个比较好用的队列工具，队列是干吗的?排队买票你知道不?数据多了同样也需要排队处理，这样与你协作的其它同学不会叫起来，你干吗给我这么多的数据(比如好几百G的文件)我怎么处理得过来，你别怪他因为他不是搞大数据的，你可以跟他讲我把数据放在队列里你使用的时候一个个拿，这样他就不在抱怨了马上灰流流的去优化他的程序去了，因为处理不过来就是他的事情。而不是你给的问题。当然我们也可以利用这个工具来做线上实时数据的入库或入HDFS，这时你可以与一个叫Flume的工具配合使用，它是专门用来提供对数据进行简单处理，并写到各种数据接受方(比如Kafka)的。

Spark：它是用来弥补基于MapReduce处理数据速度上的缺点，它的特点是把数据装载到内存中计算而不是去读慢的要死进化还特别慢的硬盘。特别适合做迭代运算，所以算法流们特别稀饭它。它是用scala编写的。Java语言或者Scala都可以操作它，因为它们都是用JVM的。

我想用C#和sqlserver做一个多表的数据库程序，比如学生信息管理，怎么做，要让我学会基本操作？

摘要

本文主要阐述了外科医疗信息管理系统的设计思路、实现过程和实现方法。最初，我们从系统面向的用户着手，了解不同用户的各种需求，从而分析得出系统应具备的功能，并依次设计系统的模块结构和功能联系。在分析用户需求时，我们同时分析了系统管理的对象——即系统要管理的数据，把这些数据按照功能分类形成表，完成了数据库的设计。后台程序中数据库的接口也是按数据表的结构来实现的。

根据教学信息管理的特点，系统采用浏览器/服务器（B/S）模式[1]，运用了基于C#语言的ASP.NET技术，以SQLSERVER 2005数据库作为后台数据库，使用Visual Studio 2005开发前台页面，实现了对外科医疗信息方便、快捷的管理，不仅提高了外科医疗信息管理的效率，而且为医院工作人员之间信息的交流提供了一个便捷的平台。

系统实现的功能模块主要有：系统管理员模块，医生管理模块，护士管理模块，科室秘书管理模块，手术中管理模块。系统把这些功能模块有机的组织起来，已经具备了较高的实用价值。

关键字：信息管理系统, ASP.NET, C#

ABSTRACT

Something about how to design a Surgical Medical Management Information System that will be used in a hospital is mainly discussed in this paper. Also, the process and technique for carrying out this system are described detailed. At first, we make a survey about the requirements of the client who is the user of this system and analyze the system to see what function should be included. Lastly we devise relations between different functions and work out modules of this project. Based on analysis of the object to the system, we classify these data according to their function and complete designing of the database. Interface of database in background program is done based on the structure of datasheet.

According to Surgical Medical Management Information System, we decide that mold of this project should be B/S mold and use ASP.NET that based on C# language. The database we selected is SQL Server 2005 and the web is developed by Visual Studio 2005 in foreground. So it is convenient and fast to run basis instruction information and the monitor can be implemented with great efficiency. A convenient flat for communication between Staffs in the hospital also be provided.

Primary functional molds in this project are for Administrators module, Doctor Management module, Nurses management module, Secretary of office management module and Operation management module. Because these modules are organized as an organic whole this system has high utility.

KEY WORDS: Information Management System, ASP.NET, C#

目录

第一章 引言. 1

第二章 系统需求分析. 2

2.1 业务系统描述... 2

2.1.1 业务流程分析... 2

2.1.2 业务流程图... 3

2.2 可行性分析... 4

2.3MIS系统的目标... 4

2.4 项目开发计划... 5

第三章 概要设计. 5

3.1 系统目的... 5

3.2 系统构成图... 6

3.3 子系统清单... 8

3.4 系统ER图... 8

3.5 人员职责... 9

3.5.1系统管理员职责... 9

3.5.2 医生职责... 10

3.5.3 护士职责... 10

3.5.4 科室秘书职责... 10

3.6数据库设计... 11

3.6.1 实体描述... 11

3.6.2 联系描述... 12

3.6.3 数据库实现... 13

3.6.4 计算机系统配置方案的选择和设计... 17

3.6.5 系统总体安全性、可靠性方案与措施... 18

3.6.6 系统安全性方案和措施... 18

3.6.7 可靠性方案与措施... 19

第四章 详细设计. 20

4.1代码设计... 20

4.2 人机界面设计... 20

4.3 输入设计... 20

4.4 输出设计... 22

4.5 模块处理过程... 24

第五章 实施概况. 25

5.1 实施环境和工具... 25

5.1.1 计算机系统实施... 25

5.2 实施环境与工具的比较选择... 25

5.2.1 实施环境... 25

5.2.2 几种工具的特点及比较... 25

5.2.3 编程环境与工具... 26

5.2.4 数据准备概况... 27

5.3 系统测试概况... 27

5.3.1 系统测试的基本原则... 27

5.3.2 系统测试的方法... 28

5.4 历史数据备份、数据恢复... 28

5.4.1历史数据备份... 29

5.4.2 数据恢复... 29

5.5系统运行及维护概况... 30

5.5.1 系统运行概况... 30

5.5.2 系统维护概况... 30

第六章 小结. 32

6.1 系统功能和特点... 32

6.2 软件开发过程的特点和体会... 32

6.3系统评价及改进... 33

参考文献. 34

致 谢. 35

英文资料原文. 36

英文翻译中文. 43

第一章 引言 随着社会的发展，人们对健康越来越关注，医院的业务不断增长，处理越来越复杂，简单的人工经营管理，已无法满足医院的需要, 成为医院发展的瓶颈， 人们对医疗服务的要求也越来越高。传统的手工记录管理模式,病人信息繁杂，服务效率严重下降, 人工操作信息，流程容易漏、错信息，走错工作流程，人工记录效率低的问题无法避免，因此,如何提高服务水平、提高工作效率，成为迫待解决的问题。医院管理信息化不仅能提高医务人员的工作效率和医疗水平，而且能提高医院的服务质量和管理水平,因此，医院对管理信息系统有着强烈的需求。美国著名教授Morris.Collen于1988年曾著文为医院信息系统(HIS)下了如下定义：利用电子计算机和通讯设备，为医院所属各部门提供病人诊疗信息和行政管理信息的收集、存储、处理、提取和数据交换的能力，并满足所有授权用户的功能需求。开发医院外科管理信息系统(MIS)的目标就是立足医院应用实际，着眼院未来发展，以强化医院外科部门管理，提高医疗质量，方便医院员工管理病人手术信息，提高医院的服务效率和服务质量，设计一套符合功能规范要求，安全稳定，操作简便的医院外科管理信息系统，为医院外科部门的管理提供一套全方位的解决方案。

第二章 系统需求分析 管理信息系统是一门新兴的、集管理科学、信息科学、系统科学及计算机科学为一体的综合性学科，研究的是信息管理活动的全过程，以便有效的管理信息，提供各类管理决策信息，辅助企业进行现代化管理。管理信息系统它具备数据处理、计划、控制、预测和辅助决策功能，具体作用如下5点内容：

（1）用统一标准处理和提供信息，排除使用前后矛盾的不完整的数据。

（2）完整、及时提供在管理及决策中需要的数据。

（3）利用指定的数据关系分析数据，客观预测未来。

（4）向各级管理机构提供不同详细程度的报告，缩短分析和解释的时间。

（5）用最低的费用最短的时间提供尽可能精确、可靠的信息，以便使决策者选择最佳的实施方案，以提高企业的经济效益。

2.1 业务系统描述 医院的外科医疗水平和服务质量是衡量一个医院标准，仅靠增加基础设施投入和脱离信息化的管理方法的改进，是不能从根本上提高医院部门的工作效率、服务质量和管理水平的。MIS的目的就是减轻业务劳动强度，工作职责合理配置，减少了差错，科学管理外科流程，节省人力，提高医院的财、物管理水平，工作效率，增加经济效益，方便医院职工对病人信息的控制，提高医院外科部门的服务效率和服务质量，提高医院的外科部门医疗质量和管理水平。所以，一个现代化的适应社会发展需要的医院外科部门，除了具备一流的医疗队伍、一流的服务设施之外，还应具备一流的管理信息系统。

文章出处：

很不错的网站，里面有很多免费的资料

开题报告：

题目列表：

不行就定做一个吧

定做的质量要好得多

摘要翻译

In this information society, the computer formidable function hadrealized by the people, its application seeped to society's eachdomain, the computer especially is widespread in the informationmanagement aspect application, it has provided the quick informationprocessing method for the user, greatly enhanced people's workingefficiency. The thing flows the information management system is the typicalinformation management system, it is the collection moderntransportation, stores in a storehouse, matches delivers, thetransporting, the packing, the product circulation and the informationmanagement to a body network system, this management system managementsystem take the Internet technology as a foundation, created one kindfor the transportation enterprise to be brand-new not the region, thetime restraint information exchange, sharing and the cooperation way,this new way has brought the new opportunity to the enterprise. Thiskind of system may realize through the many kinds of technologies,current this kind of management software generally uses the C/Sstructure, the C/S structure is puts the material on the server,installs the application procedure and the database client dispositionon the client, like this processed the service work paid by time to doquite troublesomely, greatly reduces the working efficiency, thematerial security also could not obtain the guarantee. Based on theabove all sorts of reasons, this system uses Visual C# Net to take thedevelopment kit, develops the system the B/S structure, uses SQLServer 2,000 to take the backstage database application procedure,like this not only convenient customer use, moreover also hadguaranteed the material security, uses the software engineering thedevelopment principle, rests on the software flow process standard,according to process development and so on demand analysis, outlinedesign, detailed design, procedure code, test, software application,software maintenance. This article altogether is divided four chapters, the first chaptermainly introduced this topic research significance and the goal;Second chapter is the system analysis, feasible, service flow, dataflow analysis and so on; Third chapter is the system design, mainlyincludes the database design and the module functional design; Lastthe chapter is the software test. This system provides the formidable data operation function for theuser, the contact surface friendly, the use simple convenient, thesystem maintenance cost is low.

求用SQL和VB做的图书馆管理系统的设计!

摘 要

图书馆管理系统是一些单位不可缺少的部分,书籍是人类不可缺少的精神食粮，尤其对一些学校来说，尤其重要。所以图书馆管理系统应该能够为用户提供充足的信息和快捷的查询手段。但一直以来人们使用传统人工的方式管理图书、期刊、试卷合订本等，这种管理方式存在着许多缺点,如:效率低、保密性差,另外时间一长,将产生大量的文件和数据,这对于查找、更新和维护都带来了不少的困难。

随着科学技术的不断提高,计算机科学日渐成熟,其强大的功能已为人们深刻认识,它已进入人类社会的各个领域并发挥着越来越重要的作用。作为计算机应用的一部分,使用计算机对图书资源信息进行管理,具有着手工管理所无法比拟的优点.例如:检索迅速、查找方便、可靠性高、存储量大、保密性好、寿命长、成本低等。这些优点能够极大地提高图书馆管理的效率,也是企业、学校的科学化、正规化管理,与世界接轨的重要条件。

因此，开发这样一套管理软件成为很有必要的事情,在下面的各章中我们将以开发一套图书馆管理系统为例,谈谈其开发过程和所涉及到的问题及解决方法。

关键字:图书馆,借书,还书,VB,sqlserver2000

Abstract

The library management system is some unit essential part, the books is humanity's essential spiritual food, especially to some schools, especially important.Therefore the library management system should be able to provide the sufficient information and the quick inquiry method for the user.But the people have since always used the traditional artificial way management books, the periodical, the examination paper one-volume edition and so on, this management way has many shortcomings, for example: The efficiency low, the secrecy is bad, moreover time one long, will produce the massive documents and the data, this regarding the search, the renewal and the maintenance has all brought many difficulties.

Along with the science and technology unceasing enhancement, the computer science is mature day after day, its formidable function had known profoundly for the people, it entered the human society each domain and is playing the more and more vital role.As a computer application part, uses the computer to carry on the management for the books resources information, is having the merit which the manual administration center is unable to compare. For example: Retrieves, the search rapidly convenient, the reliability high, the reserves big, the secrecy good, the life long, the cost low status.These merits can enhance the library management enormously the efficiency, also is the enterprise, the school scientific style, the standardized management, with world trail connection important condition.

Therefore, develops this kind of set of management software to become has the necessity matter very much, in following each chapter of we take will develop a set of library management system as the example, chats question and solution which its performance history and will involve.

Key words: Library, taking advantage of book, but also book, VB,sqlserver2000

目 录

摘 要 2

Abstract 3

第一章 前言 5

1.1 课题背景及意义 6

1.2 课题的来源 6

1.3 国内外发展概况 7

1.4 研究内容 7

1.5 开发工具 7

第二章 系统开发环境介绍 8

2.1 Visual Basic的简介 8

2.2 SQL Server 2000 简介 9

第三章 需求分析 11

3.1 系统功能分析 11

3.2 系统功能模块 12

3.2.1 “借阅管理”模块： 12

3.2.2 “书籍管理”模块： 12

3.2.3 “读者管理”模块： 12

3.2.4 “系统管理”模块： 13

3.3 系统结构图 13

3.4 数据库关系图 14

3.5 系统E-R图 14

3.6 数据库设计 19

第四章 系统总体设计 22

4.1 界面设计 22

4.2 系统登陆模块 22

4.3 图书添加信息 25

4.4 读者信息模块 29

4.5 借阅图书模块 31

4.6 还书信息模块 36

第五章 系统测试 39

5．1测试项目 39

5．2测试方法 40

第六章 小 结 42

参考文献 43

大数据云计算好不好学习？

说一下大数据的四个典型的特征：

数据量大；

数据类型繁多，（结构化、非结构化文本、日志、视频、图片、地理位置等）；

商业价值高，但需要在海量数据之上，通过数据分析与机器学习快速的挖掘出来；

处理时效性高，海量数据的处理需求不再局限在离线计算当中。

第一章：Hadoop

在大数据存储和计算中Hadoop可以算是开山鼻祖，现在大多开源的大数据框架都依赖Hadoop或者与它能很好的兼容。

关于Hadoop，你至少需要搞清楚这些是什么：

自己学会如何搭建Hadoop，先让它跑起来。建议先使用安装包命令行安装，不要使用管理工具安装。现在都用Hadoop 2.0。

目录操作命令；上传、下载文件命令；提交运行MapReduce示例程序；打开Hadoop WEB界面，查看Job运行状态，查看Job运行日志。知道Hadoop的系统日志在哪里。

以上完成之后，就应该去了解他们的原理了：

MapReduce：如何分而治之；HDFS：数据到底在哪里，究竟什么才是副本；

Yarn到底是什么，它能干什么；NameNode到底在干些什么；Resource Manager到底在干些什么；

如果有合适的学习网站，视频就去听课，如果没有或者比较喜欢书籍，也可以啃书。当然最好的方法是先去搜索出来这些是干什么的，大概有了概念之后，然后再去听视频。

第二章：更高效的WordCount

在这里，一定要学习SQL，它会对你的工作有很大的帮助。

就像是你写（或者抄）的WordCount一共有几行代码？但是你用SQL就非常简单了，例如：

SELECT word,COUNT(1) FROM wordcount GROUP BY word；

这便是SQL的魅力，编程需要几十行，甚至上百行代码，而SQL一行搞定；使用SQL处理分析Hadoop上的数据，方便、高效、易上手、更是趋势。不论是离线计算还是实时计算，越来越多的大数据处理框架都在积极提供SQL接口。

另外就是SQL On Hadoop之Hive于大数据而言一定要学习的。

什么是Hive？

官方解释如下：The Apache Hive data warehouse software facilitates reading, writing, and managing large datasets residing in distributed storage and queried using SQL syntax。

为什么说Hive是数据仓库工具，而不是数据库工具呢？

有的朋友可能不知道数据仓库，数据仓库是逻辑上的概念，底层使用的是数据库，数据仓库中的数据有这两个特点：最全的历史数据（海量）、相对稳定的；所谓相对稳定，指的是数据仓库不同于业务系统数据库，数据经常会被更新，数据一旦进入数据仓库，很少会被更新和删除，只会被大量查询。而Hive，也是具备这两个特点，因此，Hive适合做海量数据的数据仓库工具，而不是数据库工具。

了解了它的作用之后，就是安装配置Hive的环节，当可以正常进入Hive命令行是，就是安装配置成功了。

了解Hive是怎么工作的

学会Hive的基本命令：

创建、删除表；加载数据到表；下载Hive表的数据；

MapReduce的原理（还是那个经典的题目，一个10G大小的文件，给定1G大小的内存，如何使用Java程序统计出现次数最多的10个单词及次数）；

HDS读写数据的流程；向HDFS中PUT数据；从HDFS中下载数据；

自己会写简单的MapReduce程序，运行出现问题，知道在哪里查看日志；

会写简单的Select、Where、group by等SQL语句；

Hive SQL转换成MapReduce的大致流程；

Hive中常见的语句：创建表、删除表、往表中加载数据、分区、将表中数据下载到本地；

从上面的学习，你已经了解到，HDFS是Hadoop提供的分布式存储框架，它可以用来存储海量数据，MapReduce是Hadoop提供的分布式计算框架，它可以用来统计和分析HDFS上的海量数据，而Hive则是SQL On Hadoop，Hive提供了SQL接口，开发人员只需要编写简单易上手的SQL语句，Hive负责把SQL翻译成MapReduce，提交运行。

此时，你的”大数据平台”是这样的：那么问题来了，海量数据如何到HDFS上呢？

第三章：数据采集

把各个数据源的数据采集到Hadoop上。

3.1 HDFS PUT命令

这个在前面你应该已经使用过了。put命令在实际环境中也比较常用，通常配合shell、python等脚本语言来使用。建议熟练掌握。

3.2 HDFS API

HDFS提供了写数据的API，自己用编程语言将数据写入HDFS，put命令本身也是使用API。

实际环境中一般自己较少编写程序使用API来写数据到HDFS，通常都是使用其他框架封装好的方法。比如：Hive中的INSERT语句，Spark中的saveAsTextfile等。建议了解原理，会写Demo。

3.3 Sqoop

Sqoop是一个主要用于Hadoop/Hive与传统关系型数据库，Oracle、MySQL、SQLServer等之间进行数据交换的开源框架。就像Hive把SQL翻译成MapReduce一样，Sqoop把你指定的参数翻译成MapReduce，提交到Hadoop运行，完成Hadoop与其他数据库之间的数据交换。

自己下载和配置Sqoop（建议先使用Sqoop1，Sqoop2比较复杂）。了解Sqoop常用的配置参数和方法。

使用Sqoop完成从MySQL同步数据到HDFS；使用Sqoop完成从MySQL同步数据到Hive表；如果后续选型确定使用Sqoop作为数据交换工具，那么建议熟练掌握，否则，了解和会用Demo即可。

3.4 Flume

Flume是一个分布式的海量日志采集和传输框架，因为“采集和传输框架”，所以它并不适合关系型数据库的数据采集和传输。Flume可以实时的从网络协议、消息系统、文件系统采集日志，并传输到HDFS上。

因此，如果你的业务有这些数据源的数据，并且需要实时的采集，那么就应该考虑使用Flume。

下载和配置Flume。使用Flume监控一个不断追加数据的文件，并将数据传输到HDFS；Flume的配置和使用较为复杂，如果你没有足够的兴趣和耐心，可以先跳过Flume。

3.5 阿里开源的DataX

现在DataX已经是3.0版本，支持很多数据源。

第四章：把Hadoop上的数据搞到别处去

Hive和MapReduce进行分析了。那么接下来的问题是，分析完的结果如何从Hadoop上同步到其他系统和应用中去呢？其实，此处的方法和第三章基本一致的。

HDFS GET命令：把HDFS上的文件GET到本地。需要熟练掌握。

HDFS API：同3.2.

Sqoop：同3.3.使用Sqoop完成将HDFS上的文件同步到MySQL；使用Sqoop完成将Hive表中的数据同步到MySQL。

如果你已经按照流程认真完整的走了一遍，那么你应该已经具备以下技能和知识点：

知道如何把已有的数据采集到HDFS上，包括离线采集和实时采集；

知道sqoop是HDFS和其他数据源之间的数据交换工具；

知道flume可以用作实时的日志采集。

从前面的学习，对于大数据平台，你已经掌握的不少的知识和技能，搭建Hadoop集群，把数据采集到Hadoop上，使用Hive和MapReduce来分析数据，把分析结果同步到其他数据源。

接下来的问题来了，Hive使用的越来越多，你会发现很多不爽的地方，特别是速度慢，大多情况下，明明我的数据量很小，它都要申请资源，启动MapReduce来执行。

第五章：SQL

其实大家都已经发现Hive后台使用MapReduce作为执行引擎，实在是有点慢。因此SQL On Hadoop的框架越来越多，按我的了解，最常用的按照流行度依次为SparkSQL、Impala和Presto.这三种框架基于半内存或者全内存，提供了SQL接口来快速查询分析Hadoop上的数据。

我们目前使用的是SparkSQL，至于为什么用SparkSQL，原因大概有以下吧：使用Spark还做了其他事情，不想引入过多的框架；Impala对内存的需求太大，没有过多资源部署。

5.1 关于Spark和SparkSQL

什么是Spark，什么是SparkSQL。

Spark有的核心概念及名词解释。

SparkSQL和Spark是什么关系，SparkSQL和Hive是什么关系。

SparkSQL为什么比Hive跑的快。

5.2 如何部署和运行SparkSQL

Spark有哪些部署模式？

如何在Yarn上运行SparkSQL？

使用SparkSQL查询Hive中的表。Spark不是一门短时间内就能掌握的技术，因此建议在了解了Spark之后，可以先从SparkSQL入手，循序渐进。

关于Spark和SparkSQL，如果你认真完成了上面的学习和实践，此时，你的”大数据平台”应该是这样的。

第六章：数据多次利用

请不要被这个名字所诱惑。其实我想说的是数据的一次采集、多次消费。

在实际业务场景下，特别是对于一些监控日志，想即时的从日志中了解一些指标（关于实时计算，后面章节会有介绍），这时候，从HDFS上分析就太慢了，尽管是通过Flume采集的，但Flume也不能间隔很短就往HDFS上滚动文件，这样会导致小文件特别多。

为了满足数据的一次采集、多次消费的需求，这里要说的便是Kafka。

关于Kafka：什么是Kafka？Kafka的核心概念及名词解释。

如何部署和使用Kafka：使用单机部署Kafka，并成功运行自带的生产者和消费者例子。使用Java程序自己编写并运行生产者和消费者程序。Flume和Kafka的集成，使用Flume监控日志，并将日志数据实时发送至Kafka。

如果你认真完成了上面的学习和实践，此时，你的”大数据平台”应该是这样的。

这时，使用Flume采集的数据，不是直接到HDFS上，而是先到Kafka，Kafka中的数据可以由多个消费者同时消费，其中一个消费者，就是将数据同步到HDFS。

如果你已经认真完整的学习了以上的内容，那么你应该已经具备以下技能和知识点：

为什么Spark比MapReduce快。

使用SparkSQL代替Hive，更快的运行SQL。

使用Kafka完成数据的一次收集，多次消费架构。

自己可以写程序完成Kafka的生产者和消费者。

从前面的学习，你已经掌握了大数据平台中的数据采集、数据存储和计算、数据交换等大部分技能，而这其中的每一步，都需要一个任务（程序）来完成，各个任务之间又存在一定的依赖性，比如，必须等数据采集任务成功完成后，数据计算任务才能开始运行。如果一个任务执行失败，需要给开发运维人员发送告警，同时需要提供完整的日志来方便查错。

第七章：越来越多的分析任务

不仅仅是分析任务，数据采集、数据交换同样是一个个的任务。这些任务中，有的是定时触发，有点则需要依赖其他任务来触发。当平台中有几百上千个任务需要维护和运行时候，仅仅靠crontab远远不够了，这时便需要一个调度监控系统来完成这件事。调度监控系统是整个数据平台的中枢系统，类似于AppMaster，负责分配和监控任务。

7.1 Apache Oozie

Oozie是什么？有哪些功能？

Oozie可以调度哪些类型的任务（程序）？

Oozie可以支持哪些任务触发方式？

安装配置Oozie。

7.2 其他开源的任务调度系统

Azkaban，light-task-scheduler，Zeus，等等。另外，我这边是之前单独开发的任务调度与监控系统，具体请参考《大数据平台任务调度与监控系统》。

第八章：我的数据要实时

在第六章介绍Kafka的时候提到了一些需要实时指标的业务场景，实时基本可以分为绝对实时和准实时，绝对实时的延迟要求一般在毫秒级，准实时的延迟要求一般在秒、分钟级。对于需要绝对实时的业务场景，用的比较多的是Storm，对于其他准实时的业务场景，可以是Storm，也可以是Spark Streaming。当然，如果可以的话，也可以自己写程序来做。

8.1 Storm

什么是Storm？有哪些可能的应用场景？

Storm由哪些核心组件构成，各自担任什么角色？

Storm的简单安装和部署。

自己编写Demo程序，使用Storm完成实时数据流计算。

8.2 Spark Streaming

什么是Spark Streaming，它和Spark是什么关系？

Spark Streaming和Storm比较，各有什么优缺点？

使用Kafka + Spark Streaming，完成实时计算的Demo程序。

至此，你的大数据平台底层架构已经成型了，其中包括了数据采集、数据存储与计算（离线和实时）、数据同步、任务调度与监控这几大模块。接下来是时候考虑如何更好的对外提供数据了。

第九章：数据要对外

通常对外（业务）提供数据访问，大体上包含以下方面。

离线：比如，每天将前一天的数据提供到指定的数据源（DB、FILE、FTP）等；离线数据的提供可以采用Sqoop、DataX等离线数据交换工具。

实时：比如，在线网站的推荐系统，需要实时从数据平台中获取给用户的推荐数据，这种要求延时非常低（50毫秒以内）。根据延时要求和实时数据的查询需要，可能的方案有：HBase、Redis、MongoDB、ElasticSearch等。

OLAP分析：OLAP除了要求底层的数据模型比较规范，另外，对查询的响应速度要求也越来越高，可能的方案有：Impala、Presto、SparkSQL、Kylin。如果你的数据模型比较规模，那么Kylin是最好的选择。

即席查询：即席查询的数据比较随意，一般很难建立通用的数据模型，因此可能的方案有：Impala、Presto、SparkSQL。

这么多比较成熟的框架和方案，需要结合自己的业务需求及数据平台技术架构，选择合适的。原则只有一个：越简单越稳定的，就是最好的。