nosqlqueue的简单介绍

Redis的主要功能？

缓存：这应该是 Redis 最主要的功能了，也是大型网站必备机制，合理地使用缓存不仅可以加 快数据的访问速度，而且能够有效地降低后端数据源的压力。

创新互联技术团队十余年来致力于为客户提供网站建设、成都网站制作、成都品牌网站建设、营销型网站建设、搜索引擎SEO优化等服务。经过多年发展，公司拥有经验丰富的技术团队，先后服务、推广了成百上千家网站，包括各类中小企业、企事单位、高校等机构单位。

共享Session：对于一些依赖 session 功能的服务来说，如果需要从单机变成集群的话，可以选择 redis 来统一管理 session。消息队列系统：消息队列系统可以说是一个大型网站的必备基础组件，因为其具有业务 解耦、非实时业务削峰等特性。Redis提供了发布订阅功能和阻塞队列的功 能，虽然和专业的消息队列比还不够足够强大，但是对于一般的消息队列功能基本可以满足。比如在分布式爬虫系统中，使用 redis 来统一管理 url队列。

分布式锁：在分布式服务中。可以利用Redis的setnx功能来编写分布式的锁，虽然这个可能不是太常用。 当然还有诸如排行榜、点赞功能都可以使用 Redis 来实现，但是 Redis 也不是什么都可以做，比如数据量特别大时，不适合 Redis，我们知道 Redis 是基于内存的，虽然内存很便宜，但是如果你每天的数据量特别大，比如几亿条的用户行为日志数据，用 Redis 来存储的话，成本相当的高。

并发量超过队列最大值，如何解决？

可以通过Redis解决并发问题

解决方式一：将Redis连接池化

首先，Redis也归属于数据库范凑，即便它是NoSQL类型，依然为C/S结构模式。客户端每次请求都需要建立数据库连接，在多客户端请求模式下服务端与客户端连接频繁将导致系列阻塞、超时等等系列问题。学过关系型数据库的朋友也知道，关系型数据库解决方式是采用连接池方式解决多请求连接问题。同样，Redis数据库也同理，建立友好的连接数量让客户端与服务端保持一定数额的连接量，当客户端需要连接时，能直接从连接池中获取连接，然后直接访问Redis服务端。

解决方式二：执行关键读写时添加内部锁

软件开发工程师可以在关键读写业务地方添加内部锁方式解决Redis高并发问题。常用并发锁的地方有：

set方式；

setnx方式；

setnx getset方式；

具体的执行方式需要结合自身项目业务来实现Redis并发加锁、解锁代码，但这里提醒大家，需要对线程内容有一定熟悉了解才将该方式写的代码投入到生产环境去 ，因为锁的不合理使用会导致更大问题出现，比如死锁问题。（后期有时间笔者会针对性的写一遍该部分博客文章）

当然还有更多Redis并发问题解决方案，比如Lua脚本等等，这里就不一一列举了，软件工程师需要切合自身项目业务选择合理的方式。好了，九点钟了，就不继续吹牛了，祝大家工作愉快！（笔者已将本文整理PDF文档，需要的可私信“Redis高并发问题解决方案”，笔者第一时间私发）

高分可追加~为实现webchat功能的消息队列，大家来帮帮忙！！

unreadQueue中的消息是否也可以定时存入库，不可能一直放在内存吧，放内存的目的是为了减少数据库交互次数

在tomcat关闭前也应该把两个队列中没有存入数据库的存入吧（和数据库定时同步）

如果可以那么在查看记录，肯定得即要查库，又要查Queue了

如果用了缓存，那么看看消息量大小制定合适的时间点同步，SQL插入好像不好怎么优化，至少你得用预编译的Statement吧，用存储过程当然会比较快，如果你不联合查询和多表插入的话可能差不多。

消息中间件（一）MQ详解及四大MQ比较

一、消息中间件相关知识

1、概述

消息队列已经逐渐成为企业IT系统内部通信的核心手段。它具有低耦合、可靠投递、广播、流量控制、最终一致性等一系列功能，成为异步RPC的主要手段之一。当今市面上有很多主流的消息中间件，如老牌的ActiveMQ、RabbitMQ，炙手可热的Kafka，阿里巴巴自主开发RocketMQ等。

2、消息中间件的组成

2.1 Broker

消息服务器，作为server提供消息核心服务

2.2 Producer

消息生产者，业务的发起方，负责生产消息传输给broker，

2.3 Consumer

消息消费者，业务的处理方，负责从broker获取消息并进行业务逻辑处理

2.4 Topic

2.5 Queue

2.6 Message

消息体，根据不同通信协议定义的固定格式进行编码的数据包，来封装业务数据，实现消息的传输

3 消息中间件模式分类

3.1 点对点

PTP点对点:使用queue作为通信载体

说明：

消息生产者生产消息发送到queue中，然后消息消费者从queue中取出并且消费消息。

消息被消费以后，queue中不再存储，所以消息消费者不可能消费到已经被消费的消息。 Queue支持存在多个消费者，但是对一个消息而言，只会有一个消费者可以消费。

说明：

queue实现了负载均衡，将producer生产的消息发送到消息队列中，由多个消费者消费。但一个消息只能被一个消费者接受，当没有消费者可用时，这个消息会被保存直到有一个可用的消费者。

4 消息中间件的优势

4.1 系统解耦

交互系统之间没有直接的调用关系，只是通过消息传输，故系统侵入性不强，耦合度低。

4.2 提高系统响应时间

例如原来的一套逻辑，完成支付可能涉及先修改订单状态、计算会员积分、通知物流配送几个逻辑才能完成；通过MQ架构设计，就可将紧急重要（需要立刻响应）的业务放到该调用方法中，响应要求不高的使用消息队列，放到MQ队列中，供消费者处理。

4.3 为大数据处理架构提供服务

通过消息作为整合，大数据的背景下，消息队列还与实时处理架构整合，为数据处理提供性能支持。

4.4 Java消息服务——JMS

Java消息服务（Java Message Service，JMS）应用程序接口是一个Java平台中关于面向消息中间件（MOM）的API，用于在两个应用程序之间，或分布式系统中发送消息，进行异步通信。

5 消息中间件应用场景

5.1 异步通信

有些业务不想也不需要立即处理消息。消息队列提供了异步处理机制，允许用户把一个消息放入队列，但并不立即处理它。想向队列中放入多少消息就放多少，然后在需要的时候再去处理它们。

5.2 解耦

降低工程间的强依赖程度，针对异构系统进行适配。在项目启动之初来预测将来项目会碰到什么需求，是极其困难的。通过消息系统在处理过程中间插入了一个隐含的、基于数据的接口层，两边的处理过程都要实现这一接口，当应用发生变化时，可以独立的扩展或修改两边的处理过程，只要确保它们遵守同样的接口约束。

5.3 冗余

有些情况下，处理数据的过程会失败。除非数据被持久化，否则将造成丢失。消息队列把数据进行持久化直到它们已经被完全处理，通过这一方式规避了数据丢失风险。许多消息队列所采用的”插入-获取-删除”范式中，在把一个消息从队列中删除之前，需要你的处理系统明确的指出该消息已经被处理完毕，从而确保你的数据被安全的保存直到你使用完毕。

5.4 扩展性

因为消息队列解耦了你的处理过程，所以增大消息入队和处理的频率是很容易的，只要另外增加处理过程即可。不需要改变代码、不需要调节参数。便于分布式扩容。

5.5 过载保护

在访问量剧增的情况下，应用仍然需要继续发挥作用，但是这样的突发流量无法提取预知；如果以为了能处理这类瞬间峰值访问为标准来投入资源随时待命无疑是巨大的浪费。使用消息队列能够使关键组件顶住突发的访问压力，而不会因为突发的超负荷的请求而完全崩溃。

5.6 可恢复性

系统的一部分组件失效时，不会影响到整个系统。消息队列降低了进程间的耦合度，所以即使一个处理消息的进程挂掉，加入队列中的消息仍然可以在系统恢复后被处理。

5.7 顺序保证

在大多使用场景下，数据处理的顺序都很重要。大部分消息队列本来就是排序的，并且能保证数据会按照特定的顺序来处理。

5.8 缓冲

在任何重要的系统中，都会有需要不同的处理时间的元素。消息队列通过一个缓冲层来帮助任务最高效率的执行，该缓冲有助于控制和优化数据流经过系统的速度。以调节系统响应时间。

5.9 数据流处理

分布式系统产生的海量数据流，如：业务日志、监控数据、用户行为等，针对这些数据流进行实时或批量采集汇总，然后进行大数据分析是当前互联网的必备技术，通过消息队列完成此类数据收集是最好的选择。

6 消息中间件常用协议

6.1 AMQP协议

AMQP即Advanced Message Queuing Protocol,一个提供统一消息服务的应用层标准高级消息队列协议,是应用层协议的一个开放标准,为面向消息的中间件设计。基于此协议的客户端与消息中间件可传递消息，并不受客户端/中间件不同产品，不同开发语言等条件的限制。

优点：可靠、通用

6.2 MQTT协议

MQTT（Message Queuing Telemetry Transport，消息队列遥测传输）是IBM开发的一个即时通讯协议，有可能成为物联网的重要组成部分。该协议支持所有平台，几乎可以把所有联网物品和外部连接起来，被用来当做传感器和致动器（比如通过Twitter让房屋联网）的通信协议。

优点：格式简洁、占用带宽小、移动端通信、PUSH、嵌入式系统

6.3 STOMP协议

STOMP（Streaming Text Orientated Message Protocol）是流文本定向消息协议，是一种为MOM(Message Oriented Middleware，面向消息的中间件)设计的简单文本协议。STOMP提供一个可互操作的连接格式，允许客户端与任意STOMP消息代理（Broker）进行交互。

优点：命令模式（非topic\queue模式）

6.4 XMPP协议

XMPP（可扩展消息处理现场协议，Extensible Messaging and Presence Protocol）是基于可扩展标记语言（XML）的协议，多用于即时消息（IM）以及在线现场探测。适用于服务器之间的准即时操作。核心是基于XML流传输，这个协议可能最终允许因特网用户向因特网上的其他任何人发送即时消息，即使其操作系统和浏览器不同。

优点：通用公开、兼容性强、可扩展、安全性高，但XML编码格式占用带宽大

6.5 其他基于TCP/IP自定义的协议

有些特殊框架（如：redis、kafka、zeroMq等）根据自身需要未严格遵循MQ规范，而是基于TCP\IP自行封装了一套协议，通过网络socket接口进行传输，实现了MQ的功能。

7 常见消息中间件MQ介绍

7.1 RocketMQ

阿里系下开源的一款分布式、队列模型的消息中间件，原名Metaq，3.0版本名称改为RocketMQ，是阿里参照kafka设计思想使用java实现的一套mq。同时将阿里系内部多款mq产品（Notify、metaq）进行整合，只维护核心功能，去除了所有其他运行时依赖，保证核心功能最简化，在此基础上配合阿里上述其他开源产品实现不同场景下mq的架构，目前主要多用于订单交易系统。

具有以下特点：

官方提供了一些不同于kafka的对比差异：

7.2 RabbitMQ

使用Erlang编写的一个开源的消息队列，本身支持很多的协议：AMQP，XMPP, SMTP,STOMP，也正是如此，使的它变的非常重量级，更适合于企业级的开发。同时实现了Broker架构，核心思想是生产者不会将消息直接发送给队列，消息在发送给客户端时先在中心队列排队。对路由(Routing)，负载均衡(Load balance)、数据持久化都有很好的支持。多用于进行企业级的ESB整合。

7.3 ActiveMQ

Apache下的一个子项目。使用Java完全支持JMS1.1和J2EE 1.4规范的 JMS Provider实现，少量代码就可以高效地实现高级应用场景。可插拔的传输协议支持，比如：in-VM, TCP, SSL, NIO, UDP, multicast, JGroups and JXTA transports。RabbitMQ、ZeroMQ、ActiveMQ均支持常用的多种语言客户端 C++、Java、.Net,、Python、 Php、 Ruby等。

7.4 Redis

使用C语言开发的一个Key-Value的NoSQL数据库，开发维护很活跃，虽然它是一个Key-Value数据库存储系统，但它本身支持MQ功能，所以完全可以当做一个轻量级的队列服务来使用。对于RabbitMQ和Redis的入队和出队操作，各执行100万次，每10万次记录一次执行时间。测试数据分为128Bytes、512Bytes、1K和10K四个不同大小的数据。实验表明：入队时，当数据比较小时Redis的性能要高于RabbitMQ，而如果数据大小超过了10K，Redis则慢的无法忍受；出队时，无论数据大小，Redis都表现出非常好的性能，而RabbitMQ的出队性能则远低于Redis。

7.5 Kafka

Apache下的一个子项目，使用scala实现的一个高性能分布式Publish/Subscribe消息队列系统，具有以下特性：

7.6 ZeroMQ

号称最快的消息队列系统，专门为高吞吐量/低延迟的场景开发，在金融界的应用中经常使用，偏重于实时数据通信场景。ZMQ能够实现RabbitMQ不擅长的高级/复杂的队列，但是开发人员需要自己组合多种技术框架，开发成本高。因此ZeroMQ具有一个独特的非中间件的模式，更像一个socket library，你不需要安装和运行一个消息服务器或中间件，因为你的应用程序本身就是使用ZeroMQ API完成逻辑服务的角色。但是ZeroMQ仅提供非持久性的队列，如果down机，数据将会丢失。如：Twitter的Storm中使用ZeroMQ作为数据流的传输。

ZeroMQ套接字是与传输层无关的：ZeroMQ套接字对所有传输层协议定义了统一的API接口。默认支持 进程内(inproc) ，进程间(IPC) ，多播，TCP协议，在不同的协议之间切换只要简单的改变连接字符串的前缀。可以在任何时候以最小的代价从进程间的本地通信切换到分布式下的TCP通信。ZeroMQ在背后处理连接建立，断开和重连逻辑。

特性：

二、主要消息中间件的比较

大数据培训课程安排有哪些，深圳大数据培训哪家好

下面是以道教育大数据培训开发课程，可以参考

第一阶段 WEB 开发基础

HTML基础

1、Html基本介绍

2、HTML语法规范

3、基本标签介绍

4、HTML编辑器/文本文档/WebStrom/elipse

5、HTML元素和属性

6、基本的HTML元素

6.1 标题

6.2 段落

6.3 样式和style属性

6.3 链接 a

6.4 图像 img

6.5 表格 table

6.6 列表 ul/ol/dl

7、 HTML注释

8、表单介绍

9、Table标签

10、DIV布局介绍

11、HTML列表详解

HTML布局和Bootstrap

1、 HTML块元素（block）和行内元素(inline)

2、使用div实现网页布局

3、响应式WEB设计（Responsive Web Design）

4、使用bootstrap实现响应式布局

HTML表单元素

1、HTML表单 form

2、HTML表单元素

3、 HTML input的类型 type

4、 Html input的属性

CSS基础

1、CSS简介及基本语法

2、在HTML文档中使用CSS

3、CSS样式

4、CSS选择器

5、盒子模型

6、布局及定位

CSS高级/CSS3

1、尺寸和对齐

2、分类（clear/cursor/display/float/position/visibility）

3、导航栏

4、图片库

5、图片透明

6、媒介类型 @media

7、CSS3

8、CSS3动画效果

JavaScript基础

1、JavaScript简介

2、基本语法规则

3、在HTML文档中使用JS

4、JS变量

5、JS数据类型

6、JS函数

7、JS运算符

8、流程控制

9、JS错误和调试

JavaScript对象和作用域

1、数字 Number

2、字符串String

3、日期 Date

4、数组

5、数学 Math

6、DOM对象和事件

7、BOM对象

8、Window对象

9、作用域和作用域链

10、JSON

Javascript库

1、Jquery

2、Prototype

3、Ext Js

Jquery

1、Jquery基本语法

2、Jquery选择器

3、Jquery事件

4、Jquery选择器

5、Jquery效果和动画

6、使用Jquery操作HTML和DOM

7、Jquery遍历

8、Jquery封装函数

9、Jquery案例

表单验证和Jquery Validate

1、用Js对HTML表单进行验证

2、Jquery Validata基本用法

3、默认校验规则和提示信息

4、debug和ignore

5、更改错误信息显示位置和样式

6、全部校验通过后的执行函数

7、修改验证触发方式

8、异步验证

9、自定义校验方法

10、radio 和 checkbox、select 的验证

Java基础

1、关于Java

2、Java运行机制

3、第一个Java程序，注释

4、Javac,Java,Javadoc等命令

5、标识符与关键字

6、变量的声明，初始化与应用

7、变量的作用域

8、变量重名

9、基本数据类型

10、类型转换与类型提升

11、各种数据类型使用细节

12、转义序列

13、各种运算符的使用

流程控制

1、选择控制语句if-else

2、选择控制语句switch-case

3、循环控制语句while

4、循环控制语句do-while

5、循环控制语句for与增强型for

6、break，continue，return

7、循环标签

8、数组的声明与初始化

9、数组内存空间分配

10、栈与堆内存

11、二维（多维）数组

12、Arrays类的相关方法

13、main方法命令行参数

面向对象

1、面向对象的基本思想

2、类与对象

3、成员变量与默认值

4、方法的声明，调用

5、参数传递和内存图

6、方法重载的概念

7、调用原则与重载的优势

8、构造器声明与默认构造器

9、构造器重载

10、this关键字的使用

11、this调用构造器原则

12、实例变量初始化方式

13、可变参数方法

访问权限控制

1、包 package和库

2、访问权限修饰符private/protected/public/包访问权限

3、类的访问权限

4、抽象类和抽象方法

5、接口和实现

6、解耦

7、Java的多重继承

8、通过继承来扩展接口

错误和异常处理

1、概念：错误和异常

2、基本异常

3、捕获异常 catch

4、创建自定义异常

5、捕获所有异常

6、Java标准异常

7、使用finally进行清理

8、异常的限制

9、构造器

10、异常匹配

11、异常使用指南

数据库基础（MySQL）

数据库基础（MySQL）

JDBC

1、Jdbc基本概念

2、使用Jdbc连接数据库

3、使用Jdbc进行crud操作

4、使用Jdbc进行多表操作

5、Jdbc驱动类型

6、Jdbc异常和批量处理

7、Jdbc储存过程

Servlet和JSP

1、Servlet简介

2、Request对象

3、Response对象

4、转发和重定向

5、使用Servlet完成Crud

6、Session和Coolie简介

7、ServletContext和Jsp

8、El和Jstl的使用

Ajax

1、什么是Ajax

2、XMLHttpRequest对象（XHR）

3、XHR请求

4、XHR响应

5、readystate/onreadystatechange

6、Jquery Ajax

7、JSON

8、案例：对用户名是否可用进行服务器端校验

综合案例

1、项目开发一般流程介绍

2、模块化和分层

3、DButils

4、QueryRunner

5、ResultSetHandle

6、案例：用户登录/注册，从前端到后端

第二阶段 Java SE

访问权限和继承

1、包的声明与使用

2、import与import static

3、访问权限修饰符

4、类的封装性

5、static（静态成员变量）

6、final（修饰变量，方法）

7、静态成员变量初始化方式

8、类的继承与成员继承

9、super的使用

10、调用父类构造器

11、方法的重写与变量隐藏

12、继承实现多态和类型转换

13、instanceof

抽象类与接口

1、抽象类

2、抽象方法

3、继承抽象类

4、抽象类与多态

5、接口的成员

6、静态方法与默认方法

7、静态成员类

8、实例成员类

9、局部类

10、匿名类

11、eclipse的使用与调试

12、内部类对外围类的访问关系

13、内部类的命名

Lambda表达式与常用类

1、函数式接口

2、Lambda表达式概念

3、Lambda表达式应用场合

4、使用案例

5、方法引用

6、枚举类型（编译器的处理）

7、包装类型（自动拆箱与封箱）

8、String方法

9、常量池机制

10、String讲解

11、StringBuilder讲解

12、Math，Date使用

13、Calendars使用

异常处理与泛型

1、异常分类

2、try-catch-finally

3、try-with-resources

4、多重捕获multi-catch

5、throw与throws

6、自定义异常和优势

7、泛型背景与优势

8、参数化类型与原生类型

9、类型推断

10、参数化类型与数组的差异

11、类型通配符

12、自定义泛型类和类型擦出

13、泛型方法重载与重写

集合

1 、常用数据结构

2 、Collection接口

3 、List与Set接口

4 、SortedSet与NavigableSet

5 、相关接口的实现类

6 、Comparable与Comparator

7、Queue接口

8 、Deque接口

9 、Map接口

10、NavigableMap

11、相关接口的实现类

12、流操作（聚合操作）

13、Collections类的使用

I/O流与反射

1 、File类的使用

2 、字节流

3 、字符流

4 、缓存流

5 、转换流

6 、数据流

7、对象流

8、类加载，链接与初始化

9 、ClassLoader的使用

10、Class类的使用

11、通过反射调用构造器

12、安全管理器

网络编程模型与多线程

1、进程与线程

2、创建线程的方式

3、线程的相关方法

4、线程同步

5、线程死锁

6、线程协作操作

7、计算机网络（IP与端口）

8、TCP协议与UDP协议

9、URL的相关方法

10、访问网络资源

11、TCP协议通讯

12、UDP协议通讯

13、广播

SSM-Spring

1.Spring/Spring MVC

2.创建Spring MVC项目

3.Spring MVC执行流程和参数

SSM-Spring.IOC

1.Spring/Spring MVC

2.创建Spring MVC项目

3.Spring MVC执行流程和参数

SSM-Spring.AOP

1.Spring/Spring MVC

2.创建Spring MVC项目

3.Spring MVC执行流程和参数

SSM-Spring.Mybatis

1.MyBatis简介

2.MyBatis配置文件

3.用MyBatis完成CRUD

4.ResultMap的使用

5.MyBatis关联查询

6.动态SQL

7.MyBatis缓冲

8.MyBatis-Generator

Socket编程

1.网络通信和协议

2.关于Socket

3.Java Socket

4.Socket类型

5.Socket函数

6.WebSocket

7.WebSocket/Spring MVC/WebSocket Ajax

IO/异步

window对象

全局作用域

窗口关系及框架

窗口位置和大小

打开窗口

间歇调用和超时调用（灵活运用）

系统对话框

location对象

navigator对象

screen对象

history对象

NIO/AIO

1.网络编程模型

2.BIO/NIO/AIO

3.同步阻塞

4.同步非阻塞

5.异步阻塞

6.异步非阻塞

7.NIO与AIO基本操作

8.高性能IO设计模式

第三阶段 Java 主流框架

MyBatis

1.mybatis框架原理分析

2.mybatis框架入门程序编写

3.mybatis和hibernate的本质区别和应用场景

4.mybatis开发dao方法

5.SqlMapConfig配置文件讲解

6.输入映射-pojo包装类型的定义与实现

7.输出映射-resultType、resultMap

8.动态sql

9.订单商品数据模型分析

10.高级映射的使用

11.查询缓存之一级缓存、二级缓存

12.mybatis与spring整合

13. mybatis逆向工程自动生成代码

Spring/Spring MVC

1. springmvc架构介绍

2. springmvc入门程序

3. spring与mybatis整合

4. springmvc注解开发—商品修改功能分析

5. springmvc注解开发—RequestMapping注解

6. springmvc注解开发—Controller方法返回值

7. springmvc注解开发—springmvc参数绑定过程分析

8. springmvc注解开发—springmvc参数绑定实例讲解

9. springmvc与struts2的区别

10. springmvc异常处理

11. springmvc上传图片

12. springmvc实现json交互

13. springmvc对RESTful支持

14. springmvc拦截器

第四阶段 关系型数据库/MySQL/NoSQL

SQL基础

1.SQL及主流产品

2.MySQL的下载与安装（sinux/windows）

3.MySql的基本配置/配置文件

4.基本的SQL操作 DDL

5.基本的SQL操作 DML

6.基本的SQL操作 DCL

7.MySQL客户端工具

8.MySQL帮助文档

MySQL数据类型和运算符

1 数值类型

2 日期时间类型

3 字符串类型

4 CHAR 和 VARCHAR 类型

5 BINARY 和 VARBINARY 类型

6 ENUM 类型

7 SET 类型

8 算术运算符

9 比较运算符

10 逻辑运算符

11 位运算

12 运算符的优先级

MySQL函数

1 字符串函数

2 数值函数

3 日期和时间函数

4 流程函数

5 其他常用函数

MySQL存储引擎

1.MySQL支持的存储引擎及其特性

2.MyISAM

3.InnoDB

4.选择合适的存储引擎

选择合适的数据类型

1 CHAR 与 VARCHAR

2 TEXT 与 BLOB

3 浮点数与定点数

4 日期类型选择

字符集

1 字符集概述

2 Unicode字符集

3 汉字及一些常见字符集

4 选择合适的字符集

5 MySQL 支持的字符集

6 MySQL 字符集的设置 .

索引的设计和使用

1.什么是索引

2.索引的类型

3.索引的数据结构 BTree B+Tree Hash

4.索引的存储

5.MySQL索引

6.查看索引的使用情况

7.索引设计原则

视图/存储过程/函数/触发器

1. 什么是视图

2. 视图操作

3. 什么是存储过程

4. 存储过程操作

5. 什么是函数

6. 函数的相关操作

7. 触发器

事务控制/锁

1. 什么是事务

2. 事务控制

3. 分布式事务

4. 锁/表锁/行锁

5. InnoDB 行锁争用

6. InnoDB 的行锁模式及加锁方法7

7 InnoDB 行锁实现方式7

8 间隙锁（Next-Key 锁）

9 恢复和复制的需要，对 InnoDB 锁机制的影响

10 InnoDB 在不同隔离级别下的一致性读及锁的差异

11 表锁

12 死锁

SQL Mode和安全问题

1. 关于SQL Mode

2. MySQL中的SQL Mode

3. SQL Mode和迁移

4. SQL 注入

5. 开发过程中如何避免SQL注入

SQL优化

1.通过 show status 命令了解各种 SQL 的执行频率

2. 定位执行效率较低的 SQL 语句

3. 通过 EXPLAIN 分析低效 SQL 的执行计划

4. 确定问题并采取相应的优化措施

5. 索引问题

6.定期分析表和检查表

7.定期优化表

8.常用 SQL 的优化

MySQL数据库对象优化

1. 优化表的数据类型

2 散列化

3 逆规范化

4 使用中间表提高统计查询速度

5. 影响MySQL性能的重要参数

6. 磁盘I/O对MySQL性能的影响

7. 使用连接池

8. 减少MySQL连接次数

9. MySQL负载均衡

MySQL集群

MySQL管理和维护

MemCache

Redis

在Java项目中使用MemCache和Redis

第五阶段：操作系统/Linux、云架构

Linux安装与配置

1、安装Linux至硬盘

2、获取信息和搜索应用程序

3、进阶：修复受损的Grub

4、关于超级用户root

5、依赖发行版本的系统管理工具

6、关于硬件驱动程序

7、进阶：配置Grub

系统管理与目录管理

1、Shell基本命令

2、使用命令行补全和通配符

3、find命令、locate命令

4、查找特定程序：whereis

5、Linux文件系统的架构

6、移动、复制和删除

7、文件和目录的权限

8、文件类型与输入输出

9、vmware介绍与安装使用

10、网络管理、分区挂载

用户与用户组管理

1、软件包管理

2、磁盘管理

3、高级硬盘管理RAID和LVM

4、进阶：备份你的工作和系统

5、用户与用户组基础

6、管理、查看、切换用户

7、/etc/...文件

8、进程管理

9、linux VI编辑器，awk，cut，grep，sed，find，unique等

Shell编程

1、 SHELL变量

2、传递参数

3、数组与运算符

4、SHELL的各类命令

5、SHELL流程控制

6、SHELL函数

7、SHELL输入/输出重定向

8、SHELL文件包含

服务器配置

1、系统引导

2、管理守护进程

3、通过xinetd启动SSH服务

4、配置inetd

5、Tomcat安装与配置

6、MySql安装与配置

7、部署项目到Linux

第六阶段：Hadoop生态系统

Hadoop基础

1、大数据概论

2、 Google与Hadoop模块

3、Hadoop生态系统

4、Hadoop常用项目介绍

5、Hadoop环境安装配置

6、Hadoop安装模式

7、Hadoop配置文件

HDFS分布式文件系统

1、认识HDFS及其HDFS架构

2、Hadoop的RPC机制

3、HDFS的HA机制

4、HDFS的Federation机制

5、 Hadoop文件系统的访问

6、JavaAPI接口与维护HDFS

7、HDFS权限管理

8、hadoop伪分布式

Hadoop文件I/O详解

1、Hadoop文件的数据结构

2、 HDFS数据完整性

3、文件序列化

4、Hadoop的Writable类型

5、Hadoop支持的压缩格式

6、Hadoop中编码器和解码器

7、 gzip、LZO和Snappy比较

8、HDFS使用shell+Java API

MapReduce工作原理

1、MapReduce函数式编程概念

2、 MapReduce框架结构

3、MapReduce运行原理

4、Shuffle阶段和Sort阶段

5、任务的执行与作业调度器

6、自定义Hadoop调度器

7、 异步编程模型

8、YARN架构及其工作流程

MapReduce编程

1、WordCount案例分析

2、输入格式与输出格式

3、压缩格式与MapReduce优化

4、辅助类与Streaming接口

5、MapReduce二次排序

6、MapReduce中的Join算法

7、从MySQL读写数据

8、Hadoop系统调优

Hive数据仓库工具

1、Hive工作原理、类型及特点

2、Hive架构及其文件格式

3、Hive操作及Hive复合类型

4、Hive的JOIN详解

5、Hive优化策略

6、Hive内置操作符与函数

7、Hive用户自定义函数接口

8、Hive的权限控制

Hive深入解读

1 、安装部署Sqoop

2、Sqoop数据迁移

3、Sqoop使用案例

4、深入了解数据库导入

5、导出与事务

6、导出与SequenceFile

7、Azkaban执行工作流

Sqoop与Oozie

1 、安装部署Sqoop

2、Sqoop数据迁移

3、Sqoop使用案例

4、深入了解数据库导入

5、导出与事务

6、导出与SequenceFile

7、Azkaban执行工作流

Zookeeper详解

1、Zookeeper简介

2、Zookeeper的下载和部署

3、Zookeeper的配置与运行

4、Zookeeper的本地模式实例

5、Zookeeper的数据模型

6、Zookeeper命令行操作范例

7、storm在Zookeeper目录结构

NoSQL、HBase

1、HBase的特点

2、HBase访问接口

3、HBase存储结构与格式

4、HBase设计

5、关键算法和流程

6、HBase安装

7、HBase的SHELL操作

8、HBase集群搭建

第七阶段：Spark生态系统

Spark

1.什么是Spark

2.Spark大数据处理框架

3.Spark的特点与应用场景

4.Spark SQL原理和实践

5.Spark Streaming原理和实践

6.GraphX SparkR入门

7.Spark的监控和调优

Spark部署和运行

1.WordCount准备开发环境

2.MapReduce编程接口体系结构

3.MapReduce通信协议

4.导入Hadoop的JAR文件

5.MapReduce代码的实现

6.打包、部署和运行

7.打包成JAR文件

Spark程序开发

1、启动Spark Shell

2、加载text文件

3、RDD操作及其应用

4、RDD缓存

5、构建Eclipse开发环境

6、构建IntelliJ IDEA开发环境

7、创建SparkContext对象

8、编写编译并提交应用程序

Spark编程模型

1、RDD特征与依赖

2、集合（数组）创建RDD

3、存储创建RDD

4、RDD转换 执行 控制操作

5、广播变量

6、累加器

作业执行解析

1、Spark组件

2、RDD视图与DAG图

3、基于Standalone模式的Spark架构

4、基于YARN模式的Spark架构

5、作业事件流和调度分析

6、构建应用程序运行时环境

7、应用程序转换成DAG

Spark SQL与DataFrame

1、Spark SQL架构特性

2、DataFrame和RDD的区别

3、创建操作DataFrame

4、RDD转化为DataFrame

5、加载保存操作与Hive表

6、Parquet文件JSON数据集

7、分布式的SQL Engine

8、性能调优 数据类型

深入Spark Streaming

1、Spark Streaming工作原理

2、DStream编程模型

3、Input DStream

4、DStream转换 状态 输出

5、优化运行时间及内存使用

6、文件输入源

7、基于Receiver的输入源

8、输出操作

Spark MLlib与机器学习

1、机器学习分类级算法

2、Spark MLlib库

3、MLlib数据类型

4、MLlib的算法库与实例

5、ML库主要概念

6、算法库与实例

GraphX与SparkR

1、Spark GraphX架构

2、GraphX编程与常用图算法

3、GraphX应用场景

4、SparkR的工作原理

5、R语言与其他语言的通信

6、SparkR的运行与应用

7、R的DataFrame操作方法

8、SparkR的DataFrame

Scala编程开发

1、Scala语法基础

2、idea工具安装

3、maven工具配置

4、条件结构、循环、高级for循环

5、数组、映射、元组

6、类、样例类、对象、伴生对象

7、高阶函数与函数式编程

Scala进阶

1、 柯里化、闭包

2、模式匹配、偏函数

3、类型参数

4、协变与逆变

5、隐式转换、隐式参数、隐式值

6、Actor机制

7、高级项目案例

Python编程

1、Python编程介绍

2、Python的基本语法

3、Python开发环境搭建

4、Pyhton开发Spark应用程序

第八阶段：Storm生态系统

storm简介与基本知识

1、storm的诞生诞生与成长

2、storm的优势与应用

3、storm基本知识概念和配置

4、序列化与容错机制

5、可靠性机制—保证消息处理

6、storm开发环境与生产环境

7、storm拓扑的并行度

8、storm命令行客户端

Storm拓扑与组件详解

1、流分组和拓扑运行

2、拓扑的常见模式

3、本地模式与stormsub的对比

4、 使用非jvm语言操作storm

5、hook、组件基本接口

6、基本抽象类

7、事务接口

8、组件之间的相互关系

spout详解 与bolt详解

1、spout获取数据的方式

2、常用的spout

3、学习编写spout类

4、bolt概述

5、可靠的与不可靠的bolt

6、复合流与复合anchoring

7、 使用其他语言定义bolt

8、学习编写bolt类

storm安装与集群搭建

1、storm集群安装步骤与准备

2、本地模式storm配置命令

3、配置hosts文件、安装jdk

4、zookeeper集群的搭建

5、部署节点

6、storm集群的搭建

7、zookeeper应用案例

8、Hadoop高可用集群搭建

Kafka

1、Kafka介绍和安装

2、整合Flume

3、Kafka API

4、Kafka底层实现原理

5、Kafka的消息处理机制

6、数据传输的事务定义

7、Kafka的存储策略

Flume

1、Flume介绍和安装

2、Flume Source讲解

3、Flume Channel讲解

4、Flume Sink讲解

5、flume部署种类、流配置

6、单一代理、多代理说明

7、flume selector相关配置

Redis

1、Redis介绍和安装、配置

2、Redis数据类型

3、Redis键、字符串、哈希

4、Redis列表与集合

5、Redis事务和脚本

6、Redis数据备份与恢复

7、Redis的SHELL操作