redis緩存系統(tǒng)課程大綱
1) redis特點(diǎn)、與其他數(shù)據(jù)庫的比較
2) 如何安裝redis
3) 如何使用命令行客戶端
4) redis的字符串類型
5) redis的散列類型
6) redis的列表類型
7) redis的集合類型
8) 如何使用java訪問redis【a.python訪問redis,scala訪問redis】
9) redis的事務(wù)(transaction)
10) redis的管道(pipeline)
11) redis持久化(AOF+RDB)
12) redis優(yōu)化
13) redis的主從復(fù)制
14) redis的sentinel高可用
15) twemproxy,codis實(shí)戰(zhàn)
16) redis3.x集群安裝配置
Kafka課程
Kafka是當(dāng)下流行的隊(duì)列，可以說是從數(shù)據(jù)采集到大數(shù)據(jù)計(jì)算承上啟下的重要環(huán)節(jié)，大家在此部分將會詳細(xì)學(xué)習(xí)它的架構(gòu)，kafka在大家大數(shù)據(jù)的項(xiàng)目中幾乎都會涉及到。
1) kafka是什么
2) kafka體系結(jié)構(gòu)
3) kafka配置詳解
4) kafka的安裝
5) kafka的存儲策略
6) kafka分區(qū)特點(diǎn)
7) kafka的發(fā)布與訂閱
8) zookeeper協(xié)調(diào)管理
9) java編程操作kafka
10) scala編程操作kafka
11) flume 和kafka 的整合
12) Kafka 和storm 的整合
Storm實(shí)時(shí)數(shù)據(jù)處理
本部分學(xué)習(xí)過后，大家將全面掌握Storm內(nèi)部機(jī)制和原理，通過大量項(xiàng)目實(shí)戰(zhàn)，讓大家擁有完整項(xiàng)目開發(fā)思路和架構(gòu)設(shè)計(jì)，掌握從數(shù)據(jù)采集到實(shí)時(shí)計(jì)算到數(shù)據(jù)存儲再到前臺展示，所有工作一個(gè)人搞定！譬如可以一個(gè)人搞定淘寶雙11大屏幕項(xiàng)目！不光從項(xiàng)目的開發(fā)的層次去實(shí)現(xiàn)，并可以從架構(gòu)的層次站在架構(gòu)師的角度去完成一個(gè)項(xiàng)目。
項(xiàng)目技術(shù)架構(gòu)體系：
1) Storm的基本概念
2) Storm的應(yīng)用場景
3) Storm和Hadoop的對比
4) Storm集群的安裝的linux環(huán)境準(zhǔn)備
5) zookeeper集群搭建
6) Storm集群搭建
7) Storm配置文件配置項(xiàng)講解
8) 集群搭建常見問題解決
9) Storm常用組件和編程API：Topology、 Spout、Bolt
10) Storm分組策略(stream groupings)
11) 使用Strom開發(fā)一個(gè)WordCount例子
12) Storm程序本地模式debug、Storm程序遠(yuǎn)程debug
13) Storm事物處理
14) Storm消息可靠性及容錯(cuò)原理
15) Storm結(jié)合消息隊(duì)列Kafka：消息隊(duì)列基本概念(Producer、Consumer、Topic、Broker等)、消息隊(duì)列Kafka使用場景、Storm結(jié)合Kafka編程API
16) Storm Trident概念
17) Trident state 原理
18) Trident開發(fā)實(shí)例
19) Storm DRPC(分布式遠(yuǎn)程調(diào)用)介紹
20) Storm DRPC實(shí)戰(zhàn)講解
21) Storm和Hadoop 2.x的整合：Storm on Yarn
Storm開發(fā)實(shí)戰(zhàn)： Kafka+Storm+Hbase+redis項(xiàng)目實(shí)戰(zhàn)，以及多個(gè)案例
項(xiàng)目實(shí)戰(zhàn)
中 國移動基站保障平臺 一個(gè)市級移動公司，每天的產(chǎn)生海量話務(wù)數(shù)據(jù)（一線城市更高），通過大數(shù)實(shí)時(shí)分析，監(jiān)控每個(gè)基站的掉話率，基站通話總數(shù)，基站掉話總數(shù)，基站告警，3g/4g上網(wǎng)流量實(shí)時(shí)監(jiān)控。對以上維度進(jìn)行實(shí)時(shí)分析以達(dá)到對基站工作情況的監(jiān)控。
項(xiàng)目技術(shù)架構(gòu)體系：
Storm+hbase+kafka+flume+echarts
a) flume實(shí)時(shí)采集日志
b) kafka緩沖隊(duì)列
c) storm實(shí)時(shí)處理
d) Hbase dao存儲處理結(jié)果
e) 前端Web實(shí)時(shí)展示報(bào)表