菜单 学习猿地 - LMONKEY

java

java

大数据应用需求分析、设计、开发、部署，根据这些原始信息检测账号是否存在异常， 如果多个终端使用同一个宽带账号，超过一定阈值则触发报警机制，例如阈值为5时，同一个账号同时连接的终端数量不能超过该值，如果超过则报警。数据量每天1000亿，每秒峰值100 000，l 5分钟是一个周期，每个周期生成一个结果文件，每个周期检测一次共享账号。

java

java

应知应会：

java

1.了解企业大数据应用设计规范和编码规则

2.掌握企业大数据应用分析、设计方法

3.熟悉大数据批处理、流式处理应用开发流程

4.掌握项目的业务需求

5.掌握项目的系统架构

6.掌握项目的需求分析

7.掌握项目的概要设计

8.掌握项目的详细设计

9.掌握项目的系统开发

10.掌握项目的单元测试

11.掌握项目的系统测试

12.掌握项目的上线部署

13.掌握项目的运营测试

14.掌握项目集群环境的搭建测试

java

项目实战：

java

大数据应用需求分析、设计、开发、部署

java

主要知识点：

java
☑ 业务需求分析

☑ 系统设计

☑ 数据采集

☑ 数据预处理

☑ ETL开发

☑ 统计分析（PV统计、受访分析、访客分析、访问分析等）

☑ 流式处理系统的设计、开发

java

java

学习基础：

java

学此阶段需要掌握Scala基础语法、数据结构、面向对象编程、函数式编程；Scala应用开发， 掌握Spark集群的安装、配置、使用；Spark核心概念、基本原理；Spark RDD、Spark SQL、Spark Streaming应用开发， ，了解企业大数据应用设计规范和编码规则，掌握大数据应用开发。

java

java

java