핵심 교과 과정은 하둡 프레임 워크 개발하기 위해 빅 데이터는 거의 빅 데이터 하둡 개발이라고 할 수있다. 이 프레임 워크는, Java 응용 프로그램 개발을위한 SSH / SSM 프레임 워크와 유사하다 사용하는 모든 사람의 발전에 기여하는 오픈 소스 자바 프레임 워크를 할 수있는 소 아파치 재단 또는 다른 오픈 소스 자바 커뮤니티 그룹입니다. 많은 데이터가 당신을 보여 빅 데이터를 분기입니다.
Java 언어는, 왕이, 자바의 핵심 코드는 오픈 소스 진실입니다 세계 가축의 결과가 공동으로 공통 시험을 개발하기 위해 함께 학습 할 수 있었다이다, 대부분의 언어의 시험을 서 자바가되도록하지만, 사람이 자바의 핵심을 배울 수 있습니다 및 핵심 기술로 기술의 사용은 안드로이드 동일한 시스템과 같은 하둡 프레임 워크를 개발. 세계에서 프로그램이 나무에 비교하면, 자바는 루트, SSH이기 때문에 자사의 하둡 프레임 워크 꽃 지점은 너무 잎.
이 경우 여전히 내 자신 구축 빅 데이터 학습 교환기 추천하고있다 : 529 867 072를, 그룹은 빅 데이터 과학 개발, 당신이 학습하는 경우, 당신은 작은 시리즈에 참여하실 수 있습니다 빅 데이터, 우리는 때때로, 모든 파티 소프트웨어 개발입니다 최신 빅 데이터의 사본을 포함하여, 건조 (단지 빅 데이터 관련 소프트웨어 개발)을 공유하고 고급 데이터 개발 과정을 환영 고급 내 자신의 종류의 고급 및 가입하는 빅 데이터의 작은 파트너 탐구하고자합니다.
때문에 대용량 데이터 개발 엔지니어, 기술 인력이 빅 데이터 혁명 스마트 해변 - 참석자 가장 인기있는 IT 교육 업계 전문가 주도하고있다, 지능 시대의 가장 직접적인 수혜자가 같은 중요한 전문과 코도 모두의 상세하고 철저한 설명을 제공해야합니다입니다 하둡에 사용되는 직장에서 현재 빅 데이터 애플리케이션 개발 엔지니어에 모든 기술적 인 수준을 도입, 생태계 기반 당신이 큰 데이터 개발 엔지니어 전문 전에 학습 자바 문법과 기본 프레임 워크를 학습의 특정 경험을하는 것이 좋습니다.
제로 기반 교육 과정 과목은 일부만 포함 된 대용량 데이터의 친구 자바 개발 경험에 대한 교육 과정을 개선하기 위해, 두 부분으로 얼마나 많은 데이터를 자바 + 빅 데이터 개발을 포함한다. 당신이 알아야 할 전술 한 설명은 빅 데이터가 일부 자바 기반 배울 필요가 있기 때문이다.
빅 데이터 하둡 오픈 소스 개발 플랫폼
하둡은 많은 양의 데이터가 데이터 처리에, 신뢰할 수있는 효율적이고 확장 가능한 접근 방식에서 분산 처리, 하둡을위한 소프트웨어 프레임 워크가 될 수있다, 사용자가 쉽게 개발하고 하둡 데이터의 응용 프로그램 데이터 처리 엄청난 양을 실행할 수있는 이유, 높은 신뢰성, 확장 성, 높은 효율, 높은 내결함성 장점 하둡 때문이다.
빅 데이터 생태계를 하둡 :
분산 파일 시스템은 -HDFS
리프트 하둡 파일 시스템이 첫 번째 생각은 HDFS (하둡 분산 파일 시스템)이며, HDFS는 주 하둡 파일 시스템, 데이터는 하둡 플랫폼에 저장, 네트워크에 분산 저장 시스템의 설립. 하둡은 HDFS는 하나의 구현, 다른 파일 시스템은 하둡 파일 시스템이 추상적 인 개념입니다 통합합니다.
분산 컴퓨팅 프레임 워크 -MapReduce
MapReduce는이 프로그래밍 모델 플랫폼 하둡 데이터 처리이다. 대량의 데이터 세트 (1TB보다 큰) 병렬 컴퓨팅. 개념 "지도 (매핑)"와 "감소 (감소)", 그리고 그들의 주요 아이디어는 차용 및 기능 프로그래밍 언어에서 벡터 프로그래밍 언어의 속성에서 차용된다. 경우에 프로그래머가 분산되지 않고 병렬 프로그래밍 분산 시스템에서 실행중인 프로그램을 소유하는 것은 매우 쉽습니다.
분산 오픈 소스 데이터베이스 -Hbase
HBase를 - 하둡 데이터베이스, HBase를 분산, 열 중심의 오픈 소스 데이터베이스입니다. 구조화되지 않은 데이터 저장에 적합, 데이터 보존 기간 여러 버전. HBase를 크게 데이터 처리 애플리케이션을위한 하둡의 확장을 용이하게한다.
빅 데이터 에코 시스템 개발 플랫폼 모듈
하이브
하이브 데이터웨어 하우스 하둡 기반 도구, SQL 구조화 조회 처리 기능이다. 당신은 데이터베이스 테이블에 데이터 파일의 구조를 매핑하고, 간단한 SQL 쿼리를 제공 할 수 있습니다, SQL 문은 맵리 듀스 작업 실행을 실행 변환 및 클러스터까지 제출 할 수있다. 장점은 학습의 저렴한 비용으로, 당신은 신속하게 자바 프로그래밍을 사용하지 않고, 전문 맵리 듀스 응용 프로그램을 개발하지 않고, SQL 문의 유형으로 간단한 맵리 듀스 통계를 달성 할 수있는 데이터웨어 하우스의 통계 분석은 매우 적합합니다.
学习Hive时，对于Hive QL中的DDL和DML就是必须要掌握的基础；表的定义、数据导出以及常用的查询语句的掌握是完成大数据统计分析的基础。学会针对Hive进行编程：使用Java API开操作Hive、开发Hive UDF函数。掌握好Hive部分高级的特性能大大提升Hive的执行效率。在优化过程中可以很好的借助于执行计划来进行分析，学习Hive时需要注意Hive性能优化是在生产中的最重要的环节，如何解决数据倾斜是关键；梳理清楚Hive元数据各个表之间的关联关系也能提升对Hive的把握能力。
Zookeeper协调Hadoop生态圈各个模块共同工作
从英文含义上来看Hadoop是小象，Hive是蜜蜂，pig是猪，Zookeeper是动物管理员。那么很显然Zookeeper的作用是分布式应用程序协调服务，为各个模块提供一致性服务的。
数据导入导出框架Sqoop
Sqoop是一款开源的工具，英文含义是象夫，就是喂养大象的人，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递，可以将一个关系型数据库中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。大数据学习交流群：251956502
学习目标：
1.了解Sqoop是什么、能做什么及架构 ；
2.能够进行Sqoop环境部署 ；
3.掌握Sqoop在生产中的使用 ；
4.能够使用Sqoop进行ETL操作 。
Scala编程开发
Scala是一种函数式面向对象语言，类似于RUBY和GROOVY语言，它无缝结合了许多前所未有的特性形成一门多范式语言，其中高层并发模型适用于大数据开发。而同时又运行于JAVA虚拟机之上。
Spark
Spark是目前最流行的大数据处理框架，以简单、易用、性能卓越著称。丰富的程序接口和库文件也使得Spark成为业内数据快速处理和分布式机器学习的必备工具。
*扩展技能：
python开发基础、数据分析与数据挖掘
Sklearn 데이터 마이닝 도구, 데이터 마이닝을 잘 알고 순진 베이 즈 알고리즘과 데이터 마이닝 SVM 분류 알고리즘 및 최종 사용 Sklearn이 베이 즈와 SVM 알고리즘을 달성 학습.
빅 데이터를 분산 실시간 시스템을 폭풍
분산 데이터 처리, 폭풍과 팽창 스톰 워크 용이 일괄 처리 하둡 같이 실시간 처리를 위해 복잡한 실시간 컴퓨터 클러스터 계산 스톰 제조 할 수있다. MapReduce의 병렬 배치 처리의 복잡성을 감소하는 경우, 스톰 실시간 처리의 복잡성을 감소시키는 것이다.