代码天地

Idea用spark读取hdfs上数据遇坑

代码：object hdfsFile{ def main(args: Array[String])大数据

分类: 其他发布时间: 03-01 22:45 阅读次数: 0

spark读取hdfs上的json数据

准备数据源people.json数据，并放到hdfs上{name:Michael}{nam

分类: 其他发布时间: 03-01 22:45 阅读次数: 0

spark求简单topN值

假设有假数据，4个字段分别为orderid，userid，payment，productid，计算出大数据

分类: 其他发布时间: 03-01 22:45 阅读次数: 0

SparkShell启动(DataFrame的创建)

[root@hdp-1 bin]# ./spark-shell --master spark://h大数据

分类: 其他发布时间: 03-01 22:44 阅读次数: 0

利用SparkSession进行wordcount

假数据：hello weigehello AJhello choujijige love AJwei大数据

分类: 其他发布时间: 03-01 22:44 阅读次数: 0

Spark sql的join

第一种：import org.apache.spark.sql.{DataFrame, Datase

分类: 其他发布时间: 03-01 22:44 阅读次数: 0

sqoop常用命令示范

/** 将mysql的表导入 hdfs **/bin/sqoop import \\--connec数据库

分类: 其他发布时间: 03-01 22:44 阅读次数: 0

虚拟机使用SFTP进行文件上传（put）下载（get）

比如我现在想将虚拟机文件下载到本地桌面上：首先 lcd C:\\Users\\lenovo\\Deskto运维

分类: 其他发布时间: 03-01 22:43 阅读次数: 0

kafka-0-8结合sparkstreaming直连方式

添加依赖，这里的${spark.version}是你当前spark版本，2.11是scala版本

分类: 其他发布时间: 03-01 22:43 阅读次数: 0

自定义时间工具类

import java.util.Dateimport org.apache.commons.lanJava

分类: 其他发布时间: 03-01 22:42 阅读次数: 0

sparksql查询完数据保存到一个文件中，并且不出现乱码

实例代码：object movies2{ def main(args: Array[String]

分类: 其他发布时间: 03-01 22:42 阅读次数: 0

大数据项目——团购网标签的生成

添加maven依赖： <dependencies> <depe

分类: 其他发布时间: 03-01 22:42 阅读次数: 0

sparksql对MySQL数据库的读写练习

1、/** * 从MySQL读取表格，并根据需求再写回数据库 */object sparkJdb大数据

分类: 其他发布时间: 03-01 22:41 阅读次数: 0

国际化操作读取配置文件方法

1、首先我们的配置文件名字为ct.properties，内容如下2、读取及测试代码package cJava

分类: 其他发布时间: 03-01 22:41 阅读次数: 0

linux中通过脚本，一台机器控制多台机器

如果我们要通过一台机器查看所有机器的jps，我们需要对jps做软连接1、which jps查看位置2运维

分类: 其他发布时间: 03-01 22:41 阅读次数: 0

Azkaban将web服务器启动到后台

进入到azkaban的server根目中去web服务器启动到后台nohupbin/azkaban-w网络

分类: 其他发布时间: 03-01 22:40 阅读次数: 0

Call From hdp-1/192.168.234.129 to hdp-1:8020 failed on connection exception: java.net.ConnectExcept

分享一个我大晚上提交Hadoop作业到Yarn上因为一个小小小小错误解决了一晚上的问题！报错：ExcJava

分类: 其他发布时间: 03-01 22:40 阅读次数: 0

第九章九析带你轻松完爆 go - 切片 slice

系列文章:总目录索引：九析带你轻松完爆 go 系列教程目录1 前言2 切片的声明3 切片的初始化 3.1 先声明后初始化 3.2 声明并初始化4 切片和数组的关系 4.1 数组转化为切片 4.2 切片的长度 4.3 切片的容量 4.4 切片的切片1 前言如果你对博客有任何疑问或者想更深入学习 go，请加微信群，我们一起进步：2 切片的声明

分类: 编程语言发布时间: 03-01 22:40 阅读次数: 0

oracle常用运维命令整理

一、oracle建库与删库命令（1）oracle11g#建库(一般习惯配置gdbname与sid名一样，sys密码与system密码一样，以方便记忆)[oracledb@~]$dbca-silent-createDatabase-templateName/u01/oracle/product/11.2.0/dbhome_1/assistants/dbca/templates/General_Pur

分类: 数据库发布时间: 03-01 22:40 阅读次数: 0

Azkaban运行windows脚本出错

Azkaban识别的脚本格式为Unix，包括我们在centos系统中运行脚本格式也必须为Unix当我运维

分类: 其他发布时间: 03-01 22:40 阅读次数: 0

今日推荐

TIOBE 5 月榜单：Fortran “复活”进入 Top 10

GCC 14.1 发布

面壁智能发布 Eurux-8x22B 开源大模型 —— 堪称「理科状元」

开源日报 | 谷歌扶持鸿蒙上位；开源Rabbit R1；Docker加持的安卓手机；微软的焦虑和野心；海尔电器把开放平台关了

中国码农的“35岁魔咒”

蘭雅 CorelDRAW 插件 2024.5.1 国际劳动节版，免费下载

Arc Browser for Windows 1.0 正式 GA

90后程序员开发视频搬运软件、不到一年获利超 700 万，结局很刑！

周排行

Java自定义时间格式

同步整形电路

在开发中最最最常用的字符串的属性大集合

Linux 查看端口占用并杀掉

Java基础四：ArrayList

多线程之死锁就是这么简单

mysql 基础命令集

awk 命令详解

Centos6.3编译安装nginx+php步骤

OCR （Optical Character Recognition，光学字符识别）

每日归档

更多

2024-05-08(42)

2024-05-07(14)

2024-05-06(40)

2024-05-05(0)

2024-05-04(7)

2024-05-03(19)

2024-05-02(0)

2024-05-01(4)

2024-04-30(1)

2024-04-29(40)