hive建表支持的文件类型与压缩格式
MapReduce 的数据压缩 hive 的数据压缩 hive 支持的文件格式 hive日志分析,各种压缩的对比 一: mapreduce 的压缩 mapreduce 压缩 主要是在shuffle阶段的优化。 shuffle 端的 --partition (分区) -- sort (排序) -- combine (合并) -- compress (压缩) -- group (分组) 在mapreduce 优化shuffle 从本质上是解决磁盘的IO 与网络IO 问题。 减少 集群件的文件传输处
Django 多表、跨表、聚合、分组查询
前期准备: 创建表 class Book(models.Model):
title = models.CharField(max_length=32)
price = models.DecimalField(max_digits=8,decimal_places=2)
publish_time = models.DateField(auto_now_add=True) #该字段新增数据会自动添加实时时间
#出版社 一对多 外键字段建在多的一方
pub
CS系列(一):Cobalt Strike初体验
0X01 环境准备 Cobalt Strike安装包(链接:https://pan.baidu.com/s/1wCHJcJrF6H0wUCdetz3Xjg 提取码:rjuj) Cobalt Strike服务端:kali(不限于kali,但需要时Linux系统) Cobalt Strike客户端:Windows 7 0X02 Cobalt Strike介绍 Cobalt Strike是一款美国 Red Team 开发的渗透测试平台,大佬们都称之为 "CS " (后面为了描(tou)述(lan),
docker原理学习-环境搭建
1. mac下用VMware虚拟机安装ubunt16.04 2. ubuntu安装并启动ssh服务 3. 用mac终端ssh到虚拟机中 ssh didiyu@ip 输入登陆密码
CSS3绘制不规则图形,代码收集
三角形系列(三角形、倒三角、左三角、右三角、左上三角、右上三角、左下三角、右下三角) 主要用到的是:宽度高度设置为0, border的各个边的设置(各个边的透明或不透明); .triangle-up {
/* 三角形 */
width: 0;
height: 0;
border-left: 50px solid transparent;
border-right: 50px solid transparent;
border-bottom: 100px solid #f
记录一次工作问题总结——关于游戏物体渲染顺序
目前的一个项目中,有这么一个需求:经验进度条的显示,进度条的最右端加一个发光的特效,(为了看起来好看吧) 但是在生成该特效之后,效果不尽人意(实际上是不尽策划意),后面检查发现,这个特效的显示不对,其中一个部分的粒子特效被不明物体遮挡住了(我也不知道是什么东西啊,反正就是挡住了) 然后我就开始了我检查bug之旅!! 首先检查该特效的 depth:不管我如何的调整的 depth ,发现都看不到这个特效,此时我陷入了深深的沉思,(既然 depth 不是影响这个的问题,那么就肯定不是已经
Markdown基础知识学习
Day20200108 目标:学习Markdown 书写:文本,word,html(超文本标记语言),ps...... 适合:MD-Markdown是一种非常轻量级的标记语言,它允许人们使用易读易写的纯文本格式编写文档。编写后的文本可以导出为html、word、图像、pdf、epub等多种格式的文档。 应用:电子书、笔记、博客、专业的技术文档 编辑器:cutemarked(不太好)/typora(推荐,https://typora.io) 测试是否支持: #Markdown标题 1、使用=和-
SpringBoot2(十二)当Shiro遇上RedisCache
ShiroCache重点在于配置SecurityManager,关键配置只有下面两个,SessionManager 可以全部默认,无须设计, 重点在 CacheManager 上,CacheManager 需要实现CacheManager接口和Cache接口。 securityManager.setSessionManager(SessionManager sessionManager);
securityManager.setCacheManager(CacheManager cacheM
从多谐振荡器详细解析到555定时器基本电路(控制LED闪烁) 从多谐振荡器详细解析到555定时器基本电路(控制LED闪烁)
从多谐振荡器详细解析到555定时器基本电路(控制LED闪烁) 在学期末,笔者参加了学校的电工实习,前六天做都很快,但是今天要做一个关于555多谐振荡器的LED闪烁电路,由于笔者没有提前准备,导致今天就算把电路搭建出来也不懂具体原理,耗费了不少时间,所以我打算专门开一个博文来详细解析这个芯片。 本文以TI公司生产的NE555P芯片为例来说明(不同厂家生产的555芯片几乎都是一样的)。 无稳态振荡器(自激多谐振荡器)——astablemultivibrator(分立元器件搭建) 多谐振荡器电路是一
JavaScript--数组的声明与创建
我们知道Object是使用new关键字或者字面量表示法进行声明与创建的。 那么应用类型--Array也可以用类似的方法进行声明与创建。 一、new关键字创建数组:new Array(); var colors = new Array();
console.log(colors);
console.log(colors.length);
colors[0] = '1';
colors[1] = 2;
console.log(colors); 二、显示声明数组的长度,如new Array(10);
CSIC_716_2020107【Django入门---模型层】
单表查询 时间格式的字段 publish_time = models.DateField() # 年月日
publish_time = models.DateTimeField() # 年月日 时分秒
"""
auto_now:每次修改数据的时候 都会自动将最新的更新时间记录下来
auto_now_add:只在创建数据的时候将创建时间自动记录下来 之后不会自动改变
"""
用法示例
publish_time = models.DateField(auto_
从零开始入门 K8s | 调度器的调度流程和算法介绍
作者 | 汪萌海(木苏) 阿里巴巴技术专家 关注“阿里巴巴云原生”公众号,回复关键词“入门”,即可下载从零入门 K8s 系列文章 PPT。 导读:Kubernetes 作为当下最流行的容器自动化运维平台,以声明式实现了灵活的容器编排,本文以 v1.16 版本为基础详细介绍了 K8s 的基本调度框架、流程,以及主要的过滤器、Score 算法实现等,并介绍了两种方式用于实现自定义调度能力。 调度流程 调度流程概览 Kubernetes 作为当下最主流的容器自动化运维平台,作为 K8s 的容器编排的
今日推荐
周排行