Hive_架构原理

1.用户接口:Client CLI(command-line interface)、JDBC/ODBC(jdbc访问hive)、WEBUI(浏览器访问hive) 2.元数据:Metastore 元数据包括:表名、表所属的数据库(默认是default)、表的拥有者、列/分区字段、表的类型(是否是外部表)、表的数据所在目录等; 默认存储在自带的derby数据库中,推荐使用MySQL存储Metastore 3.Hadoop 使用HDFS进行存储,使用MapReduce进行计算。 4.驱动器:Driv
分类: 其他 发布时间: 11-04 23:17 阅读次数: 0

实验总结与体会

1.在进行格式化输入/输出时,要注意对于数据类型的定义,输出时就要用相应的格式类型,int就用%d,float就用%f,而double就要用%lf否则就会由于精度不够导致数据输出值与输入值不对应;在scanf函数中要注意输出的数据要跟上地址符,不然就会出现错误;在printf函数中修饰符控制宽度其后的格式字符就表示输出项,所以格式字符个数要与输出项个数相同并且按照先后顺序一一对应。 2.对于if语句和switch语句,掌握了他们的格式就ok了,如果你要用这两个语句编写程序的话,先在大脑里将你需
分类: 其他 发布时间: 11-04 23:17 阅读次数: 0

关于最近状态的反思

不知道为什么,最近生活的不规律,学习的懈怠,心情的莫名无感... 总之就是很不好,但是具体又说不出来是哪儿出问题了,今天好好反思自己,少一点胡思乱想,少一点猜忌,认认真真,踏踏实实地做好每一天的功课,不断完善自我,严于律己,宽于待人,厚积薄发,切勿好高骛远。 很简单的一句话送给自己吧: 认真度过每一天!
分类: 其他 发布时间: 11-04 23:17 阅读次数: 0

分布式一致性模型

一致性模型 弱一致性 最终一致性 DNS (Domain Name System) Gossip (Cassandra的通信协议) 强一致性 同步 Paxos Raft (multi-paxos) ZAB (multi-paxos) 强一致性要解决的的问题 数据不能存在单点上(安全) 分布式系统对fault tolorence 的一般解决方案是state machine replication(状态机复制) state machine replication 的 共识(consensus) 算
分类: 其他 发布时间: 11-04 23:17 阅读次数: 0

Computer-Hunters——凡事预则立

Computer-Hunters——凡事预则立 冲刺时间安排 时间 前端计划完成工作 11.6 完成用户注册登录界面,个人信息界面,以及热点资讯界面 11.7-11.8 匹配界面,电脑猎场界面 11.10 论坛功能界面 11.11 界面功能测试 11.12 项目功能测试 时间 后端计划完成工作 11.6-11.7 搭建数据库,注册登录功能,个人信息 11.8-11.9 关键字匹配,硬件匹配 11.10 主页推荐笔记本,搜索功能,论坛功能 11.11 后端功能测试 11.12 项目功能测试 时间
分类: 其他 发布时间: 11-04 23:17 阅读次数: 0

Windows 10 Shell命令

貌似不能在cmd中使用,只能用在run ? “ shell:AccountPictures” 注:此命令访问Windows 10设备中的帐户图片文件夹。 “ shell:AddNewProgramsFolder” 注:添加一个新的程序文件夹。 “ shell:Administrative Tools” 注:访问管理工具文件夹。 “ shell:AppData” 注:访问Windows 10系统中的AppData文件夹。 “ shell:Application Shortcuts” 注:访问“应
分类: 其他 发布时间: 11-04 23:17 阅读次数: 0

CentOS6.8环境安装oracle 11G (图形、静默、克隆)

转至https://www.cnblogs.com/hailun1987/p/9005386.html 本节所讲内容: oracle11g基础环境配置 数据库的三种安装方式(图形、静默、克隆) http://db-engines.com REDHAT6.5安装oracle11.2.4 ORACLE11G R2官档网址: http://docs.oracle.com/cd/E11882_01/install.112/e24326/toc.htm#BHCGGJAB 1 操作系统 [root@xue
分类: 其他 发布时间: 11-04 23:17 阅读次数: 0

C++并发与多线程学习笔记--参数传递详解

传递临时对象 陷阱 总结 临时对象作为线程参数 线程id的概念 临时对象构造时的抓捕 传递类对象、智能指针 成员函数指针做线程函数 传递临时对象作为线程参数 创建的工作线程不止一个,线程根据编号来确定工作内容。每个线程都需要知道自己的编号。线程中有很多容易犯错的写法 例子1 多线程需要执行的函数: void my_print(const int &i, char* p_mybuff) { cout << i << endl; cout << p_mybuff << endl; r
分类: 其他 发布时间: 11-04 23:17 阅读次数: 0

Linux:shell基础(九)

字符处理命令 1、排序命令 :sort   sort [选项] 文件名     选项:     -f :忽略大小写     -n:以数值型进行排序(默认为字符串型进行排序)      -r:反向排序      -t:指定分隔符(默认分隔符为制表符)     -k n[,m]:按照指定的字段范围排序。从n字段开始,m字段结束。(默认到行尾)   sort -n -t ":" -k 3,3 /etc/passwd 按照第三个字段进行排序。(其中-n 是指定按照数值型排序,不然会出2在11 12 之
分类: 其他 发布时间: 11-04 23:17 阅读次数: 0

Caused by: java.lang.NumberFormatException: For input string: " 60"

原因 原原因:string转int 格式出错 解决:我的输入文件格式在根据“,”分割完之后多出了一个空格,我想要的是“60” 但是分割完之后是“ 60”所以导致格式转换不匹配。
分类: 其他 发布时间: 11-04 23:17 阅读次数: 0

linux更新yum源

linux更新yum源 1. 获取yum源文件 网易163源: http://mirrors.163.com/.help/centos.html 选择对应的系统版本并下载 2. 做好备份 linux终端运行命令 mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backup 3. 复制yum源文档 复制刚刚下载的yum源文档到/etc/yum.repos.d/CentOS-Base.repo (文件名不
分类: 其他 发布时间: 11-04 23:17 阅读次数: 0

scrapy 图片管道学习笔记

使用scrapy首先需要安装 python环境使用3.6 windows下激活进入python3.6环境 activate python36 mac下 mac@macdeMacBook-Pro:~$ source activate python36 (python36) mac@macdeMacBook-Pro:~$ 安装 scrapy (python36) mac@macdeMacBook-Pro:~$ pip install scrapy (python36) mac
分类: 其他 发布时间: 11-04 23:17 阅读次数: 0

Hadoop生态圈学习-1(理论基础)

一.大数据技术产生的背景 1. 计算机和信息技术(尤其是移动互联网)的迅猛发展和普及,行业应用系统的规模迅速扩大(用户数量和应用场景,比如facebook、淘宝、微信、银联、12306等),行业应用所产生的数据呈爆炸式增长。 2. 动辄达数数百PB甚至EB(1EB=1024PB=1024*1024TB)规模的数据已远超出传统计算机和信息系统的处理能力。 3. 有效的大数据处理技术、方法和手段已成为迫切需求。 Google的三驾马车为大数据的发展奠定十分重要的基础. Google的三驾马车(非常
分类: 其他 发布时间: 11-04 23:17 阅读次数: 0

mysql动态修改列内容

1 UPDATE test.MyT SET mark1 = (CASE WHEN content LIKE '%ce%' THEN 'c' ELSE NULL END), 2 mark2 = (CASE WHEN content LIKE '%d9999%' THEN 'd' ELSE mark2 END)
分类: 其他 发布时间: 11-04 23:17 阅读次数: 0

PHP如何配置session存储在redis

当网站用户量增多的时候,正常的session存取就会出现有点慢的问题,如果提高速度呢。 我们可以使用redis去保存session的会话信息。 PHP的会话默认是以文件的形式存在的,可以配置到NoSQL中,即提高了访问速度,又能很好地实现会话共享。 配置方式如下: 方法一:修改 php.ini 的设置 session.save_handler = redis session.save_path = "tcp://127.0.0.1:6379?auth=youpwd" 修改完之后,重启一下 ph
分类: 其他 发布时间: 11-04 23:17 阅读次数: 0

小福bbs-凡事预则立

## 【小福bbs-凡事预则立】 1.冲刺的时间计划安排(冲刺时间为期七天,安排在2019-11-3——2019-11-14之间) 冲刺的时间 计划安排 2019.11.6 开会,安排具体工作 2019.11.7 UI重构完成 2019.11.8 前端交付部分页面给后端 ,后端开始完成部分功能 2019.11.9 两个前端完成17个界面 2019.11.10 UI改进,前端页面改进,后端部分功能测试交予UI 2019.11.11 后端完成大部分功能操作,前端UI完成大部分功能测试 2019.1
分类: 其他 发布时间: 11-04 23:17 阅读次数: 0

软件工程团队作业--Alpha版本第一周小结

第一周: 姓名 学号(给出学号后六位即可) 周前计划安排(PM填写) 每周实际工作记录 自我打分(百分制) lh 061218 1. 详细阅读博客要求 ,合理分配任务2.组织第一次团队讨论,确定基本功能模块3.构思出主要模块逻辑连接 1,仔细阅读作业要求,统筹安排,并及时分配了任务2,组织第一次团队讨论,基本确定主要功能模块3,已经构思出主要模块间逻辑连接 92 lqk 061219 1.思考项目基本模块,构思各个模块间的逻辑连接2.积极思考,想出产品创新点3.参与团队讨论,分享自己思考构思结
分类: 其他 发布时间: 11-04 23:17 阅读次数: 0

使用requests实现人人网登录,并做cookie维持

import requests import re,time s = requests.Session() def doLogin(): login_url = 'http://www.renren.com/ajaxLogin/login?1=1&uniqueTimestamp=2018321648829' data = { 'email':'1352*****6', 'icode':'', 'origURL':'http://www.renren.com/home', 'dom
分类: 其他 发布时间: 11-04 23:17 阅读次数: 0

程序员到底有没有必要考研?

一直想写一篇关于读研方面的文章(之前写过一篇考研回忆,主要在讲复习方法),奈何最近脑袋不太灵光给耽搁了,恰逢今日艳阳高照,刚好离今年的考研也就一个月左右的时间了,那么今天就来聊聊读研这件事吧。考研复习那段时间最常听的一首歌,也送给大家。 壹 我与考研的那些破事 笔者作为16年考研大军的一员,深知考研之艰难,复习之不易,每天花10+小时泡在图书馆的时光还历历在目,那些年看过的“肖秀荣四套卷”、“新东方英语真题”、“考研数学复习全书”还堆在我家的桌子上。 说来好笑,最早我打算考研是听了家里人和前女
分类: 其他 发布时间: 11-04 23:17 阅读次数: 0

首屏优化系列(一)

title: 首屏优化系列(一) date: 2018-6-23 13:53:30 tags: Promise 图片懒加载 路由懒加载 categories: 前端 需求描述:优化首屏加载速度,减少白屏时间。 八一八本次项目中使用的优化手段,以及自己从中获得的知识。 由于本次项目较为复杂,模块较多,(当然不比大型电商网站),首页的请求就有8个,并且是精简之后的,稍有不慎,白屏现象就会很严重。体验极差。 ## 首页模块划分 1. 分类 2. 轮播图 3. 推荐 4. 收藏数 5. 购买数 6.
分类: 其他 发布时间: 11-04 23:17 阅读次数: 0