hive：函数：聚合函数：count() 及多用法之count中使用函数
业务情景一： select
count(first_interview) first_interviews,
count(submit_time) submit_time,
count(length(concat(submit_time,bg_time))>26) submit_time,
count(followupdate) followupdate,
count(arrivaldate) arrivaldate,
count(*) reports
from dws.dws_
hive：函数：concat 和 concat_ws
concat 函数： 直接合并两个字段 select concat("你好","明天") filed;
返回：
你好明天 concat_ws函数： 以指定字符连接字符串或字段 select concat_ws("_","你好","明天") filed;
返回：
你好_明天
hive：函数：正则：regexp_extract 匹配正则取字段中的中文或英文
========英文=======
select regexp_extract("Aptamil 爱他美(德国)",'([A-Z][a-z]*(\\s|$))+', 1) filed;
返回：
Aptamil
========中文=======
hive：函数：内置函数：round()/floor()/ceil()
hive (default)> select round(2.6);
OK
_c0
3.0
Time taken: 1.331 seconds, Fetched: 1 row(s)
hive (default)> SELECT floor(2.6);
OK
_c0
2
Time taken: 0.094 seconds, Fetched: 1 row(s)
hive (default)> SELECT ceil(2.6);
OK
_c0
3
Time taken: 0.066 seconds,
hive：导入CSV文件
一个导入案例： CREATE TABLE
tmp.csv_t1
(
a string,
b string,
c string
)
row format serde 'org.apache.hadoop.hive.serde2.OpenCSVSerde' WITH SERDEPROPERTIES
(
"separatorChar"=","
)
STORED AS TEXTFIL
linux：grep
grep -R -l 递归过滤文件夹中文件内容： 查找 Employee 关键字 在某个目录下的所有文件中出现的情况：
不指定目录默认遍历当前目录：
grep -r Employee -l
后面直接指定具体目录
grep -r Employee -l /var/lib/hadoop-hdfs/spride_sqoop_beijing/ 参考： http://blog.itpub.net/24237320/viewspace-2130023/
spark：开发本地测试的wordcount程序
1.使用Java开发本地测试的wordcount程序-1 2.使用Scala开发本地测试的wordcount程序-1 测试文件上传： hadoop fs -put wordcount.txt /wordcount.txt 使用eclipse开发实现： 开发时注意导入 spark-assembly-1.6.0-hadoop2.6.0.jar包。 读取本地文件： scalaWordCountDemoLocalFile.sh /usr/local/spark/bin/spark-submit \
-
hive:函数：关系函数 / 比较函数
等值比较: = 语法：A=B。如果表达式A与表达式B相等，则为TRUE；否则为FALSE 不等值比较: <> 语法: A <> B。如果表达式A为NULL，或者表达式B为NULL，返回NULL；如果表达式A与表达式B不相等，则为TRUE；否则为FALSE 小于比较: < 语法: A < B。 如果表达式A为NULL，或者表达式B为NULL，返回NULL；如果表达式A小于表达式B，则为TRUE；否则为FALSE 小于等于比较: <= 语法: A <= B。如果表达式A为NULL，或者表达式B为N
效率源与电子科技大学信息与软件工程学院签订战略合作协议
4月16日下午，效率源与电子科技大学信息与软件工程学院（以下简称“学院”）签署战略合作协议，正式建立战略伙伴关系。学院院长周世杰、党委副书记朱国斌，效率源董事长梁效宁、总经理游小军等人出席签约仪式。 效率源此次能够与学院签订战略合作框架协议，是双方在多层次合作道路上的重要里程碑。签约仪式上，双方就人才培养、产学研转化、实习实训等校企合作方向进行深入洽谈。 梁效宁董事长首先给学院各参会领导介绍了效率源的总体情况，提出了拟合作的目标和内容，希望学院可以加入联合申报以企业牵头的国家级重点实验室；其次
【技术实战】复合文档损坏，如何快速手动修复？
关于复合文档 复合文档是一种多元化文档，不仅包含传统意义上的文本，还包括图形、电子表格数据、声音、视频图像以及其他信息，它的广泛应用极大的满足了现代化办公需求，同时复合文档的数据恢复已经成为现在数据恢复领域中一项重要内容，尤其是以文件头故障最为普遍。 当然，不同版本文件结构不同，本期#技术实战#源妹从具体实际案例出发，给大家分享有关手动修复损坏复合文档的其中一种方法，希望对你有一定参考价值！ 一.案件详情 在一次案件侦破中，办案人员需要恢复嫌疑人计算机中的文档文件，通过数据恢复工具恢复了所需文
复联4里的钢铁侠原型是谁？(剧透警告慎入)
《复仇者联盟4：终局之战》终于上映了，对于无数漫威粉来说既惊喜又不舍。 初代超级英雄以不同的方式谢幕，这是一代传奇的完结，更是一代人的英雄梦落下帷幕。 钢铁侠托尼·史塔克舍身取义，换来了最后的大战的胜利，让无数影迷为之泪奔。但是，你可知道历史上钢铁侠的原型人物是谁吗？ 埃隆·马斯克（Elon Musk） 关于钢铁侠的原型人物，有过几个人选。特斯拉的CEO马斯克是其中之一。那是因为在拍摄《钢铁侠1》的时候，导演曾经说过，他在拍摄这个角色，这个超级英雄的时候，脑中所想的，就是马斯克。 但事实上，马
这个年薪百万的新职业，火了！
4月2日，人力资源和社会保障部、市场监管总局、统计局正式向社会发布了13个新职业信息，这些新职业包括： 人工智能工程技术人员 物联网工程技术人员 大数据工程技术人员 云计算工程技术人员 数字化管理师 电子竞技运营师 电子竞技员 建筑信息模型技术员 无人机驾驶员 农业经理人 物联网安装调试员 工业机器人系统操作员 工业机器人系统运维员 晃眼一看，全是跟IT高科技相关的职业，物联网、人工智能、大数据、云计算全是科技热词。知道这些热词的真正定义吗？可能很多人都会一脸懵逼。接下来，效哥就为大家盘点一下
来成都旅游，千万不要做的22件事！
一年一度“五一劳动节”即将到来了， 今年的五一4天假！ 今年的五一4天假！ 今年的五一4天假！ 大家准备好去哪儿玩了吗？ 日前，美团发布了 《2019五一国内旅游新趋势报告》 用大数据分析了五一假期期间的 消费者出游新趋势。 新晋网红城市成都又一次荣登 五一全国热门旅游城市第3名。 如果你恰好五一节也来成都， 源妹本着负责任的态度告诉你 这22件事千万不要做！！！ 01 不要轻易相信天气预报 虽然成都是亚热带季风性湿润气候，但成都的天气非常任性！时不时还随机四季。当然春秋两季和339的烟花一样
四川内江首个网络社会组织“诞生”！效率源董事长当选为会长
4月28日，四川内江市网络社会组织联合会成立，标志着内江首个由内江本土具有一定代表性和社会影响力的互联网企业及社团自愿结成的地方性、联合性、非营利性的网络社会组织“诞生”。效率源董事长梁效宁当选为首届会长。 △内江市委常委、宣传部部长、统战部部长潘梅为网联会授牌 近年来，内江互联网事业快速发展，数字经济加快发展，内江网民规模目前已达260万，2018年内江电子商务网络交易量排名全省第三位。与此同时，内江还着力打造成渝经济区电子信息产业配套基地，建设信息安全产业园，在全省率先建成“全光网城市”。
入选司法部案例库，效率源协助的这起网络游戏外挂案到底“优”在何处？
好消息！好消息！ 效率源协助鉴定的 “某非法获取计算机信息系统数据案” 即《列王的纷争》网络游戏外挂案 作为典型的新型犯罪案件 成功入选司法部案例库！ 2018年初，司法部通过12348中国法网（中国法律服务网）正式向社会发布首批司法行政（法律服务）案例库。“12348中国法网”是司法部2018年全面深化改革力推项目，发布的案例指导全国，极具权威性，全国案例均可在12348中国法网的司法行政（法律服务）案例库中搜索查阅。 此次入选司法部案例库， 网络游戏外挂案到底“优”在何处？ 我们一起来看看
今日推荐
周排行