1、统计类函数
1.1 分位数
90%分位数:
quantile(0.9)()
在求(平均)响应时间时用到,quantile(0.9)(url_rt)
1.2 中位数
median()
还未使用到,median(url_rt)
1.3 相关系数
计算x与y的相关系数,计算公式:
,取值范围[-1,1],其绝对值越大代表线性关系越强,当相关系数为0时,表示x与y之间没有线性相关关系(不代表没有非线性关系):
corr(x,y)
还未使用到,corr(url_rt,hit)
2、类型转换函数
2.1 转换为字符串
toString()
在Superset中应用较多,toString(date)
3、时间日期函数
3.1 截取年份
toYear()
应用形式toYear(date)
3.2 截取月份
toMonth()
应用形式toMonth(date)
,例如date = ‘2018-07-25’,得到结果为7
3.3 截取天
toDayOfDay()
应用形式toDayOfDay(date)
,例如date = ‘2018-07-25’,得到结果为25
3.4 截取计算星期
toDayOfWeek()
应用形式toDayOfWeek(date)
,例如date = ‘2018-07-25’,得到结果为3
上方
3.5 截取计算小时
toHour()
应用形式toHour(ts)
,例如date = ‘2018-07-25 08:10:20’,得到结果为8
3.6 截取计算分钟
toMinute()
与上方类似,用在物化视图中分钟级聚合
3.7 截取计算秒
toSecond()
与上方类似
以下函数与上方函数极为类似。
3.8 从截小时开始截取
toStartOfHour()
应用形式toStartOfHour(ts)
,例如date = ‘2018-07-25 08:01:21’,得到结果为2018-07-25 08:00:00
4、字符串处理
4.1 小写转换
lower()
应用形式lower('aBcA')
4.2 大写转换
upper()
应用形式upper('aBcA')
4.3 字符串拼接
concat(s1,s2,...)
应用形式concat('adsa','121sf')
4.4 字符串截取
substring(s, offset, length)
应用形式substring('iioomAjOOBJB', 2, 3)
,从字符串的第2位起截取3个字符,得到ioo
4.5 字符串拆分
splitByString(separator , s)
SELECT splitByString(',','afffv,safe,efwee,htrjt' ) AS temp;
,结果:[‘afffv’,‘safe’,‘efwee’,‘htrjt’]。
和length()
结合使用,SELECT length(splitByString(',','afffv,safe,efwee,htrjt' )) AS temp_num;
,结果:4。
5、搜索函数
5.1 正则匹配之match()
match(haystack,pattern)
应用形式match('avhsca','vh)
,是否由匹配字段,字符串中由’vh’字符串,结果输出为1
5.2 正则匹配之extract()
返回匹配到的第一个子串:
extract(haystack,pattern)
应用形式extract('iioomAj12123124OOBJB', '\\d+')
,匹配多个数字,并返回第一个子串,结果输出为’12123124’
extract('iioomAj12123124OOBJB', '\\[a-z]+')
,匹配小写字母的子串,并返回第一个子串,结果输出为’iioom’
5.3 正则匹配之extractAll()
返回匹配到的所有子串:
extractAll(haystack,pattern)
应用形式extract('iioomAj12123124OOBJB', '\\[A-Z]+')
,匹配大写字母的子串,并返回所有子串,结果输出为[‘A’,‘OOBJB’]
5.4 正则匹配之like()
返回匹配到的数据:
like(haystack,pattern)
可以包含:%和_等字符
一般应用于模糊查找URL
5.5 正则匹配之notLike()
notLike(haystack,pattern)
得到结果与like()
相反。
5.6 正则替换之replaceOne()
replaceOne(haystack,pattern,replacement)
只替换第一个匹配到的pattern。
5.7 正则替换之replaceAll()
replaceAll(haystack,pattern,replacement)
替换匹配到的所有pattern。可以和length()
函数搭配来统计某个字符的个数,SELECT (length(task_ids)-length(replaceAll(task_ids,',','')) + 1) AS task_num FROM dcm_mission_all ;
统计任务的数量,task_ids可能取值为‘123,5325,564564,234’,执行后结果为:4。
5.8 正则替换之replaceRegexpAll()
replaceRegexpAll(haystack,pattern,replacement)
与replaceAll()类似,pattern可以用正则表示,SELECT replaceRegexpAll('Hello, World!', '^', 'here: ') AS res;
,得到:here: Hello, World!
6、条件语句
6.1 if()
if(cond,then,else)
条件cond为TRUE,返回then处的结果,否则,返回else处的结果。
7、URL操作函数
7.1 protocol()
用法:
SELECT protocol('http://www.baidu.com.cn')
结果:http。
7.2 domain()
用法:
SELECT domain('http://www.baidu.com.cn')
结果:www.baidu.com.cn。
7.3 domainWithoutWWW()
用法:
SELECT domainWithoutWWW('http://www.baidu.com.cn')
结果:baidu.com.cn。
7.4 topLevelDomain()
用法:
SELECT topLevelDomain('http://www.baidu.com.cn')
结果:cn。
7.5 firstSignificantSubdomain()
用法:
SELECT firstSignificantSubdomain('http://www.baidu.com.cn')`
结果:baidu。
7.6 path()
用法:
SELECT path('https://www.baidu.com/s?wd=SQL%E4%B8%AD%E7%9A%84split&rsv_spt=1&rsv_iqid=0xb79d2a30000683c8&issp=1&f=8&rsv_bp=1&rsv_idx=2&ie=utf-8&rqlang=cn&tn=baiduhome_pg&rsv_enter=0&oq=SQL%2520if()&rsv_t=c9ecC9JfyBAd%2Bobx3UmEq4ZivwZzO7M%2Bar6xjhU3caPXwxMwD76F9AUI%2FaX%2B6jUYE4Lb&inputT=7416&rsv_pq=c8d2f6750000cc4e&rsv_sug3=35&rsv_sug1=35&rsv_sug7=100&rsv_sug2=0&rsv_sug4=8521')
结果:/s。
7.7 cutQueryString()
用法:
SELECT cutQueryString('https://www.baidu.com/s?wd=SQL%E4%B8%AD%E7%9A%84split&rsv_spt=1&rsv_iqid=0xb79d2a30000683c8&issp=1&f=8&rsv_bp=1&rsv_idx=2&ie=utf-8&rqlang=cn&tn=baiduhome_pg&rsv_enter=0&oq=SQL%2520if()&rsv_t=c9ecC9JfyBAd%2Bobx3UmEq4ZivwZzO7M%2Bar6xjhU3caPXwxMwD76F9AUI%2FaX%2B6jUYE4Lb&inputT=7416&rsv_pq=c8d2f6750000cc4e&rsv_sug3=35&rsv_sug1=35&rsv_sug7=100&rsv_sug2=0&rsv_sug4=8521')
8、字典函数
8.1 dictGetString()
用法:
SELECT dictGetString('ck_abc_dic', 'ck_value', tuple(_abc)) AS abc
FROM DB.TABL
WHERE date=today()
LIMIT 10;