前書き
データシステムでは、多くの場合、オンライン時間などの時間の長さのデータをカウントする必要があります。これらのデータの一部は統計には適していますが、少し厄介なものもあります。たとえば、ログインおよびログアウトログに基づくユーザーのオンライン時間の統計。
ウィンドウ関数leadおよびlagを使用してそれを完了することができます。これは非常に便利です。leadの機能は、データの特定の列の後でn番目の行のデータを現在の行にスプライスし、lagは指定された列の前のn番目の行のデータを現在の行にスプライスします。
lag(column,n,default)
lead(column,n,default)
パラメータcolumnはスプライスする列を選択し、パラメータnは移動する行数を示します。通常は1行が移動します。デフォルトはデフォルト値です。ラグの前に行がない場合、リードの後に行がない場合はデフォルト値が使用されます。
これら2つの関数を使用する際の重要なポイントは、パーティションと並べ替えです。
select gid,
lag(time,1,'0') over (partition by gid order by time) as lag_time,
lead(time,1,'0') over (partition by gid order by time) as lead_time
from table_name;
複数の列をコンマでグループ化するには、partition byを使用します。
並べ替えはorder byで指定され、複数の並べ替え列はカンマで区切られます
リードとラグの組み合わせは私たちの想像を超えることができます。
たとえば、ログインとログアウトのログを介してオンライン時間の統計を行う場合、要件が高くない場合は簡単です。ユーザーIDのグループ化、時間の昇順、そしてリードを使用して、現在のログイン時間の行に接続された次のログアウト時間を簡単に計算できます。
しかし、クロスデーの問題とログの喪失があることを考えると、最初の問題がログインログであり、後者が出口ログであるかどうかはわかりません。
リードとラグを組み合わせることで、違法データを簡単に除外できます。
特定のコード
import org.apache.spark.sql.Dataset;
import org.apache.spark.sql.Encoders;
import org.apache.spark.sql.Row;
import org.apache.spark.sql.SparkSession;
import org.apache.spark.sql.api.java.UDF6;
import org.apache.spark.sql.functions;
import org.apache.spark.sql.types.DataTypes;
import org.junit.Before;
import org.junit.Test;
import java.io.Serializable;
import java.time.LocalDateTime;
import java.time.ZoneOffset;
import java.time.format.DateTimeFormatter;
import java.time.temporal.ChronoUnit;
import java.util.LinkedList;
import java.util.List;
public class SparkLoginTimeTest implements Serializable {
private SparkSession sparkSession;
@Before
public void setUp() {
sparkSession = SparkSession
.builder()
.appName("test")
.master("local")
.getOrCreate();
}
private static List<Info> getInfos() {
String[] gids = {
"10001","10001","10002","10002","10003","10003","10004","10004","10005","10005"};
LocalDateTime base = LocalDateTime.of(2020, 1, 1,0,0,0);
LinkedList<Info> infos = new LinkedList<>();
for(int i=0;i<50;i++){
Info info = new Info();
info.setGid(gids[i%10]);
info.setResult(i % 2);
info.setDate(base.plus(i * 5, ChronoUnit.MINUTES).toInstant(ZoneOffset.UTC).toEpochMilli());
infos.add(info);
}
return infos;
}
@Test
public void lag(){
List<Info> infos = getInfos();
sparkSession.udf().register("accTimes",accTimes(), DataTypes.LongType);
Dataset<Info> dataset = sparkSession.createDataset(infos, Encoders.bean(Info.class));
dataset.show(100);
dataset.createOrReplaceTempView("temp");
String sql = "select gid,result,date," +
"lead(date,1,-1) over(partition by gid order by date) lead_date," +
"lead(result,1,-1) over(partition by gid order by date) lead_result," +
"lag(result,1,-1) over(partition by gid order by date) lag_result," +
"lag(date,1,-1) over(partition by gid order by date) lag_date" +
" from temp";
Dataset<Row> baseDs = sparkSession.sql(sql);
Dataset<Row> rs = baseDs.withColumn("acc_times",
functions.callUDF("accTimes",
baseDs.col("result"),
baseDs.col("date"),
baseDs.col("lead_result"),
baseDs.col("lead_date"),
baseDs.col("lag_result"),
baseDs.col("lag_date")
)).groupBy("gid")
.agg(functions.sum("acc_times").alias("accTimes")).na().fill(0)
.select("gid", "accTimes");
rs.show(100);
}
private static UDF6<Integer,Long,Integer,Long,Integer,Long,Long> accTimes(){
return new UDF6<Integer, Long, Integer, Long, Integer, Long, Long>() {
long dayMill = 86400000;
@Override
public Long call(Integer result, Long time, Integer headResult, Long headTime, Integer lagResult, Long lagTime) {
if(lagResult == -1){
//第一行
if(result == 1){
//退出，计算退出到这一天的开始时间
return time - (time / dayMill) * dayMill ;
}
}
if(headResult == -1){
//最后一行
if(result == 0){
//进入，计算到这一天结束
return (time / dayMill + 1) * dayMill - time;
}
}
if(result == 0 && headResult == 1){
//当前行是进入，并且下移行是退出
long rs;
rs = headTime - time;
if(rs > 0) {
return rs;
}
}
return 0L;
}
};
}
public static class Info implements Serializable {
/**
* 用户唯一标识
*/
private String gid;
/**
* 登录、退出时间
*/
private Long date;
/**
* 0-登录、1-退出
*/
private Integer result;
public Integer getResult() {
return result;
}
public void setResult(Integer result) {
this.result = result;
}
public String getGid() {
return gid;
}
public void setGid(String gid) {
this.gid = gid;
}
public Long getDate() {
return date;
}
public void setDate(Long date) {
this.date = date;
}
}
}
