Maxwell-Reihe: Maxwell-Datenformat

Inhaltsverzeichnis

Apache Hadoop Ecology – Verzeichniszusammenfassung – Kontinuierliche Aktualisierung

1: Fügen Sie ein Datenelement ein

2: Mehrere Daten einfügen

3: Update-Anweisung

4: löschen

---

Apache Hadoop Ecology – Verzeichniszusammenfassung – Kontinuierliche Aktualisierung

Systemumgebung: Centos7

Java-Umgebung: Java8

1: Fügen Sie ein Datenelement ein

mysql> insert into test values(1,'aaa');
Maxwell数据格式json
{
     "database": "test_maxwell", --库名
     "table": "test", --表名
     "type": "insert", --数据更新类型
     "ts": 1637244821, --操作时间 
     "xid": 8714, --操作 id
     "commit": true, --提交成功
     "data": { --数据
     "id": 1,
     "name": "aaa"
 }

2: Mehrere Daten einfügen

Es wurden drei JSON-Protokolle angezeigt, was darauf hinweist, dass Maxwell Protokolle in Datenverhaltenseinheiten sammelt

Fügen Sie mehrere Daten gleichzeitig ein, der vorherige Status wartet auf Übermittlung, xoffset, der letzte ist Übermittlung: „commit“:true

mysql> INSERT INTO test VALUES(2,'bbb'),(3,'ccc'),(4,'ddd');

{"database":"test_maxwell","table":"test","type":"insert","ts":1637245127,"xid":9129,"xoffset":0,"data":{"id":2,"name":"bbb"}}

{"database":"test_maxwell","table":"test","type":"insert","ts":1637245127,"xid":9129,"xoffset":1,"data":{"id":3,"name":"ccc"}}

{"database":"test_maxwell","table":"test","type":"insert","ts":1637245127,"xid":9129,"commit":true,"data":{"id":4,"name":"ddd"}}

3: Update-Anweisung

mysql> update test set name='abc' where id =1;
{
     "database": "test_maxwell",
     "table": "test",
     "type": "update",
     "ts": 1637245338,
     "xid": 9418,
     "commit": true,
     "data": { --修改后的数据
         "id": 1,
         "name": "abc"
     },
     "old": { --修改前的数据
         "name": "aaa"
     } 
}

4: löschen

Es ist im Grunde dasselbe wie das Einzelformat der Einfügung, nur der Typ ist unterschiedlich

mysql> DELETE FROM test WHERE id =1;
{
     "database": "test_maxwell",
     "table": "test",
     "type": "delete",
     "ts": 1637245630,
     "xid": 9816,
     "commit": true, 
     "data": {
         "id": 1,
         "name": "abc"
     } 
}