jaeger+elasticsearch（cassandra ） 单机部署以及（400）报错

Jaeger 快速体验

官网下载地址 https://www.jaegertracing.io/download/

GitHub 下载地址 https://github.com/jaegertracing/jaeger/releases

下载二进制文件压缩包后，运行解压后的 all-in-one 文件即可。

jaeger-all-in-one 采用内存存储数据，专为快速本地测试设计。

example-hotrod 为示例应用程序，运行访问，在 Jaeger UI 上即可查询数据。

Jaeger 组件

agent

jaeger-agent 是跟随集成 jaeger 的应用程序一起部署在每台服务器上的采集程序二进制文件。

collector

jaeger-collector 是与 agent 对接的程序文件，并将 agent 采集的数据存储在 Cassandra 或 Elasticsearch 中。可以负载均衡方式多实例运行。

query

jaeger-query 是 web-ui 层，展示和查询 Cassandra 或 Elasticsearch 中的数据。可以负载均衡方式多实例运行。

ingester

jaeger-ingester 是从 Kafka 中消费数据存储到 Cassandra 或 Elasticsearch 的服务程序。

部署

Cassandra

安装

配置文件：cassandra.yaml

docker 镜像地址

单机版

docker run --name jaeger-cassandra -d -p 7000:7000 -p 7001:7001 -p 7199:7199 -p 9042:9042 -p 9160:9160 cassandra:latest

集群版

请参考文档

无论是否使用容器，单机还是集群请阅读配置文件和官方文档这里不再祥述。

创建 keyspace

CREATE KEYSPACE qschou

WITH replication = {'class': 'SimpleStrategy', 'replication_factor' : 3};

创建数据表

表结构地址：https://github.com/jaegertracing/jaeger/tree/master/plugin/storage/cassandra/schema

选择 v001.cql.tmpl 或 v002.cql.tmpl ，

注意里面有4个变量，也可以替换后在 cqlsh 中执行。

{replication} = 参考 keyspaces 段落

default_time_to_live = 表的默认到期时间（）（以秒为单位）{dependencies_ttl}

以上参数可通过 https://cassandra.apache.org/doc/latest/cql/ddl.html#create-table 查询.

Elasticsearch

安装

docker 镜像地址

单机版

docker run -d --name jaeger-es -p 9200:9200 -p 9300:9300 -e “discovery.type=single-node” elasticsearch:latest

创建 index

curl -X PUT \

http://localhost:9200/qschou \

-H ‘Content-Type: application/json’ \

-d '{

"settings" : {

    "index" : {

        "number_of_shards" : 3,

        "number_of_replicas" : 2

    }

}

}’

查询 index

curl -X GET ‘http://localhost:9200/_cat/indices?v=&=’

部署 Jaeger 组件

采用 cassandra 存储

jaeger-collector

SPAN_STORAGE_TYPE=cassandra ./jaeger-collector --cassandra.keyspace=qschou --cassandra.servers=127.0.0.1 --cassandra.port=9042

jaeger-query

SPAN_STORAGE_TYPE=cassandra ./jaeger-query --cassandra.keyspace=qschou --cassandra.servers=127.0.0.1 --cassandra.port=9042

jaeger-agent

./jaeger-agent --collector.host-port=127.0.0.1:14267

采用 elasticsearch 存储

jaeger-collector

SPAN_STORAGE_TYPE=elasticsearch ./jaeger-collector --es.server-urls=http://127.0.0.1:9200 --es.index-prefix=qschou

jaeger-query

SPAN_STORAGE_TYPE=elasticsearch ./jaeger-query --es.server-urls=http://127.0.0.1:9200 --es.index-prefix=qschou

jaeger-agent

./jaeger-agent --collector.host-port=127.0.0.1:14267

Web UI 地址: http://localhost:16686

通过阿里云 sls 存储链路信息

sls 是我司常用的日志服务，可以通过 Jaeger on Aliyun Log service 进行集成。

sls endpoint https://help.aliyun.com/document_detail/29008.html

collector

推荐部署多实例

内网环境下请使用内网 endpoint

SPAN_STORAGE_TYPE=aliyun-log ./collector-darwin --cc.endpoint=cn-hangzhou.log.aliyuncs.com --aliyun-log.access-key-id=LT** --aliyun-log.access-key-secret=ho** --aliyun-log.project=dbj-mp --aliyun-log.span-logstore=coupon-api

agent

SPAN_STORAGE_TYPE=aliyun-log ./agent-darwin --collector.host-port=127.0.0.1:14267

query

推荐部署多实例

这里使用 docker

docker run -d --name jaeger-query -p 16686:16686 -e SPAN_STORAGE_TYPE=aliyun-log registry.cn-hangzhou.aliyuncs.com/jaegertracing/jaeger-query:0.1.9 /go/bin/query-linux --aliyun-log.endpoint=cn-hangzhou.log.aliyuncs.com --aliyun-log.access-key-id=LT** --aliyun-log.access-key-secret=ho** --aliyun-log.project=dbj-mp --aliyun-log.span-logstore=coupon-api --query.static-files=/go/jaeger-ui/

Cassandra 介绍

Cassandra 由 Facebook 使用 Java 开发且在2008年开源的分布式 NoSQL 数据库，2009年由 Apache 孵化托管。

使用类似 SQL 的 CQL 语言实现数据模型的定义和读写。

且与 Dynamo 系统架构类似，是基于一致性哈希的完全 P2P 架构，每行数据通过哈希来决定应该存在哪个或哪些节点中。集群没有 master 的概念，所有节点都是同样的角色，避免了单点问题，提高了稳定性。

使用了 Google 设计的 BigTable 的数据模型，与面向行(row)的传统的关系型数据库或键值存储的key-value数据库不同，Cassandra使用的是宽列存储模型(Wide Column Stores)，每行数据由 row key 唯一标识之后，可以有最多20亿个列，每个列有一个column key标识，每个column key下对应若干value。这种模型可以理解为是一个二维的 key-value 存储，即整个数据模型被定义成一个类似map>的类型。

cqlsh

cqlsh 是一个命令行 shell，用于通过 CQL 与 Cassandra 交互。它随每个 Cassandra 软件包一起提供，可以在 cassandra 可执行文件旁边的 bin 目录中找到。它连接到命令行上指定的单个节点。

keyspaces

key 空间: 类似 MySQL 中的数据库。

查看所有 keyspaces

DESCRIBE KEYSPACES;

文档: https://cassandra.apache.org/doc/latest/tools/cqlsh.html#describe

创建 keyspace

– test

CREATE KEYSPACE qschou

WITH replication = {'class': 'SimpleStrategy', 'replication_factor' : 3};

– prod

CREATE KEYSPACE qschou

WITH replication = {'class': 'NetworkTopologyStrategy', 'DC1' : 1, 'DC2' : 3}

AND durable_writes = false;

文档: https://cassandra.apache.org/doc/latest/cql/ddl.html#create-keyspace

选择 keyspace

USE keyspace_name

创建 table

CREATE TABLE timeline (

userid uuid,

posted_month int,

posted_time uuid,

body text,

posted_by text,

PRIMARY KEY (userid, posted_month, posted_time)

) WITH compaction = { ‘class’ : ‘LeveledCompactionStrategy’ };

文档: https://cassandra.apache.org/doc/latest/cql/ddl.html#create-table

展示 keyspace 下所有 table

DESCRIBE qschou;

Elasticsearch 介绍

Elasticsearch 是一个高度可扩展的基于 Lucene 的开源全文搜索和分析引擎。它允许您快速，近实时地存储，搜索和分析大量数据。它通常用作底层引擎/技术，为具有复杂搜索功能和要求的应用程序提供 RESTful 接口支持。

近实时 意味着从索引文档到可搜索文档的时间有一点延迟（通常是一秒）。

Index

索引: 是具有某些类似特征的文档集合，索引由名称标识必须全部为小写。

*****jaeger报错问题处理（HTTP Error: Search service failed: elastic: Error 400 (Bad Request)）

答：可查看jaeger及Elasticsearch版本是否符合，亲试成功（Jaeger1.11+elasticsearch5.6.16 可单机部署搭建）