Estoy tratando de archivo CSV de importación para que el archivo elástica, pero es falla y lanza un error
Pipeline abortado debido a un error {: pipeline_id => "principal",: excepción => #,: traza => [ "/ usr / local / Bodega / logstash / 7.6.1 / libexec / proveedor / paquete / jruby / 2.5.0 /gems/logstash-filter-mutate-3.5.0/lib/logstash/filters/mutate.rb:222:in
block in register'", "org/jruby/RubyHash.java:1428:in
cada uno ' "" /usr/local/Cellar/logstash/7.6.1/libexec/vendor/bundle/ jruby / 2.5.0 / gemas / logstash-filter-mutan-3.5.0 / lib / logstash / filtros / mutate.rb: 220: enregister'", "org/logstash/config/ir/compiler/AbstractFilterDelegatorExt.java:56:in
registro ' "" /usr/local/Cellar/logstash/7.6.1/libexec /logstash-core/lib/logstash/java_pipeline.rb:200:inblock in register_plugins'", "org/jruby/RubyArray.java:1814:in
cada uno ' "" /usr/local/Cellar/logstash/7.6.1/libexec/logstash-core/lib/logstash/java_pipeline.rb:199: enregister_plugins'", "/usr/local/Cellar/logstash/7.6.1/libexec/logstash-core/lib/logstash/java_pipeline.rb:502:in
maybe_setup_out_plugins' "" /usr/local/Cellar/logstash/7.6.1/libexec/logstash-core/lib/logstash/java_pipeline.rb:212:instart_workers'", "/usr/local/Cellar/logstash/7.6.1/libexec/logstash-core/lib/logstash/java_pipeline.rb:154:in
ejecutar '", "/usr/local/Cellar/logstash/7.6.1/libexec/logstash-core/lib/logstash/java_pipeline.rb:109:in `bloque en el comienzo'"], "pipeline.sources" => [ "/Users/user/Document/Esk-Data/xudaxia.conf"],: hilo => "#"}
A continuación se conf archivo
input
{
file{
path => ["/test.csv"]
start_position => "beginning"
}
}
filter{
csv{
separator => ","
columns => ["comment_time","comment", "id", "video_time"]
}
mutate{
convert => {
"comment_time" => "date_time"
"comment" => "string"
"id" => "integer"
"video_time" => "float"
}
}
}
output{
elasticsearch{
hosts => ["localhost:9200"]
index => "test"
}
}
test.csv
comment_time comment id video_time
2020/03/22 15:59:41 バイ a 123.100
2020/03/22 15:59:45 บาย b 100.100
2020/04/22 15:59:50 ByeBye c 80.210
¿Alguien puede ayudar?
Según la documentación de la opción date_time
no existe para convertir la acción en mutate
Plugin - doc aquí . Sin embargo este plugin se utiliza para emitir un tipo en otro, que no es el caso de uso. Si comment_time
no se reconoce como campo de fecha que debe trasform con date
Plugin - doc aquí .
Por lo que debe eliminar este bloque:
mutate{
convert => {
"comment_time" => "date_time"
"comment" => "string"
"id" => "integer"
"video_time" => "float"
}
}
y sustituirla por la siguiente:
date {
match => [ "comment_time", "yyyy/MM/dd HH:mm:ss"
}