los datos de la colmena de MongoDB leen mongodb

MongoDB (c) de los datos de la colmena leer mongodb

Descripción: los usuarios con los datos de tabla MongoDB mesa (ii) los usuarios

1 frasco paquete preparados

mongo-hadoop-core-2.0.2.jar;
mongo-hadoop-hive-2.0.2.jar;
mongo-java-driver-3.9.1.jar;
mongodb-driver-3.9.1.jar;

2 paquete frasco subido a los hdfs

hdfs dfs -mkdir /user/mongo
hdfs dfs -put mongo*.jar /user/mongo
hdfs dfs -ls /user/mongo

3 para completar la escritura de datos MongoDB colmena y
3.1 en la colmena

beeline -u 'jdbc:hive2://localhost:10000' '' ''

3.2 Adición de paquete tarro de las hdfs colmena

add jar hdfs://sandbox-hdp.hortonworks.com:8020/user/mongo/mongo-hadoop-core-2.0.2.jar;
add jar hdfs://sandbox-hdp.hortonworks.com:8020/user/mongo/mongo-hadoop-hive-2.0.2.jar;
add jar hdfs://sandbox-hdp.hortonworks.com:8020/user/mongo/mongodb-driver-3.9.1.jar;
add jar hdfs://sandbox-hdp.hortonworks.com:8020/user/mongo/mongo-java-driver-3.9.1.jar;

Y 3.3 a los usuarios crear la tabla externa se lee de los usuarios de datos MongoDB mesa

drop table if exists demo.users;
create external table demo.users(object_id STRING,
 user_id STRING,
 locale STRING,
 birthyear INT,
 gender STRING,
 joined_at STRING,
 location STRING,
 time_zone STRING
)
 stored by 'com.mongodb.hadoop.hive.MongoStorageHandler'
 with serdeproperties('mongo.columns.mapping'='{"object_id":"_id","user_id":"user_id","locale":"locale","birthyear":"birthyear","gender":"gender"},"joinedAt":"joinedAt","location":"location","timezone":"timezone"')
 tblproperties('mongo.uri'='mongodb://192.168.30.1:27017/events_db.users');

192.168.30.1:27017 para el número IP y el puerto donde las máquinas virtuales que MongoDB, recuerde que debe modificar para su propio Oh! ! !

3.4 Después de la ejecución exitosa, ver la tabla de usuarios en la colmena

use demo;
show tables;

Nota: Debido a una tabla externa, por lo que los datos aún se guarda en MongoDB debe garantizar la existencia de la tabla de usuarios en MongoDB events_db biblioteca, o que no va a encontrar los datos.

Publicado 22 artículos originales · ganado elogios 22 · vistas 768

Supongo que te gusta

Origin blog.csdn.net/weixin_45568892/article/details/105293405
Recomendado
Clasificación