apache druid presto para a grande processamento de dados e são polimerizados por meio de tratamento estatístico de grande memória de dados, suporte python
dados de código 1.druid python ler: Use pydruid
de pydruid.client * Importação
de pydruid.utils importação agregadores
PyDruid = consulta ( " HTTP: // IP: porta ", 'Druid / V2')
condições # onde pode haver um filtro ou um estado da tarefa ID
SQL = "TASK_ID o SELECT, Status, DataSource, o DE sys.tasks DURAÇÃO"
= Self.query.cursor curs ()
curs.execute (STR (SQL))
# podem ser reciclados curs aquisição resultado
de impressão (curs)
2.presto pode pyhive ou prestdb, o desempenho do teste é prestodb estável, não limite de tempo pyhive-segundo, incluindo o uso de super conjunto de banco de dados pronto ligado pyhive também existem dúvidas que consomem tempo:
(1) ligação mysql
criado no presto etc / catalgo em arquivos de propriedades, .properties sufixo:
connector.name = MySQL
Connection-url = jdbc: MySQL: // ip: porta
de conexão-user = mysql usuário de login
connection-password = senha mysql
prestodb código da biblioteca:
Import prestodb
Conn = prestodb.dbapi.connect (
Host = 'IP',
porta = 8080, # portos
user = 'mysql nome de usuário de banco de dados, não está disposta no Connection propriedades do arquivo pelo usuário',
Catálogo = 'Propriedades nome do arquivo sem o sufixo '
esquema =' nome do banco',
)
CUR = conn.cursor ()
sql = "SELECT nome FROM GROUP nome da tabela campo por nomes de campo, os nomes de campo"
cur.execute (SQL)
linhas = cur.fetchall ()
# imprimir o resultado
de impressão (linhas)
(2) mongodb conectado: no MongoDB onde você precisa adicionar propriedades arquivo para configurar o nome de usuário e senha, não tenha efeito, o registro de banco de dados pode obter o código de dados na mesma conexão MySQL
criar um arquivo de propriedades no presto dos anos etc / catalgo, .properties sufixo:
Conector MongoDB = .name
mongodb.seeds = ip: port
mongodb.schema-collection = criar automaticamente uma tabela de informações de campo
mongodb.credentials = Nome de usuário: coleção de senha do usuário @