springboot的CSV导入clickhouse;批量导入数据库

上传CSV文件到ubuntu虚拟机,clickhouse导入csv文件

	vsftpd
	clickhouse
	读取data.csv文件
	root权限
  1. 开启clickhouse远程访问

    找到clickhouse-server目录底下的config.xml

    修改配置文件:
    

    <listen_host>::</listen_host>

    然后开启端口号

  2. 1.端口号打开

    打开端口
    
        # sudo iptables -I INPUT -p tcp --dport [端口号] -j ACCEPT
        sudo iptables -I INPUT -p tcp --dport 80 -j ACCEPT
        # 临时保存配置,重启后失效
        sudo iptables-save
    
    持久化开放端口配置
    
        sudo netfilter-persistent save
        sudo netfilter-persistent reload
    
    查看端口:
    
        netstat -patn
    
  3. 安装FTP服务
    apt-get install vsftpd

       配置FTP服务
         使用vim打开vsftpd.conf配置文件。
        vim /etc/vsftpd.conf
        
      输入/进入搜索模式,找到以下两个参数,取消注释让其生效。
        write_enable=YES
        utf8_filesystem=YES
       
    	 重启FTP服务
        systemctl restart vsftpd
    		验证FTP服务
        服务端自身进行连接验证。
        ftp localhost
    
  4. 在windows主机上用ftp 命令连接虚拟机

    ftp+端口号 用户名 密码 验证 Login successful 连接成功

  5. Root用户ftp连接

    vim /etc/ftpuser
    在这个文件中把root用户给删除掉;root用户就能远程登录了

  6. 修改ftp上传文件的权限

    因为上传数据到-root才能打开的文件夹
    需要修改上传文件的权限

    修改/etc/vsftpd.conf文件
    直接把权限改为777 =.=
    local_umask=777

  7. 关于csv文件上传到ubuntu,数据导入到clickhouse数据库

    先通过file引擎创建表
    在clickhouse数据文件的目录下 /var/lib/clivkhouse/data/defaut/表名/
    把文件上传到表名/底下的目录下;并且设置文件名为data.CSV
    但是在clickhouse-server读取文件data.csv的权限应该是普通用户权限
    在只有700权限的data.csv文件夹,clickhouse客户端会报错权限不允许;

猜你喜欢

转载自blog.csdn.net/qq_44695722/article/details/113742101
今日推荐