【Hadoop】面试复习知识总结
Hadoop是Apache开发的分布式、高可靠、可扩展的分布式系统基础架构。它的特点是：高可靠、可扩展、高效性、高容错性、低成本。Hadoop Common：支持其他Hadoop模块的通用程序；HDFS：分布式文件系统；MapReduce：处理大量半结构化数据集合的编程模型；Yarn：作业调度和集群资源管理的框架；Ozone:基于HDFS进行对象的存储。HDFSNamenode启动...
【就业难】面试Java部分必备知识
Java SE面向对象有哪些特性？说说你的理解。封装：把数据和操作数据的方法绑定起来，对数据的访问只能通过已定义的接口。继承：继承是从已有类得到继承信息创建新类的过程。多态：多态指同一个实体同时具有多种形式。在面向对象语言中，接口的多种不同的实现方式即为多态。抽象：将一类对象的共同特征抽象构造成类；访问权限修饰符public、private、protected, 以及不写（默认...
【大数据】从0配置一个大数据集群
三台虚拟机/云服务器三个节点滴滴云修改默认root登录查看大佬超详细博客修改hostsip地址 hadoop1ip地址 hadoop2ip地址 hadoop3免密登录生成秘钥ssh-keygen -t rsa拷贝ssh-copy-id root@hadoop1 (分别三个机器上都拷贝3次）永久关闭防火墙systemctl disable firewalldc...
【Hive】常用的操作
连接hive先开启hiveserver2然后beeline连接[root@hadoop1 conf]# beeline --hiveconf hive.server2.logging.operation.level=NONEBeeline version 1.6.3 by Apache Hivebeeline> !connect jdbc:hive2:///hadoop1...
【Springboot】Springboot JPA操作Greenplum
遇到的坑上班第二天差点删库跑路第一次使用这个，配置拷贝别人的，配置的是spring.jpa.hibernate.ddl-auto=create，把公司的表删了！幸好那个表是postgis生成的，重新运行一下命令就又生成了。#none：默认值，什么都不做，每次启动项目，不会对数据库进行任何验证和操作#create：每次运行项目，没有表会新建表，如果表内有数据会被清空#create-drop：每次程序结束的时候会清空表#update：每次运行程序，没有表会新建表，但是表内有数据不会被清空，只会更新表
【postgis】添加geometry类型字段
创建一张测试表CREATE TABLE test1( id int4, name varchar(255))> NOTICE: Table doesn't have 'DISTRIBUTED BY' clause -- Using column named 'id' as the Greenplum Database data distribution key for this table. HINT: The 'DISTRIBUTED BY' clause determines
【GIS】Hibernate-Spatial
1.简介在本文中，我们将了解Hibernate的空间扩展，hibernate-spatial。Hibernate Spatial提供了用于处理地理数据的标准接口。2.Hibernate Spatial的背景地理数据包括诸如Point，Line，Polygon（多边形）等实体的表示。此类数据类型不是JDBC规范的一部分，因此JTS（JTS拓扑套件）已成为表示空间数据类型的标准。除了JTS之外，Hibernate空间还支持Geolatte-geom，这是一个最新的库，具有一些JTS中不可用的功能。这两
【GIS】Springboot JPA操作Greenplum/postgresql的空间数据
瞎摸了3天，终于解决了应届生新入职，负责Greenplum数据库。之前没有听说过这个，而且需要使用Hibernate-spatial处理Geometry类型，Hibernate与Springboot data JPA我也是没有用过，之前学的是Springboot+Mybatis(plus)已经熟练了，这次JPA对我来说都是全新的东西，而且JPA操作greenplum的空间数据的网上资料很少，没有找到一个好的例子，只能自己走一步看一步。数据库表表信息CREATE TABLE "public"."Un
【Greenplum】集群更换了hostname，GP怎么更改配置
修改了主机名，也要修改/etc/hosts，修改后GP里的segments还是原来的主机名，会出现不能ping上子节点首先改一下GP安装目录下的带host的文件，里面是segments的主机名切换用户su - gpadmin关闭GP Mastergpstop -M fast启动GP Mastergpstart -m进入GP 命令行，运行命令PGOPTIONS='-c gp_session_role=utility' psql -U gpadmin postgres>se
【Greenplum】设置id自增
1.新建表设置id自增CREATE TABLE "bigdata"."test"(id SERIAL primary key NOT NULL,the_geom geometry,name VARCHAR(255))注意：自动创建名为test_ID_seq的序列，且MAXVALUE=92233720368547758072.表已存在，修改id为自增CREATE SEQUENCE test_ID_seqstart with 1 #从1开始，如果已经有数据，则从最大的id开始，start
JpaSystemException: could not deserialize
JPA不能反序列化，我们写个转换器public class WkbConvertToGeometry implements AttributeConverter<Point, String> { @Override public String convertToDatabaseColumn(Point geometry) { ByteBuffer byteBuffer = Wkb.toWkb(geometry); String s = Stri
【Greenplum6.9.0+Postgis2.5.4 =＞ CentOS7 】安装教程
安装说明[root@site88 ~]# cat /etc/redhat-release CentOS Linux release 7.8.2003 (Core)所有节点 vi /etc/hosts修改系统内核/etc/sysctl.conf文件[root@site88 ~]# vi /etc/sysctl.conf[root@site88 ~]# sysctl -pkernel.sem = 50100 128256000 50100 2560kernel.shmmni = 4096k
【Greenplum】insert数据入库速度优化
使用geotools入库很慢，1万条数据147秒。换成Jdbc直接运行insert语句，1万条118秒。速度非常慢，而且更换Driver速度差不多一模一样。 private String diverClassName="org.postgresql.Driver";//推荐使用 private String diverClassName="com.pivotal.jdbc.GreenplumDriver";优化greenplum的master端口需要改成5432，不然gpconfig用不
【PostgreSQL】Btree\Hash\BitMap\Gin\GiST\SP-GiST索引
参考资料https://github.com/digoal/blog/blob/master/201706/20170627_01.md背景PostgreSQL 拥有众多开放特性，例如1、开放的数据类型接口，使得PG支持超级丰富的数据类型，除了传统数据库支持的类型，还支持GIS，JSON，RANGE，IP，ISBN，图像特征值，化学，DNA等等扩展的类型，用户还可以根据实际业务扩展更多的类型。2、开放的操作符接口，使得PG不仅仅支持常见的类型操作符，还支持扩展的操作符，例如 距离符，逻辑并、交、
【数据结构与算法（Java描述）】栈
来源于书籍《数据结构与算法（Java描述）》邓俊辉 著 机械工业出版社栈栈是存放对象的一种特殊容器，在插入与删除对象时，这种结构遵循后进先出（Last-in-first-out，LIFO）的原则⎯⎯也就是说，对象可以任意插入栈中，但每次取出的都是此前插入的最后一个对象。比如一摞椅子（如 图二.1 所示），只能将最顶端的椅子移出，也只能将新椅子放到最顶端⎯⎯这两种操作分别称作入栈（Push）和退栈（Pop）。栈是最基本的数据结构之一，在实际应用中几乎无所不在。例如，网络浏览器会将用户最近访问过的地址组
【数据结构与算法（Java描述）】队列，Josephus环问题
来源于书籍《数据结构与算法（Java描述）》邓俊辉 著 机械工业出版社队列队列的抽象数据类型就是一个容器，其中的对象排成一个序列，我们只能访问和取出排在最前端（Front）的对象，只能在队列的尾部（Rear）插入新对象。正是按照这一规则，才能保证最先被插入的对象首先被删除（FIFO）。使用数组实现public interface Queue <T> { int getSize(); boolean isEmpty(); //取队首元素，但不删除 Objec
【数据结构与算法（Java描述）】单链表，实现栈与队列
来源于书籍《数据结构与算法（Java描述）》邓俊辉 著 机械工业出版社链表前面我们介绍了栈与队列的 ADT，并利用数组加以实现。遗憾的是，尽管这种实现简单明了，但由于数组长度必须固定，在空间效率及适应性方面还存在不足。本节将介绍一种基于链表的实现，以消除上述缺陷。java实现单链表public interface Position { //返回该位置存放的元素 Object getElem(); //给定元素存放至该位置，返回之前该位置的元素 Object setE
【数据结构与算法（Java描述）】双向链表，实现双端队列Deque
来源于书籍《数据结构与算法（Java描述）》邓俊辉 著 机械工业出版社双向链表* @Description: 双向链表 */public class DLNode implements Position{ private Object element;//数据对象 private DLNode prev;//前驱 private DLNode next;//后继 //构造函数 public DLNode() { this(null,null
【Greenplum 6.9.0】Greenplum Command Center 6.2安装失败教程
需要这个？gpperfmon_install --enable --password gpmon --port 5432-bash: gpperfmon_install: command not found直接安装？unzip gpcc.zip报错Failed to connect to database postgres on 127.0.0.1:5432 as gpadmin: libgssapi_krb5.so: cannot open shared object file: No s
gpstart -a错误：Error occurred: non-zero rc: 1
[gpadmin@site92 greenplum-cc-web-6.2.0-gp6-rhel7-x86_64]$ gpstart -a20200821:11:49:27:030822 gpstart:site92:gpadmin-[INFO]:-Starting gpstart with args: -a20200821:11:49:27:030822 gpstart:site92:gpadmin-[INFO]:-Gathering information and validating the env
今日推荐
周排行