数据库PostrageSQL-关闭服务器
18.5. 关闭服务器有几种关闭数据库服务器的方法。通过给postgres进程发送不同的信号，你就可以控制关闭类型。SIGTERM这是智能关闭模式。在接收SIGTERM后， 服务器将不允许新连接，但是会让现有的会话正常结束它们的工作。仅当所有的会话终止后它才关闭。 如果服务器处在线备份模式，它将等待直到在线备份模式不再被激活。当在线备份模式被激活时， 仍然允许新的连接，但是只能是超级用户的连接（这一例外允许超级用户连接来终止在线备份模式）。如果服务器在恢复时请求智能关闭，恢复和流复制只有在所有正常会
数据库PostrageSQL-升级一个PostgreSQL集簇
18.6. 升级一个PostgreSQL集簇本节讨论如何把你的数据库数据从一个PostgreSQL发行升级到一个更新的发行。当前PostgreSQL版本号由主要版本号和次要版本号组成。 例如，在版本号10.1中，10是主要版本号，1是次要版本号，这意味着这将是主版本10的第一个次要版本。 对于PostgreSQL版本10.0之前的版本，版本号由三个数字组成，例如9.5.3。 在这些情况下，主要版本由版本号的前两个数字组（例如9.5）组成，次要版本是第三个数字， 例如3，这意味着这将是主要版本9.5的第三
数据库PostrageSQL-阻止服务器欺骗
18.7. 阻止服务器欺骗服务器在运行时，它不可能让恶意用户取代正常的数据库服务器。然而，当服务器关闭时，一个本地用户可以通过启动它们自己的服务器来欺骗正常的服务器。行骗的服务器可以读取客户端发送的密码和查询语句， 但是不会返回任何数据，因为PGDATA这个目录是安全的（它有目录权限）。 欺骗是可能的，因为任何用户都可以启动一个数据库服务器；客户端无法识别一个无效的服务器，除非它被专门配置。一种阻止local连接欺骗的方法是使用一个 Unix 域套接字目录 （unix_socket_directori
数据库PostrageSQL-加密选项
18.8. 加密选项PostgreSQL提供了几个不同级别的加密， 并且在保护数据不会因为数据库服务器偷窃、不道德的管理员、不安全网络等因素而泄漏方面 提供很高的灵活性。加密可能也是保护一些诸如医疗记录或财务交易等敏感数据所要求的。口令加密数据库用户的口令都是以哈希(取决于password_encryption配置)的方式存储， 所以管理员不能限定实际的口令赋予用户。如果 SCRAM 或者 MD5 加密算法被用于客户端认证， 那么未加密的口令甚至都不可能出现在服务器上，因为客户端在通过网络发送口令之前
数据库PostrageSQL-用 SSL 进行安全的 TCP/IP 连接
18.9. 用 SSL 进行安全的 TCP/IP 连接PostgreSQL 有一个对使用 SSL 连接加密客户端/服务器通讯的本地支持，它可以增加安全性。这个特性要求在客户端和服务器端都安装 OpenSSL 并且在编译 PostgreSQL 的时候打开这个支持（见Chapter 16）。18.9.1. Basic Setup当SSL支持被编译在PostgreSQL中时，可以通过将postgresql.conf中的 ssl设置为on让PostgreSQL服务器带着SSL支持被启动。 服务器在同一个 TC
数据库PostrageSQL-使用SSH隧道的安全 TCP/IP 连接
服务器设置和操作本章讨论如何设置和运行数据库服务器，以及它与操作系统的交互。18.1 PostgreSQL用户账户和对外部世界可访问的任何服务器守护进程一样，我们也建议在一个独立的用户账户下运行PostgreSQL。这个用户账户应该只拥有被该服务器管理的数据，并且应该不能被其他守护进程共享（例如，使用用户nobody是一个坏主意）。我们不建议把可执行文件安装为属于这个用户，因为妥协系统可能接着修改它们自己的二进制文件。要在你的系统中增加一个 Unix 用户账户，查看一个命令useradd或addus
快速学习-Saturn(英文版入门指引)
SaturnSaturn is a platform created by VIP.com(唯品会) to provide a distributed, fault tolerant and high available job scheduling service.Why Saturn?Time based and language unrestricted jobEasy job implmentation and web based managementParallel subtask(s
快速学习-Saturn简介
Saturn一个分布式作业调度平台简介Saturn (任务调度系统)是唯品会开源的一个分布式任务调度平台，取代传统的Linux Cron/Spring Batch Job的方式，做到全域统一配置，统一监控，任务高可用以及分片并发处理。Saturn是在当当开源的Elastic Job基础上，结合各方需求和我们的实践见解改良而成。本文档针适用于3.x版本。重要特性支持多种语言作业，语言无关(Java/Go/C++/PHP/Python/Ruby/shell)支持秒级调度支持作业分片并行执
快速学习-Saturn性能测试报告
Saturn性能测试报告1. 测试目的评估zk集群可以负荷的域数量zk参数调优2. 测试环境ZooKeeper Ensemble (5)Version: 3.4.6server idrole配置1FollowerCPU: 2200MHZ X 24RAM: 126G带宽：1000M OS：CentOS 6.62FollowerCPU: 2600MHZ X 24RAM: 31G带宽：2000M OS：CentOS 6.63FollowerCPU:
快速学习-Saturn Console部署
Saturn Console部署这一节会介绍如何从零开始安装和部署Saturn Console。1 部署前准备1.1 硬件准备Linux服务器至少1台，服务器数量视乎计划的Saturn Console的集群及ZK集群的大小。1.2 软件准备JDK : 1.7+ZooKeeper: 3.4.6+ （建议使用ZooKeeper 3.4.6 (官网下载链接)，更高版本未经验证）nodejs: 7.8.0+2 开始部署2.1 安装ZooKeeper按照官方文档进行安装。对于生产环境，推荐使用
快速学习-开发你的作业
开发你的作业这一节想介绍如何开发你的作业，包括Java和Shell两种类型，并使用你熟悉的IDE进行调试。但要注意的是，作业开发完需要将其部署到Executor才能真正的工作。关于如何部署，见“部署 Saturn Executor”一节。0 前置条件确保你已经部署好Saturn Console。如果没有，请参见“部署Saturn Console”一节。1 开发Java作业1.1 添加maven依赖在pom.xml添加dependency<dependency> &l
快速学习-Saturn QuickStart
快速开始Saturn包括两大部分，Saturn Console和Saturn Executor。Saturn Console是一个GUI，用于作业/Executor管理，统计报表展现，系统配置等功能。它同时也是整个调度系统的大脑：将作业任务分配到各Executor。Saturn Executor是执行任务的Worker：按照作业配置的要求去执行部署于Executor所在容器或物理机当中的作业脚本和代码。为了能让用户对Saturn有一个感性认识，我们提供了两种快速启动Console和Executor的
快速学习-Saturn创建Namespace
1 创建Namespace1.1 请求地址/rest/v1/namespaces1.2 请求方式POST1.3 参数说明Body参数：参数名类型是否可选描述namespaceString必填域名zkClusterString必填zk cluster key示例：{ "namespace":"www.abc.com", "zkcluster":"/saturn"}1.4 返回header（只有失败的情况才有）：application/
快速学习-Saturn Executor部署
Saturn Executor部署Executor是作业的执行器。这一节将介绍如何将调试好的作业部署到Executor上面运行。关于如何开发调试作业，见“入门”一章。Executor启动时，需要指定所属的域。启动后，Executor会自动拉取域下的作业配置信息，然后根据Saturn Console scheudler的调度安排，以及作业的Cron表达式去执行作业调度。1 部署前准备1.1 硬件准备Linux服务器1台这里只介绍Linux OS的方式。其他OS差别不大。1.2 软件准备JD
快速学习-Saturn FAQ
FAQQ: Executor启动失败怎么办？A: executor启动失败，首先看提示是否参数问题，是否端口重用，如果都不是，根据控制台提示的路径，查看saturn-nohup.out的日志。日志报“Fail to discover zk connection string! Please make sure that you have added your namespace on Saturn Console”的情况：请检查Console是否已经注册该域。日志报“Time different
快速学习-Saturn Executor运维
Executor运维Saturn 3.0.0致力于让用户做到自运维：一方面为用户trouble shooting提供便利，另外一方面希望作为一站式平台去管理executor。下面讲讲Saturn自运维三大利器：一键摘流量，一键dump以及Executor重启。1 一键摘流量当executor上的某个作业遇到问题，而且判断不能恢复（例如作业线程处于socket.read，这种情况下是无法通过强杀终止的），我们可能考虑要重启executor。直接重启executor比较粗暴，更优雅的做法是先把exec
快速学习-Saturn用户的认证与授权
用户的认证与授权从3.0.1起，Saturn Console支持用户的认证与授权。1 认证Saturn3.0.0开始，Console支持用户登录认证。但用户注册功能不在Scope里面，这意味着用户注册需要用户自行实现。1.1 启用认证功能Console默认不启用认证功能。如果要启用，请在启动console添加参数 -Dauthentication.enabled=true系统默认添加了2个用户以作demo之用：UsernamePasswordadminadmingu
快速学习-Saturn创建作业
创建作业1 登录使用浏览器访问 saturn.vip.vip.com。如果启用了登录功能(-Dauthentication.enabled=true)，会被重定向到CAS进行身份认证。为了获得最佳的使用体验，建议使用Chrome浏览器。登录后会见到Saturn Home Page，如下：用户需要在中央的搜索框输入你需要访问的域名。首页上方的菜单栏功能如下：作业管理：域搜索页面Dashboard：作业/Executor运行状况图表告警中心：全域的告警大盘。注册中心：域与ZK集群信息
快速学习-Saturn灰度发布
灰度发布1. 目的灰度发布是为了在升级过程中减少对于现有业务的影响，通过升级一台Executor先验证是否没有问题后，再逐步按照批次升级。同时在升级过程中，不要影响原有其它Executor上作业的运行。灰度发布要求域下至少有2台Executor。2. 什么时候需要灰度发布变更了现有的作业代码增加了新的作业3. 流程登录Saturn console，将域下的所有作业的“优先executor”设置成其中一台executor，假设是executor_B。在恰当时机（例如，通过sat
今日推荐
周排行