血泪教训，云计算项目实施的众多教训
作为一家运营商，从事云计算的工作，从战略上绝对是正确的选择。公司内部的承接举措是如何跟上呢？最近中了一个大型集团公司的标，我作为主要售前的负责人，以为作了一件很了不起的事，顺便也把售中实施的项目经理工作给接了，其实也想从管理角度看看到底运营商做云计算从全流程存在什么问题。 结果，很多平常觉得很正常或者很小的问题，亲身经历后，发现问题很大，也是系统性的问题。以下对问题及解决的思考如下，供各位在一线支撑的同事分享。 一、重视标书中的任何一个环节，提前向前端预告风险。本次项目中调研了客户的现状，发现
企业集群平台架构设计与实现--LVS篇（二）
上次文章提到了SLB（Service Load Balance)负载均衡器，在公有云中主要使用NAT模式进行地址翻译，但部分服务商的SLB只支持FULL NAT模式，造成无法获取终端访问者的Source IP，怎么解决？ 在项目中，客户使用访问者的Source IP，原因很多：1、进行访问区域的数据分析。2、控制恶意攻意。。。 这是客户的正常诉求。 实际解决办法有四个： 一、升级服务商的SLB服务，彻底支持NAT模式，使客户的服务器不需要安装任何的插件都能够支持获得终端访问者的Source I
原来我不懂热迁移、冷迁移
今天我们的集团客户数据迁移遇到了大问题，因SLB不支持源IP的透传必须进行平台的大升级。接下来，客户提出了解我方的云主机对故障迁移进行了解，以便保障客户的ERP系统的安全可靠性。 客户的原有认知是vmware私有云，因此会自然将vmware中的冷迁移、热迁移套用至公有云中的相应功能。接下来我们就讲一讲相应的区别。 一、冷迁移，实际是关机迁移 冷迁移的应用场景主要是当虚拟机之下的物理机故障时，通过共享存储中的客户操作系统及数据在另一台物理机主机中将业务进行重新加载。另一种场景是需要进行定期的可高
SAN存储向分布式Server存储的演进
在目前的私有云中，大部分小型云喜欢使用FC-SAN，主要原因是性能好、架构简单、小规模环境投资小。但随着视频等业务的出现，采用FC-SAN难以保证未来的可扩展性，开始出现了分布式存储，而且将成为未来的趋势。 一、传统的SAN架构存在很多问题。 传统的SAN存储都有机头，而机头永远存在性能瓶颈（如目前采用SSD存储后，机头瓶颈很快出现）及单点故障点（即使机头有双机备份机制，仍可能出现全阻）。在实际项目中，因为控制机头单点故障造成业务全阻的情况有发生。 另外，传统的SAN存储无法很好的支持水平容量
案例简述MapReduce与HDFS协同工作流程
MapReduce是Hadoop开源大数据包的重要计算工具，后期的Spark、Storm等组件均采用MapReduce的计算模型。而MapReduce在工作时，实际与HDFS在一起工作。接下来我用一个案例来解析MapReduce的工作流程。 1、Java程序采用MapReduce的SDK开发包进行程序开发。实际程序启动时，将在客户端创建一个JobClient端，正式开启一个MapReduce实例。 2、JobClient通过getNewJobId()接口向Master节点中的JobTracke
图文简述DAS、NAS、SAN的不同应用场景
在云计算中，存储扮演着非常重要的作用，采用共享存储的方式可以实现Oracle RAC等应用场景的需要。实际上云计算中的NAS、SAN存储中，有着不同的应用场景，我们来看一看。 一、DAS在公有云环境中，相当于云主机中挂载了云硬盘。Windows或Linux采用iSCSI协议进行本地磁盘连接。在该方式中，文件系统在服务器中，数据存储设备（云硬盘）中没有文件系统。 二、NAS在公有云环境中，相当于弹性文件服务。Windows或Linux采用SMB或NFS协议进行网络连接。在该方式中，文件系统不在服
数据倒换工具 Sqoop （大数据时代的ETL）
在传统的数据编程时代，我们今天听到过ETL（数据抽取、转换工具），可以用来从数据源提取数据，经过数据清洗后，放到数据仓库中，如熟知的Logstash， Flume。在大数据的时代，传统的RDBMS中的结构化数据如何倒向大数据的数据库如HBase中呢？这时侯，会用到Sqoop工具。 一、Sqoop工具名字很容易记忆。也就是SQL to hadoop，也就是当结构化数据倒入大数据的意思，当然这个倒入是双向的，hadoop也可以to SQL。 二、 Sqoop的工作流程也不难。 因Hadoop基于J
大数据的“动物管理员” ZooKeeper
Hadoop的框架里面经常有听到PIG（猪）、HIVE（小密蜂）、Hadoop（大象）......，就像是动物园的小动物，这些小动物的管理者就是ZooKeeper。玩笑讲完了，我们还是回到正题。ZooKeeper的诞生主要是解决是集群的管理节点高可用。接下来，我们来看一看案例。 一、ZooKeeper的诞生历程 1、传统单机的环境，如Java程序调用Mysql数据源的IP、密码一般是写在一个配置文件中。 2、但数据源的IP地址会变化，因此我们将配置文件拿出来，作为一个共享文件进行集中管理。 3
真实操作：在天翼云搭建最小规模的Hadoop环境
讲了这么久的理论，话说实践是检验真理的唯一标准，我们来搭一个Hadoop环境。通过实践加深对Hadoop复杂理论的理解，通过实践再反过来看理论，也许会有更深的认知。今天我们用天翼云3.0环境，搭建最小规模的Hadoop。我们一步一步来，你会跟上。 一、申请两台云主机，分别用于Hadoop的Master节点、Node节点 为了省点money，我们申请1vCpu、2G内存，40G系统盘的CentOS 7.3主机两台。 为利于后期两台主机的内网通信，建议这两台主机放到同一个vpc，同一个安全组中。
css3定位属性：position
css定位属性 position 取值：static，relative，absolute，fixed，sticky 默认值：static 继承性：无 static：对象遵循常规流。此时4个定位偏移属性不会被应用,同时设置z-index属性也是无效的。 <!doctype html>
<html>
<head>
<meta charset="utf-8">
<title></title>
<style type="text/css">
*{
padding: 0;
margin:0;
}
P1339 热浪Heat Wave Dijkstra
版权声明：转载请注明出处 https://blog.csdn.net/qq_43590432/article/details/88675906 https://www.luogu.org/problemnew/show/P1339 题目描述: 德克萨斯纯朴的民眾们这个夏天正在遭受巨大的热浪！！！他们的德克萨斯长角牛吃起来不错，可是他们并不是很擅长生產富含奶油的乳製品。Farmer John此时以先天下之忧而忧，后天下之乐而乐的精神，身先士卒地承担起向德克萨斯运送大量的营养冰凉的牛奶的重任，以减
来聊聊数据库的映射关系：ORM
python通过pymysql操作数据库时，因为sql命令的问题，开发比较繁琐，同时也不利于数据库的切换 但是当我们使用ORM时，会方便一些，但是执行效率会下降 大概的关系就是这样 ，通过python中的 ORM_sqlalchemyl 来和数据库进行交互 sqlalchemy 是python最为常用的的三方ORM模块，flask和tornado在生产环境中。 pip install sqlalchemy 创建表 数据库 ：Create table tb1(id int primary key
那些没被裁的知乎员工怎么样了？
大家应该都看了上一篇关于知乎裁掉应届生的文章了吧？（没看的戳这里：知乎年底竟然裁掉了入职3个月的应届毕业生！）就像很多人说的，这也是很正常的事情，当公司面临营收下降的寒冬时，在老员工和新员工之间要做出抉择，难免会让一些人难受。 不过，那些没被裁掉知乎的员工，现在在公司是什么想法呢？ 大部分人估计都在等拿完年终奖准备跳槽吧，毕竟年底了，一是不好找工作，二是年终奖也是钱啊哈哈哈。寒冬大家日子都不好过，能赚一点是一点吧。 但很多人表示对于公司年底的这波操作还是有点寒心，现在公司都有点人心惶惶的，工作
天翼云实践（二）：hive操作
今天将天翼云中的两台hadoop节点进行了hive操作，结果大吃一惊。原来实践后的hive与原来的理解完全不同。各位有机会，一定实际操作云及各项应用，这样既记忆深刻，更重要的是检验理论。今天我们来看看实际hive操作过程。 一、安装hive 因为上次安装了两个节点的hadoop最小集群（master、node节点），今天直接在master节点上安装了hive。因为hive是基于hdfs存储，因此必须先基于昨天的hadoop集群；另一方面，hive必须安装在master节点中，因为hive将基于
手游作弊大盘点，看看你了解几项？
伴随着手机便利性的提高，手游获得越来越多的游戏玩家青睐。庞大手游用户群体之中混杂着部分“作弊用户”，他们既影响其他玩家的体验，也侵害了游戏开发商的利益。其背后的外挂开发者通常以低成本的方式，摧残着游戏的寿命，并从中牟取非法利益。更有甚者通过借正规公司渠道贩卖VIP、广告等服务获取违法利益。图1：大量利用外挂进行牟利游戏开发商为了保护自身权益，需要快速应对并给出最佳解决方案。为了保障兼容性、用户体验
一、MySQL的工具Navicat for MySQL 安装说明
版权声明：本文为博主原创文章，未经允许不得转载，如有问题，欢迎指正，谢谢！ https://blog.csdn.net/cbk861110/article/details/88540559 Navicat for MySQL 安装软件和破解补丁： 链接：https://pan.baidu.com/s/1oKcErok_Ijm0CY9UjNMrnA 密码：4xb1 1.错误1：Navicat for Mysql连接mysql数据库时出现 2003-Can't connect to MySql s
今日推荐
周排行