服务器部署之nohup与程序的后台运行
版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/m0_37338590/article/details/83342042
# 1.后台启动程序
nohup Command [ Arg … ] [ & ]
# nohup命令 参数可选但不是必须的，又需要看文档既可
# 举例
# 在后台运行 main.py的python脚本
nohup python main.py &
# 在后台运行uwsgi
Python面试之同花顺Python开发工程师（二面）
版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/m0_37338590/article/details/83623701 这次面试正好我在外地实习期间，面试地点在西安电子科技大学，我当时正好在北京实习，当时自己的多少也有些犹豫，到底是去还是不去，去可能被刷掉，不去便失去了这次机会，但最终还是选择做了13个小时的火车硬座，从北京赶回西安做了这次面试，但是幸运的是，面试结束之后马上就进行了HR面，三面结束立即告诉我面试通过了，我当时真的很开心，感觉
python进阶之进程、线程和协程在实际应用中的问题
版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/m0_37338590/article/details/83865819 多线程 vs多进程vs协程 Python中比较常见的并发方式主要有两种：多线程和多进程。当然还有协程。基础的程序开发这里就不说了，想要了解基本的协程开发的参见另一篇博客Python进阶之关于协程的那些事
Python进阶之CPU计算密集型和IO密集型
版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/m0_37338590/article/details/83897869 在最近往服务器部署爬虫程序的时候，遇到了一个很奇怪的问题，就是部署上之后运行一段时间或者是直接不运行就进入休眠状态了，开始一直怀疑是由于服务器内存不足导致的程序休眠，后来废了好大的劲，最终找到了罪魁祸首，具体分析我通过这几篇连载的博客来分析一下，正好也对给自己充充电。 第一种任务的类型是计算密集型任务，其特点是要进行大量的计
Python进阶之关于协程的那些事
版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/m0_37338590/article/details/83898670 目录 什么是协程。 Python中对协程的实现 什么是协程。 协程：又称微线程，纤程。英文名Coroutine。首先我们得知道协程是啥？协程其实可以认为是比线程更小的执行单元。 为啥说他是一个执行单元，因为他自带CPU上下文。这样只要在合适的时机， 我们可以把一个协程 切换到另一个协程。 只要这个过程中保存或恢复 CPU上下
Python常用操作之excle文件的基本操作（功能后续更新）
版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/m0_37338590/article/details/84063372 废话不多说，直接上代码：
#!/usr/bin/env python3
# encoding : utf-8
# @author : 'Jonny'
# @location: '北京'
# @date : '2018/11/12 17:37'
# @Email : [email protected]
# @
#Wormhole# （开源）流式处理平台设计思想
导读：互联网的迅猛发展使得数据不再昂贵，而如何从数据中更快速获取价值变得日益重要，因此，数据实时化成为了一个大趋势。越来越多的业务场景需要实时分析，以极低的延迟来分析实时数据并给出分析结果，从而提高业务效率，带来更高价值。流式处理作为实时处理的一种重要手段，正在因数据实时化的发展而蓬勃发展。本文是敏捷大数据（Agile BigData）背景下的实时流式处理平台Wormhole的开篇介绍。Wormhole具体是一个怎样的平台呢？一起来看一下吧！ 一、Wormhole背景介绍 在流式计算领域，越来
大数据起步之Paxos算法
Paxos算法是莱斯利·兰伯特（英语：Leslie Lamport，LaTeX中的“La”）于1990年提出的一种基于消息传递且具有高度容错特性的一致性算法 问题和假设 分布式系统中的节点通信存在两种模型：共享内存（Shared memory）和消息传递（Messages passing）。基于消息传递通信模型的分布式系统，不可避免的会发生以下错误：进程可能会慢、被杀死或者重启，消息可能会延迟、丢失、重复，在基础 Paxos 场景中，先不考虑可能出现消息篡改即拜占庭错误的情况。Paxos 算法
Dubbo——Dubbo初识（1）
背景 随着互联网的发展，网站应用的规模不断扩大，常规的垂直应用架构已无法应对，分布式服务架构以及流动计算架构势在必行，亟需一个治理系统确保架构有条不紊的演进。 单一应用架构 当网站流量很小时，只需一个应用，将所有功能都部署在一起，以减少部署节点和成本。此时，用于简化增删改查工作量的数据访问框架(ORM)是关键。 垂直应用架构 当访问量逐渐增大，单一应用增加机器带来的加速度越来越小，将应用拆成互不相干的几个应用，以提升效率。此时，用于加速前端页面开发的Web框架(MVC)是关键。 分布式服务架构
Dubbo——快速启动（2）
快速启动 Dubbo 采用全 Spring 配置方式，透明化接入应用，对应用没有任何 API 侵入，只需用 Spring 加载 Dubbo 的配置即可，Dubbo 基于 Spring 的 Schema 扩展 进行加载。 mvn： <!-- dubbo 依赖-->
<dependency>
<groupId>com.alibaba</groupId>
<artifactId>dubbo</artifactId>
<version>2.6.4</vers
Zookeeper——zookeeper初识
Zookeeper 概述 ZooKeeper是一种分布式协调服务，用于管理大型主机。在分布式环境中协调和管理服务是一个复杂的过程。ZooKeeper通过其简单的架构和API解决了这个问题。ZooKeeper允许开发人员专注于核心应用程序逻辑，而不必担心应用程序的分布式特性。 分布式应用 分布式应用可以在给定时间（同时）在网络中的多个系统上运行，通过协调它们以快速有效的方式完成特定任务。通常来说，对于复杂而耗时的任务，非分布式应用（运行在单个系统中）需要几个小时才能完成，而分布式应用通过使用所有
Zookeeper——zookeeper基础
在深入了解ZooKeeper的运作之前，让我们来看看ZooKeeper的基本概念。我们将在本章中讨论以下主题： Architecture（架构） Hierarchical namespace（层次命名空间） Session（会话） Watches（监视） ZooKeeper的架构 它描述了ZooKeeper的“客户端-服务器架构”。 Client（客户端） 客户端，我们的分布式应用集群中的一个节点，从服务器访问信息。对于特定的时间间隔，每个客户端向服务器发送消息以使服务器知道客户端是活跃的。
Kafka——初识Kafka
数据为企业的发展提供动力。我们从数据中获取信息，对它们进行分析处理，然后生成更多的数据。每个应用程序都会产生数据， 包括日志消息、度量指标、用户活动记录、晌应消息等。 发布与订阅消息系统 先来了解发布与订阅消息系统的概念，。数据（消息）的发送者（发布者）不会直接把消息发送给接收者，这是发布与订阅消息系统的一个特点。发布者以某种方式对消息进行分类，接收者（订阅者）订阅它们，以便接收特定类型的消息。 发布与订阅系统一般会有一个broker ，也就是发布消息的中心点。 如何开始 发布与订阅消息系统的
深入ZooKeeper——ZooKeeper的概念和基础
由于Kafka和Duboo都需要在ZooKeeper的基础上运行，所以我们先学习ZooKeeper。 ZooKeeper改变了什么 ZooKeeper的设计更专注于任务协作，并不提供任何锁的接口或通用存储数据接口。同时，ZooKeeper没有给开发人员强加任何特殊的同步原语，使用起来非常灵活。 整个ZooKeeper的服务器集群管理着应用协作的关键数据。ZooKeeper不适合用作海量数据存储。对于需要存储海量的应用数据的情况，我们有很多备选方案，比如说数据库和分布式文件系统等。 ZooKee
深入ZooKeeper——ZooKeeper原语和架构
ZooKeeper基础 设计一个用于协作需求的服务的方法往往是： 提供原语列表，暴露出每个原语的实例化调用方法，并直接控制这些实例。 这种设计存在一些重大的缺陷：首先，我们要么预先提出一份详尽的原语列表，要么提供API的扩展，以便引入新的原语；其次，以这种方式实现原语的服务使得应用丧失了灵活性。 因此，在ZooKeeper中我们另辟蹊径。ZooKeeper并不直接暴露原语，取而代之，它暴露了由一小部分调用方法组成的类似文件系统的API，以便允许应用实现自己的原语。 我们通常使用菜谱（recip
深入ZooKeeper——独立模式实践、仲裁模式解析
开始使用Zookeeper 开始之前，需要下载zookeeper发行包。 我通过重新配置网络，然后通过yum install wget获取wget命令，使用wget http://....zookeeper-3.4.10.tar.gz下载发行包，再用tar -xvzf zookeeper-3.4.10.tar.gz解压。由于我对linux忘记了大半，所以花了2小时。 在发行包（distribution）的目录中，你会发现在bin目录中有启动ZooKeeper的脚本。以.sh结尾的脚本运行于UN
深入ZooKeeper——开始使用ZooKeeper的API
设置ZooKeeper的CLASSPATH 我们需要设置正确的classpath，以便运行或编译ZooKeeper的Java代码。除了ZooKeeper的JAR包外，ZooKeeper使用了大量的第三方库。为了简化输入和方便阅读，我们使用环境变量CLASSPATH来表示所有必需的库。 ZooKeeper发行包中bin目录下的zkEnv.sh脚本会为我们设置该环境变量。我们需要使用以下方式来编码： （在Windows上，使用call命令调用，而不是使用zkEnv.cmd脚本。） 一旦运行这个脚本
Kafka——安装Kafka
要事先行 选择操作系统 Kafka 是使用Java 开发的应用程序， 所以它可以运行在Windows 、MacOS 和Linux 等多种操作系统上。本章将着重介绍如何在Linux 上安装和使用Kafka ，因为把Kafka 安装在Linux 系统上是最为常见的。 安装Java 在学习zookeeper的时候已经安装。 安装Zookeeper 在昨天的文章里，我们已经安装。不过某些配置需要变化。 我们先输入telnet localhost 2181查看我们的zookeeper是否安装正确。再输入
Kafka——Kafka生产者（向Kafka写入数据）
在这一章，我们将从Kafra 生产者的设计和组件讲起，学习如何使用Kafka 生产者。我们将情示如何创建KafkaProducer 和ProducerRecords 对象、如何将记录发送给Kafka ，以及如何处理从Kafka 返回的错误，然后介绍用干控制生产者行为的重要配置选项，最后深入探讨如何使用不同的分区方棒和序列化器，以及如何自定义序列化器和分区器。 生产者概览 一个应用程序在很多情况下需要往Kafka 写入消息： 记录用户的活动（用于审计和分析）、记录度量指标、保存日志消息、记录智能
Kafka——Kafka消费者（从Kafka读取数据）
KafkaConsumer概念 消费者和消费者群组 假设我们有一个应用程序需要从一个Kafka 主题读取消息并验证这些消息，然后再把它们保存起来。应用程序需要创建一个消费者对象，订阅主题并开始接收消息，然后验证消息井保存结果。过了一阵子，生产者往主题写入消息的速度超过了应用程序验证数据的速度，这个时候该怎么办？如果只使用单个消费者处理消息，应用程序会远跟不上消息生成 的速度。显然，此时很有必要对消费者进行横向伸缩。就像多个生产者可以向相同的主题写入消息一样，我们也可以使用多个消费者从同一个主题
今日推荐
周排行