容错处理
容错处理是指软件运行时，能对由非正常因素引起的运行错误给出适当的处理或信息提示，使软件运行正常结束
从解释中可以看出，简单理解，所谓的容错处理其实就是捕获异常了，不让异常影响系统的正常运行，正如java中的try catch一样。
而在SpringCloud微服务调用中，自身异常可自行处理外，对于依赖的服务若发生错误，或者调用异常，或者调用时间过长等原因时，避免长时间等待，造成系统资源耗尽。
一般上都会通过设置请求的超时时间，如http请求中的ConnectTimeout和ReadTimeout；再或者就是使用熔断器模式，隔离问题服务，防止级联错误等。
为了防止服务之间的调用异常造成的连锁反应，在SpringCloud中提供了Hystrix组件来实现服务调用异常的处理，或对高并发情况下的服务降级处理 。
什么是Hystrix
在分布式系统中，服务与服务之间依赖错综复杂，一种不可避免的情况就是某些服务将会出现失败。
Hystrix是一个库，它提供了服务与服务之间的容错功能，主要体现在延迟容错和容错，从而做到控制分布式系统中的联动故障。Hystrix通过隔离服务的访问点，阻止联动故障，并提供故障的解决方案，从而提高了这个分布式系统的弹性。
Hystrix容错机制：
- 包裹请求：使用HystrixCommand包裹对依赖的调用逻辑，每个命令在独立线程中执行，这是用到了设计模式“命令模式”。
- 跳闸机制：当某服务的错误率超过一定阈值时，Hystrix可以自动或手动跳闸，停止请求该服务一段时间。
- 资源隔离：Hystrix为每个依赖都维护了一个小型的线程池，如果该线程池已满，发往该依赖的请求就被立即拒绝，而不是排队等候，从而加速判定失败。
- 监控：Hystrix可以近乎实时的监控运行指标和配置的变化。如成功、失败、超时、被拒绝的请求等。
- 回退机制：当请求失败、超时、被拒绝，或当断路器打开时，执行回退逻辑。回退逻辑可自定义。
- 自我修复：断路器打开一段时间后，会自动进入半开状态，断路器打开、关闭、半开的逻辑转换。
下图就是Hystrix的回退策略，防止级联故障。
Hystrix的简单使用
1.要使用 Hystrix熔断机制处理引入它本身的依赖之外，我们需要在主程序配置类上引入 @EnableHystrix 标签 开启Hystrix功能，如下
@EnableHystrix
@EnableEurekaClient
@SpringBootApplication
...
public class ConsumerApplication {
2.开启Hystrix熔断机制后，对方法进行熔断处理
@Service
public class HelloService {
@Autowired
private RestTemplate restTemplate;
//该注解对该方法创建了熔断器的功能，并指定了fallbackMethod熔断方法
@HystrixCommand(fallbackMethod = "hiError")
public String hiService(String name){
//调用接口进行消费
String result = restTemplate.getForObject("http://PRODUCER/hello?name="+name,String.class);
return result;
}
public String hiError(String name) {
return "hi,"+name+"error!";
}
}
当hiService方法第调用异常，会触发 fallbackMethod执行的hiError方法做成一些补救处理
Hystrix的工作原理
下图显示通过Hystrix向服务依赖关系发出请求时会发生什么：
具体将从以下几个方面进行描述：
1.构建一个HystrixCommand或者HystrixObservableCommand 对象。
第一步是构建一个HystrixCommand或HystrixObservableCommand对象来表示你对依赖关系的请求。 其中构造函数需要和请求时的参数一致。
构造HystrixCommand对象，如果依赖关系预期返回单个响应。 可以这样写：
HystrixCommand command = new HystrixCommand(arg1, arg2);
同理，可以构建HystrixObservableCommand ：
HystrixObservableCommand command = new HystrixObservableCommand(arg1, arg2);2.执行Command
通过使用Hystrix命令对象的以下四种方法之一，可以执行该命令有四种方法（前两种方法仅适用于简单的HystrixCommand对象，并不适用于HystrixObservableCommand）：
- execute()–阻塞，，然后返回从依赖关系接收到的单个响应（或者在发生错误时抛出异常）
- queue()–返回一个可以从依赖关系获得单个响应的future 对象
- observe()–订阅Observable代表依赖关系的响应，并返回一个Observable，该Observable会复制该来源Observable
- toObservable() –返回一个Observable，当您订阅它时，将执行Hystrix命令并发出其响应
K value = command.execute();
Future<K> fValue = command.queue();
Observable<K> ohValue = command.observe();
Observable<K> ocValue = command.toObservable();
同步调用execute（）调用queue（）.get（）. queue（）依次调用toObservable（）.toBlocking（）.toFuture（）。 这就是说，最终每个HystrixCommand都由一个Observable实现支持，甚至是那些旨在返回单个简单值的命令。
3.响应是否有缓存？
如果为该命令启用请求缓存，并且如果缓存中对该请求的响应可用，则此缓存响应将立即以“可观察”的形式返回。
4.断路器是否打开？
当您执行该命令时，Hystrix将检查断路器以查看电路是否打开。
如果电路打开（或“跳闸”），则Hystrix将不会执行该命令，但会将流程路由到（8）获取回退。
如果电路关闭，则流程进行到（5）以检查是否有可用于运行命令的容量。
5.线程池/队列/信号量是否已经满负载？
如果与命令相关联的线程池和队列（或信号量，如果不在线程中运行）已满，则Hystrix将不会执行该命令，但将立即将流程路由到（8）获取回退。
6.HystrixObservableCommand.construct() 或者 HystrixCommand.run()
在这里，Hystrix通过您为此目的编写的方法调用对依赖关系的请求，其中之一是：
- HystrixCommand.run（） – 返回单个响应或者引发异常
HystrixObservableCommand.construct（） – 返回一个发出响应的Observable或者发送一个onError通知
如果run（）或construct（）方法超出了命令的超时值，则该线程将抛出一个TimeoutException（或者如果命令本身没有在自己的线程中运行，则会产生单独的计时器线程）。 在这种情况下，Hystrix将响应通过8进行路由。获取Fallback，如果该方法不取消/中断，它会丢弃最终返回值run（）或construct（）方法。
请注意，没有办法强制潜在线程停止工作 – 最好的Hystrix可以在JVM上执行它来抛出一个InterruptedException。 如果由Hystrix包装的工作不处理InterruptedExceptions，Hystrix线程池中的线程将继续工作，尽管客户端已经收到了TimeoutException。 这种行为可能使Hystrix线程池饱和，尽管负载“正确地流失”。 大多数Java HTTP客户端库不会解释InterruptedExceptions。 因此，请确保在HTTP客户端上正确配置连接和读/写超时。
如果该命令没有引发任何异常并返回响应，则Hystrix在执行某些日志记录和度量报告后返回此响应。 在run（）的情况下，Hystrix返回一个Observable，发出单个响应，然后进行一个onCompleted通知; 在construct（）的情况下，Hystrix返回由construct（）返回的相同的Observable。
7.计算Circuit 的健康
Hystrix向断路器报告成功，失败，拒绝和超时，该断路器维护了一系列的计算统计数据组。
它使用这些统计信息来确定电路何时“跳闸”，此时短路任何后续请求直到恢复时间过去，在首次检查某些健康检查之后，它再次关闭电路。
8.获取Fallback
当命令执行失败时，Hystrix试图恢复到你的回退：当construct（）或run（）（6.）抛出异常时，当命令由于电路断开而短路时（4.），当 命令的线程池和队列或信号量处于容量（5.），或者当命令超过其超时长度时。
编写Fallback ,它不一依赖于任何的网络依赖，从内存中获取获取通过其他的静态逻辑。如果你非要通过网络去获取Fallback,你可能需要些在获取服务的接口的逻辑上写一个HystrixCommand。
9.返回成功的响应
如果Hystrix命令成功，它将以Observable的形式返回对呼叫者的响应或响应。 根据您在上述步骤2中调用命令的方式，此Observable可能会在返回给您之前进行转换：
- execute（） – 以与.queue（）相同的方式获取Future，然后在此Future上调用get（）来获取Observable发出的单个值
- queue（） – 将Observable转换为BlockingObservable，以便将其转换为Future，然后返回此未来
- observe（） – 立即订阅Observable并启动执行命令的流程; 返回一个Observable，当您订阅它时，重播排放和通知
- toObservable（） – 返回Observable不变; 您必须订阅它才能实际开始导致命令执行的流程
Hystrix的源码解析
1. @EnableHystrix 开启Hystrix
沿着我上面的使用方式来跟踪一下 Hystrix的 源码。
首先我们看一下标签：@EnableHystrix ，他的作用从名字就能看出就是开启Hystrix ，我们看一下它的源码
@Target(ElementType.TYPE)
@Retention(RetentionPolicy.RUNTIME)
@Documented
@Inherited
@EnableCircuitBreaker
public @interface EnableHystrix {
}
它上面有一个注解：@ EnableCircuitBreaker (熔断器),那么@ EnableHystrix标签的本质其实是@ EnableCircuitBreaker ,我们看一下他的源码
/**
* Annotation to enable a CircuitBreaker implementation.
* http://martinfowler.com/bliki/CircuitBreaker.html
* @author Spencer Gibb
*/
@Target(ElementType.TYPE)
@Retention(RetentionPolicy.RUNTIME)
@Documented
@Inherited
@Import(EnableCircuitBreakerImportSelector.class)
public @interface EnableCircuitBreaker {
}
@EnableCircuitBreaker标签引入了一个@Import(EnableCircuitBreakerImportSelector.class) 类，字面翻译的意思是开启熔断器的导入选择器 ，导入什么东西呢？看源码
/**
* Import a single circuit breaker implementation Configuration
* @author Spencer Gibb
*/
@Order(Ordered.LOWEST_PRECEDENCE - 100)
public class EnableCircuitBreakerImportSelector extends
SpringFactoryImportSelector<EnableCircuitBreaker> {
@Override
protected boolean isEnabled() {
return getEnvironment().getProperty(
"spring.cloud.circuit.breaker.enabled", Boolean.class, Boolean.TRUE);
}
}
其实EnableCircuitBreakerImportSelector的作用就是去导入熔断器的配置 。其实Spring中也有类似于JAVA SPI 的加载机制, 即会自动加载 jar包 spring-cloud-netflix-core 中的META-INF/spring.factories 中的Hystrix相关的自动配置类
注：SPI : 通过将服务的接口与实现分离以实现解耦，提高程序拓展性的机制，达到插拔式的效果 。
HystrixCircuitBreakerConfiguration 就是针对于 Hystrix熔断器的配置
/**
* @author Spencer Gibb
* @author Christian Dupuis
* @author Venil Noronha
*/
@Configuration
public class HystrixCircuitBreakerConfiguration {
@Bean
public HystrixCommandAspect hystrixCommandAspect() {
return new HystrixCommandAspect();
}
@Bean
public HystrixShutdownHook hystrixShutdownHook() {
return new HystrixShutdownHook();
}
@Bean
public HasFeatures hystrixFeature() {
return HasFeatures.namedFeatures(new NamedFeature("Hystrix", HystrixCommandAspect.class));
}
......
在该配置类中创建了 HystrixCommandAspect
/**
* AspectJ aspect to process methods which annotated with {@link HystrixCommand} annotation.
*/
@Aspect
public class HystrixCommandAspect {
private static final Map<HystrixPointcutType, MetaHolderFactory> META_HOLDER_FACTORY_MAP;
static {
META_HOLDER_FACTORY_MAP = ImmutableMap.<HystrixPointcutType, MetaHolderFactory>builder()
.put(HystrixPointcutType.COMMAND, new CommandMetaHolderFactory())
.put(HystrixPointcutType.COLLAPSER, new CollapserMetaHolderFactory())
.build();
}
//定义切点，切到 @HystrixCommand标签所在的方法
@Pointcut("@annotation(com.netflix.hystrix.contrib.javanica.annotation.HystrixCommand)")
public void hystrixCommandAnnotationPointcut() {
}
@Pointcut("@annotation(com.netflix.hystrix.contrib.javanica.annotation.HystrixCollapser)")
public void hystrixCollapserAnnotationPointcut() {
}
//针对切点：@hystrixCommand切点的处理
@Around("hystrixCommandAnnotationPointcut() || hystrixCollapserAnnotationPointcut()")
public Object methodsAnnotatedWithHystrixCommand(final ProceedingJoinPoint joinPoint) throws Throwable {
//获取到目标方法
Method method = getMethodFromTarget(joinPoint);
Validate.notNull(method, "failed to get method from joinPoint: %s", joinPoint);
//判断方法上不能同时存在@HystrixCommand标签和HystrixCollapser标签
if (method.isAnnotationPresent(HystrixCommand.class) && method.isAnnotationPresent(HystrixCollapser.class)) {
throw new IllegalStateException("method cannot be annotated with HystrixCommand and HystrixCollapser " +
"annotations at the same time");
}
MetaHolderFactory metaHolderFactory = META_HOLDER_FACTORY_MAP.get(HystrixPointcutType.of(method));
MetaHolder metaHolder = metaHolderFactory.create(joinPoint);
//把方法封装成 HystrixInvokable
HystrixInvokable invokable = HystrixCommandFactory.getInstance().create(metaHolder);
ExecutionType executionType = metaHolder.isCollapserAnnotationPresent() ?
metaHolder.getCollapserExecutionType() : metaHolder.getExecutionType();
Object result;
try {
// 通过CommandExecutor来执行方法
if (!metaHolder.isObservable()) {
result = CommandExecutor.execute(invokable, executionType, metaHolder);
} else {
result = executeObservable(invokable, executionType, metaHolder);
}
} catch (HystrixBadRequestException e) {
throw e.getCause() != null ? e.getCause() : e;
} catch (HystrixRuntimeException e) {
throw hystrixRuntimeExceptionToThrowable(metaHolder, e);
}
return result;
HystrixCommandAspect 其实就是对 贴了@HystrixCommand标签的方法使用 Aop机制实现处理 。代码中通过把目标方法封装成 HystrixInvokable对象，通过CommandExecutor工具来执行目标方法。
HystrixInvokable是用来干嘛的？看源码知道，其实他是一个空方法的接口，他的目的只是用来标记可被执行，那么他是如何创建的我们看代码HystrixInvokable invokable = HystrixCommandFactory.getInstance().create(metaHolder);的create方法
public HystrixInvokable create(MetaHolder metaHolder) {
HystrixInvokable executable;
...省略代码...
executable = new GenericCommand(HystrixCommandBuilderFactory.getInstance().create(metaHolder));
}
return executable;
}
其实是new了一个 GenericCommand 对象，很明显他们是实现关系，我们看一下关系图
跟踪 GenericCommand 的源码
@ThreadSafe
public class GenericCommand extends AbstractHystrixCommand<Object> {
private static final Logger LOGGER = LoggerFactory.getLogger(GenericCommand.class);
public GenericCommand(HystrixCommandBuilder builder) {
super(builder);
}
protected Object run() throws Exception {
LOGGER.debug("execute command: {}", this.getCommandKey().name());
return this.process(new AbstractHystrixCommand<Object>.Action() {
Object execute() {
return GenericCommand.this.getCommandAction().execute(GenericCommand.this.getExecutionType());
}
});
}
protected Object getFallback() {
final CommandAction commandAction = this.getFallbackAction();
if (commandAction != null) {
try {
return this.process(new AbstractHystrixCommand<Object>.Action() {
Object execute() {
MetaHolder metaHolder = commandAction.getMetaHolder();
Object[] args = CommonUtils.createArgsForFallback(metaHolder, GenericCommand.this.getExecutionException());
return commandAction.executeWithArgs(metaHolder.getFallbackExecutionType(), args);
}
});
} catch (Throwable var3) {
LOGGER.error(FallbackErrorMessageBuilder.create().append(commandAction, var3).build());
throw new FallbackInvocationException(ExceptionUtils.unwrapCause(var3));
}
} else {
return super.getFallback();
}
}
}
它本身对目标方法的正常执行和对 fallback方法的 执行做了实现 。
GenericCommand.this.getCommandAction().execute(...)获取到目标方法并执行，底层会交给 MethodExecutionAction 使用反射去执行方法。
回到 HystrixCommandAspect的methodsAnnotatedWithHystrixCommand方法中，我们看下 CommandExecutor.execute是如何执行的
public class CommandExecutor {
public CommandExecutor() {
}
public static Object execute(HystrixInvokable invokable, ExecutionType executionType, MetaHolder metaHolder) throws RuntimeException {
Validate.notNull(invokable);
Validate.notNull(metaHolder);
switch(executionType) {
//异步
case SYNCHRONOUS:
return castToExecutable(invokable, executionType).execute();
//同步
case ASYNCHRONOUS:
HystrixExecutable executable = castToExecutable(invokable, executionType);
if (metaHolder.hasFallbackMethodCommand() && ExecutionType.ASYNCHRONOUS == metaHolder.getFallbackExecutionType()) {
return new FutureDecorator(executable.queue());
}
return executable.queue();
case OBSERVABLE:
HystrixObservable observable = castToObservable(invokable);
return ObservableExecutionMode.EAGER == metaHolder.getObservableExecutionMode() ? observable.observe() : observable.toObservable();
default:
throw new RuntimeException("unsupported execution type: " + executionType);
}
}
private static HystrixExecutable castToExecutable(HystrixInvokable invokable, ExecutionType executionType) {
if (invokable instanceof HystrixExecutable) {
return (HystrixExecutable)invokable;
} else {
throw new RuntimeException("Command should implement " + HystrixExecutable.class.getCanonicalName() + " interface to execute in: " + executionType + " mode");
}
}
这里有两种执行方式 SYNCHRONOUS 异步 ，ASYNCHRONOUS同步 ，我们先看异步： castToExecutable(invokable, executionType).execute();
这里代码把HystrixInvokable对象转成 HystrixExecutable并调用execute方法执行 ，跟踪execute方法进入HystrixCommand.execute方法中
public R execute() {
try {
return queue().get();
} catch (Exception e) {
throw Exceptions.sneakyThrow(decomposeException(e));
}
}
--------------
public Future<R> queue() {
/*
* The Future returned by Observable.toBlocking().toFuture() does not implement the
* interruption of the execution thread when the "mayInterrupt" flag of Future.cancel(boolean) is set to true;
* thus, to comply with the contract of Future, we must wrap around it.
*/
final Future<R> delegate = toObservable().toBlocking().toFuture();
final Future<R> f = new Future<R>() {
@Override
public boolean cancel(boolean mayInterruptIfRunning) {
if (delegate.isCancelled()) {
return false;
}
if (HystrixCommand.this.getProperties().executionIsolationThreadInterruptOnFutureCancel().get()) {
/*
* The only valid transition here is false -> true. If there are two futures, say f1 and f2, created by this command
* (which is super-weird, but has never been prohibited), and calls to f1.cancel(true) and to f2.cancel(false) are
* issued by different threads, it's unclear about what value would be used by the time mayInterruptOnCancel is checked.
* The most consistent way to deal with this scenario is to say that if *any* cancellation is invoked with interruption,
* than that interruption request cannot be taken back.
*/
interruptOnFutureCancel.compareAndSet(false, mayInterruptIfRunning);
}
final boolean res = delegate.cancel(interruptOnFutureCancel.get());
if (!isExecutionComplete() && interruptOnFutureCancel.get()) {
final Thread t = executionThread.get();
if (t != null && !t.equals(Thread.currentThread())) {
t.interrupt();
}
}
return res;
}
....省略...
在 HystrixCommand.execute方法中 其实是Future 来异步执行，调用过程中会触发 GenericCommand来完成调用，执行完成后调用 Future.get()方法拿到执行结果 。HystrixCommand的queue方法实际上是调用了toObservable().toBlocking().toFuture()。
2. @HystrixCommand
相关配置：HystrixCommandProperties
默认配置都在HystrixCommandProperties类中。
先看两个metrics收集的配置。
- metrics.rollingStats.timeInMilliseconds
表示滑动窗口的时间(the duration of the statistical rolling window)，默认10000(10s)，也是熔断器计算的基本单位。
- metrics.rollingStats.numBuckets
滑动窗口的Bucket数量(the number of buckets the rolling statistical window is divided into)，默认10. 通过timeInMilliseconds和numBuckets可以计算出每个Bucket的时长。
metrics.rollingStats.timeInMilliseconds % metrics.rollingStats.numBuckets 必须等于 0，否则将抛异常。
再看看熔断器的配置。
- circuitBreaker.requestVolumeThreshold
滑动窗口触发熔断的最小请求数。如果值是20，但滑动窗口的时间内请求数只有19，那即使19个请求全部失败，也不会熔断，必须达到这个值才行，否则样本太少，没有意义。
- circuitBreaker.sleepWindowInMilliseconds
这个和熔断器自动恢复有关，为了检测后端服务是否恢复，可以放一个请求过去试探一下。sleepWindow指的发生熔断后，必须隔sleepWindow这么长的时间，才能放请求过去试探下服务是否恢复。默认是5s
- circuitBreaker.errorThresholdPercentage
错误率阈值，表示达到熔断的条件。比如默认的50%，当一个滑动窗口内，失败率达到50%时就会触发熔断。
HystrixCommand类
Hystrix Command 执行过程中，各种情况都以事件形式发出，再封装成特定的数据结构，最后汇入到事件流中(HystrixEventStream)。
事件流提供了 observe() 方法，摇身一变，事件流把自己变成了一个数据源(各小溪汇入成河，消费者从河里取水)，其他消费者可以从这里获取数据，而 circuit-breaker 就是消费者之一。
上面是官方完整的流程图，策略是：
- 不断收集数据，达到条件就熔断；
- 熔断后拒绝所有请求一段时间(sleepWindow)；
- 然后放一个请求过去，如果请求成功，则关闭熔断器，否则继续打开熔断器。
查看HystrixCommand的父类AbstractCommand，其构造方法中定义了许多实例化hystrix所需的对象。
AbstractCommand这个类里，有个initCircuitBreaker这个方法。
private static HystrixCircuitBreaker initCircuitBreaker(boolean enabled, HystrixCircuitBreaker fromConstructor, HystrixCommandKey commandKey...) {
// 如果启用了熔断器
if (enabled) {
// 若commandKey没有对应的CircuitBreaker,则创建
if (fromConstructor == null) {
return HystrixCircuitBreaker.Factory.getInstance(commandKey, groupKey, properties, metrics);
} else {
// 如果有则返回现有的
return fromConstructor;
}
} else {
return new NoOpCircuitBreaker();
}
}进入到com.netflix.hystrix.HystrixCircuitBreaker.Factory.getInstance观察
public static class Factory {
// 维护一个ConcurrentHashMap保存熔断器
private static ConcurrentHashMap<String, HystrixCircuitBreaker> circuitBreakersByCommand = new ConcurrentHashMap();
public Factory() {
}
public static HystrixCircuitBreaker getInstance(HystrixCommandKey key, HystrixCommandGroupKey group, HystrixCommandProperties properties, HystrixCommandMetrics metrics) {
HystrixCircuitBreaker previouslyCached = (HystrixCircuitBreaker)circuitBreakersByCommand.get(key.name());
// 判断ConcurrentHashMap中是否存有对应key的熔断器对象
if (previouslyCached != null) {
return previouslyCached;
} else {
// 实例化并添加到ConcurrentHashMap里
HystrixCircuitBreaker cbForCommand = (HystrixCircuitBreaker)circuitBreakersByCommand.putIfAbsent(key.name(), new HystrixCircuitBreaker.HystrixCircuitBreakerImpl(key, group, properties, metrics));
return cbForCommand == null ? (HystrixCircuitBreaker)circuitBreakersByCommand.get(key.name()) : cbForCommand;
}
}
public static HystrixCircuitBreaker getInstance(HystrixCommandKey key) {
return (HystrixCircuitBreaker)circuitBreakersByCommand.get(key.name());
}
static void reset() {
circuitBreakersByCommand.clear();
}
}
}
接下来观察HystrixCircuitBreaker的实现类HystrixCircuitBreakerImpl
public static class HystrixCircuitBreakerImpl implements HystrixCircuitBreaker {
// 熔断器的属性常量类
private final HystrixCommandProperties properties;
// 熔断器的熔断指标类
private final HystrixCommandMetrics metrics;
// 定义一个原子类型的布尔值状态
private AtomicBoolean circuitOpen = new AtomicBoolean(false);
private AtomicLong circuitOpenedOrLastTestedTime = new AtomicLong();
protected HystrixCircuitBreakerImpl(HystrixCommandKey key, HystrixCommandGroupKey commandGroup, HystrixCommandProperties properties, HystrixCommandMetrics metrics) {
this.properties = properties;
this.metrics = metrics;
}
// 重置统计数据
public void markSuccess() {
if (this.circuitOpen.get() && this.circuitOpen.compareAndSet(true, false)) {
this.metrics.resetStream();
}
}
// 是否放行请求
public boolean allowRequest() {
// 熔断器开启则不放行
if ((Boolean)this.properties.circuitBreakerForceOpen().get()) {
return false;
} else if ((Boolean)this.properties.circuitBreakerForceClosed().get()) {
this.isOpen();
return true;
} else {
return !this.isOpen() || this.allowSingleTest();
}
}
// 部分放行
public boolean allowSingleTest() {
long timeCircuitOpenedOrWasLastTested = this.circuitOpenedOrLastTestedTime.get();
return this.circuitOpen.get() && System.currentTimeMillis() > timeCircuitOpenedOrWasLastTested + (long)(Integer)this.properties.circuitBreakerSleepWindowInMilliseconds().get() && this.circuitOpenedOrLastTestedTime.compareAndSet(timeCircuitOpenedOrWasLastTested, System.currentTimeMillis());
}
// 判断熔断器是否开启
public boolean isOpen() {
if (this.circuitOpen.get()) {
return true;
} else {
// 根据采集到的数据进行判断是否开启
HealthCounts health = this.metrics.getHealthCounts();
if (health.getTotalRequests() < (long)(Integer)this.properties.circuitBreakerRequestVolumeThreshold().get()) {
return false;
} else if (health.getErrorPercentage() < (Integer)this.properties.circuitBreakerErrorThresholdPercentage().get()) {
return false;
} else if (this.circuitOpen.compareAndSet(false, true)) {
this.circuitOpenedOrLastTestedTime.set(System.currentTimeMillis());
return true;
} else {
return true;
}
}
}
}
如何订阅HystrixEventStream
本文最前面说到，HystrixEventStream提供了结构化的数据，提供了一个Observable对象，Hystrix只需要订阅它即可。
这HystrixCircuitBreaker接口实现类的构造器：
protected HystrixCircuitBreakerImpl(HystrixCommandKey key, HystrixCommandGroupKey commandGroup, final HystrixCommandProperties properties, HystrixCommandMetrics metrics) {
this.properties = properties;
// 这是Command中的metrics对象,metrics对象也是commandKey维度的
this.metrics = metrics;
// !!!重点:订阅事件流
Subscription s = subscribeToStream();
activeSubscription.set(s);
}
// 订阅事件流, 前面打的比方: 小溪汇成的河, 各事件以结构化数据汇入了Stream中
private Subscription subscribeToStream() {
// HealthCountsStream是重点，下面会分析
return metrics.getHealthCountsStream()
.observe()
// 利用数据统计的结果HealthCounts, 实现熔断器
.subscribe(new Subscriber<HealthCounts>() {
@Override
public void onCompleted() {}
@Override
public void onError(Throwable e) {}
@Override
public void onNext(HealthCounts hc) {
// 检查是否达到最小请求数,默认20个; 未达到的话即使请求全部失败也不会熔断
if (hc.getTotalRequests() < properties.circuitBreakerRequestVolumeThreshold().get()) {
// 啥也不做
} else {
// 错误百分比未达到设定的阀值
if (hc.getErrorPercentage() < properties.circuitBreakerErrorThresholdPercentage().get()) {
} else {
// 错误率过高, 进行熔断
if (status.compareAndSet(Status.CLOSED, Status.OPEN)) {
circuitOpened.set(System.currentTimeMillis());
}
}
}
}
});
}HealthCounts 属性如下，表示一个滑动窗口内的统计数据。
public static class HealthCounts {
// rolling window 中请求总数量
private final long totalCount;
// 错误请求数(failure + success + timeout + threadPoolRejected + semaphoreRejected)
private final long errorCount;
// 错误率
private final int errorPercentage;
}熔断器就是利用最终的统计结果HealthCounts来判断是否进行熔断。
熔断器状态变化
熔断器有三种状态，如下：
enum Status {
CLOSED, OPEN, HALF_OPEN;
}在Command的执行过程中，会调用HystrixCircuitBreaker的方法来更新状态。下面是几个重要的方法：
命令执行时，判断熔断器是否打开
// 是否允许执行
public boolean attemptExecution() {
// 熔断器配置了强制打开, 不允许执行命令
if (properties.circuitBreakerForceOpen().get()) {
return false;
}
// 熔断器配置了强制关闭, 允许执行
if (properties.circuitBreakerForceClosed().get()) {
return true;
}
// AtomicLong circuitOpened, -1是表示熔断器未打开
if (circuitOpened.get() == -1) {
return true;
} else {
// 熔断后,会拒绝所有命令一段时间(默认5s), 称为sleepWindow
if (isAfterSleepWindow()) {
// 过了sleepWindow后,将熔断器设置为"HALF_OPEN",允许第一个请求过去
if (status.compareAndSet(Status.OPEN, Status.HALF_OPEN)) {
return true;
} else {
return false;
}
} else {
return false;
}
}
}当Command成功执行结束时，会调用HystrixCircuitBreaker.markSuccess()来标记执行成功.
public void markSuccess() {
// 如果是HALF_OPEN状态,则关闭熔断器
if (status.compareAndSet(Status.HALF_OPEN, Status.CLOSED)) {
// 重新开始统计metrics,抛弃所有原先的metrics信息
metrics.resetStream();
Subscription previousSubscription = activeSubscription.get();
if (previousSubscription != null) {
previousSubscription.unsubscribe();
}
Subscription newSubscription = subscribeToStream();
activeSubscription.set(newSubscription);
// circuitOpened设置为-1表示关闭熔断器
circuitOpened.set(-1L);
}
}当Command执行失败时, 如果熔断器属于HALF_OPEN状态,也就是熔断器刚过sleepWindow时间，尝试放一个请求过去，结果又失败了，于是马上打开熔断器，继续拒绝sleepWindow的时间。
public void markNonSuccess() {
if (status.compareAndSet(Status.HALF_OPEN, Status.OPEN)) {
circuitOpened.set(System.currentTimeMillis());
}
}下面是调用markNonSuccess()的地方，handleFallback是所有失败情况的处理者.
final Func1<Throwable, Observable<R>> handleFallback = new Func1<Throwable, Observable<R>>() {
@Override
public Observable<R> call(Throwable t) {
circuitBreaker.markNonSuccess();
Exception e = getExceptionFromThrowable(t);
executionResult = executionResult.setExecutionException(e);
// 线程池拒绝
if (e instanceof RejectedExecutionException) {
return handleThreadPoolRejectionViaFallback(e);
// 超时
} else if (t instanceof HystrixTimeoutException) {
return handleTimeoutViaFallback();
// Bad Request
} else if (t instanceof HystrixBadRequestException) {
return handleBadRequestByEmittingError(e);
} else {
if (e instanceof HystrixBadRequestException) {
eventNotifier.markEvent(HystrixEventType.BAD_REQUEST, commandKey);
return Observable.error(e);
}
return handleFailureViaFallback(e);
}
}
};Circuit-Breaker的设计、实现都很有意思：
- 滴水成河，收集每个命令的执行情况，汇总后通过滑动窗口，不断动态计算最新统计数据，基于统计数据来开启熔断器
- 巧妙的利用RxJava的window()函数来汇总数据，先汇总为Bucket， N Bucket组成Rolling Window
- 使用sleepWindow + 尝试机制，自动恢复 “供电”
参考链接：
https://www.jianshu.com/p/07d45032bdff
https://www.javajike.com/article/2060.html
