李宏毅机器学习之Life Long Learning

其他 2020-03-07 22:59:32 阅读次数: 0

李宏毅机器学习之Life Long Learning

Life-long Learning需要解决的问题

在这里插入图片描述

Knowledge Retention

在这里插入图片描述

学习完任务2后任务1的正确率下降了

在这里插入图片描述

如果一起学，可以学的很好，为什么分开学，就乱了，Catastrophic Forgetting

在这里插入图片描述

EWC 核心思想：在二次训练的时候，之前比较重要的参数尽量不要去改

在这里插入图片描述

theta1 在平原上，所以变化对任务1的影响不大，所以对应的b1也比较小, theta2相对曲线比较陡峭，容易对任务1产生影响，所以对应的b2会比较大。

在这里插入图片描述

Knowledge Transfer

在这里插入图片描述

知识迁移与life-long learning的区别

在这里插入图片描述

life-long learning的一般评估方法

在这里插入图片描述

GEM 核心思想：学习新任务的时候，考虑以前任务的梯度方向

Model Expansion

在这里插入图片描述

学习的顺序也很重要

loserChen.

发布了151 篇原创文章 · 获赞 110 · 访问量 10万+

私信关注

猜你喜欢

转载自blog.csdn.net/qq_35564813/article/details/92430068

李宏毅机器学习之Life Long Learning

李宏毅ML+DL学习记录：life long learning

【学习】life long learning

Life Long Learning

李宏毅机器学习——学习笔记（8）Deep Learning

[李宏毅-机器学习]迁移学习 transfer learning

[Machine Learning] 机器学习路线-李宏毅

李宏毅机器学习课程－Structured Learning

李宏毅机器学习课程－Transfer Learning

【机器学习（李宏毅）】一、Learning Map

[李宏毅-机器学习]Tips for deep learning

连续学习入门（一）：Continual Learning / Incremental Learning / Life Long Learning 问题背景及研究挑战

李宏毅机器学习课程笔记7：Transfer Learning、SVM、Structured Learning - Introduction 李宏毅机器学习课程笔记7：Transfer Learning、SVM、Structured Learning - Introduction

<Machine Learning - 李宏毅> 学习笔记

mate learning学习笔记（李宏毅）

李宏毅机器学习课程笔记7：Transfer Learning、SVM、Structured Learning - Introduction

[机器学习入门] 李宏毅机器学习笔记-1（Learning Map 课程导览图）

李宏毅机器学习笔记-6 深度学习简介（Brief Introduction of Deep Learning）

6、【李宏毅机器学习（2017）】Brief Introduction of Deep Learning（深度学习简介）

12、【李宏毅机器学习（2017）】Semi-supervised Learning（半监督学习）

11、【李宏毅机器学习（2017）】Why Deep Learning? （为什么是深度学习？）

9、【李宏毅机器学习（2017）】Tips for Deep Learning（深度学习优化）

李宏毅机器学习——学习笔记（12） Un-supervised Learning-Linear methods

李宏毅机器学习——学习笔记（11） Semi-supervised learning

李宏毅机器学习——学习笔记（12） Un-supervised Learning

李宏毅机器学习笔记-07 深度学习简介（Brief Introduction of Deep Learning）

[李宏毅-机器学习]无监督学习 unsupervised learning

机器学习：李宏毅深度强化学习笔记（五）Imitation Learning

李宏毅机器学习笔记-12：Semi-supervised Learning半监督学习

机器学习：李宏毅深度强化学习笔记（二）Q-Learning

今日推荐

Apache Doris 2.0.10 版本正式发布！

开源日报 | 大模型开战；大模型独角兽被曝卖身；周鸿祎建议谷歌开源所有产品；最大开源AI社区提供1000万美元共享GPU

开源日报 | Chrome内置Gemini的意义不在于Gemini；中国AI追随之路的五大误区；ECharts创始人“下海”养鱼；谷歌I/O开发者大会什么都有，只是没有惊喜

微软回应中国区AI团队“打包赴美”传闻

基于大语言模型的开源知识库问答系统 MaxKB GitHub Star 数量突破 5,000 个！

美国拟限制 AI 大模型出口中国和俄罗斯

苹果将与 OpenAI 达成协议，将 ChatGPT 应用于 iPhone

周排行

阿里云短信服务平台注册

Windows下的字符串处理(1)

sqoop: mysql导入数据到hdfs, hive, hbase

commons.lang中常用的工具类

离线安装PostgreSQL11.6

使用PyTorch简单实现卷积神经网络模型

一文彻底搞定谱聚类

一道面试题引发的血案

One Chat for Mac(聊天工具)

TCP/IP的底层队列是如何实现的？

每日归档

2024-05-17(34)

2024-05-16(6)

2024-05-15(24)

2024-05-14(0)

2024-05-13(18)

2024-05-12(0)

2024-05-11(38)

2024-05-10(38)

2024-05-09(35)

2024-05-08(42)