李宏毅机器学习之Life Long Learning

其他 2020-03-07 22:59:32 阅读次数: 0

李宏毅机器学习之Life Long Learning

Life-long Learning需要解决的问题

在这里插入图片描述

Knowledge Retention

在这里插入图片描述

学习完任务2后任务1的正确率下降了

在这里插入图片描述

如果一起学，可以学的很好，为什么分开学，就乱了，Catastrophic Forgetting

在这里插入图片描述

EWC 核心思想：在二次训练的时候，之前比较重要的参数尽量不要去改

在这里插入图片描述

theta1 在平原上，所以变化对任务1的影响不大，所以对应的b1也比较小, theta2相对曲线比较陡峭，容易对任务1产生影响，所以对应的b2会比较大。

在这里插入图片描述

Knowledge Transfer

在这里插入图片描述

知识迁移与life-long learning的区别

在这里插入图片描述

life-long learning的一般评估方法

在这里插入图片描述

GEM 核心思想：学习新任务的时候，考虑以前任务的梯度方向

Model Expansion

在这里插入图片描述

学习的顺序也很重要

loserChen.

发布了151 篇原创文章 · 获赞 110 · 访问量 10万+

私信关注

猜你喜欢

转载自blog.csdn.net/qq_35564813/article/details/92430068

李宏毅机器学习之Life Long Learning

李宏毅ML+DL学习记录：life long learning

【学习】life long learning

Life Long Learning

李宏毅机器学习——学习笔记（8）Deep Learning

[李宏毅-机器学习]迁移学习 transfer learning

[Machine Learning] 机器学习路线-李宏毅

李宏毅机器学习课程－Structured Learning

李宏毅机器学习课程－Transfer Learning

【机器学习（李宏毅）】一、Learning Map

[李宏毅-机器学习]Tips for deep learning

连续学习入门（一）：Continual Learning / Incremental Learning / Life Long Learning 问题背景及研究挑战

李宏毅机器学习课程笔记7：Transfer Learning、SVM、Structured Learning - Introduction 李宏毅机器学习课程笔记7：Transfer Learning、SVM、Structured Learning - Introduction

<Machine Learning - 李宏毅> 学习笔记

mate learning学习笔记（李宏毅）

李宏毅机器学习课程笔记7：Transfer Learning、SVM、Structured Learning - Introduction

[机器学习入门] 李宏毅机器学习笔记-1（Learning Map 课程导览图）

李宏毅机器学习笔记-6 深度学习简介（Brief Introduction of Deep Learning）

6、【李宏毅机器学习（2017）】Brief Introduction of Deep Learning（深度学习简介）

9、【李宏毅机器学习（2017）】Tips for Deep Learning（深度学习优化）

12、【李宏毅机器学习（2017）】Semi-supervised Learning（半监督学习）

11、【李宏毅机器学习（2017）】Why Deep Learning? （为什么是深度学习？）

李宏毅机器学习——学习笔记（12） Un-supervised Learning-Linear methods

李宏毅机器学习——学习笔记（11） Semi-supervised learning

李宏毅机器学习——学习笔记（12） Un-supervised Learning

李宏毅机器学习笔记-07 深度学习简介（Brief Introduction of Deep Learning）

机器学习：李宏毅深度强化学习笔记（二）Q-Learning

机器学习：李宏毅深度强化学习笔记（五）Imitation Learning

[李宏毅-机器学习]无监督学习 unsupervised learning

[李宏毅-机器学习]半监督学习 semi-supervised learning

今日推荐

基于大语言模型的开源知识库问答系统 MaxKB GitHub Star 数量突破 5,000 个！

美国拟限制 AI 大模型出口中国和俄罗斯

苹果将与 OpenAI 达成协议，将 ChatGPT 应用于 iPhone

openKylin 社区生态委员会第六次会议圆满召开

阿里云正式发布通义千问 2.5

Python 3.13 发布首个 Beta：实验性自由线程模式和 JIT、改进交互式解释器

Stack Overflow 拿我的代码去训练 AI 大模型，还封了我的账号

Pop!_OS 的 COSMIC 桌面完成 App Store 上架工作

《2024 年一季度互联网投融资运行情况》研究报告

报告：Django 仍然是 74% 开发者的首选

15 年前上了“FFmpeg 耻辱柱”，今天他还得谢谢咱——腾讯QQPlayer一雪前耻？

TIOBE 5 月榜单：Fortran “复活”进入 Top 10

周排行

记一下去大梅沙的准备（2018-05-26）

Spring 注解事务

基于HTTP协议的客户端缓存

阿里云rds 备份和还原

[PHP] 几个拖慢 PHP 程序/API 运行速度的点

python 代码风格------------PEP8规则

js控制json生成菜单——自制菜单（一）

将字符串: 'k:1|k1:2|k2:3|k3:4 ' ,处理成 python 字典: {'k':1, 'k1':2, ...}

微信小程序转支付宝小程序

Qt551.窗口滚动条

每日归档

2024-05-13(18)

2024-05-12(0)

2024-05-11(38)

2024-05-10(38)

2024-05-09(35)

2024-05-08(42)

2024-05-07(14)

2024-05-06(40)

2024-05-05(0)

2024-05-04(7)