TRAINED TERNARY QUANTIZATION 论文 - 代码天地

TRAINED TERNARY QUANTIZATION 论文

其他 2020-04-03 21:17:33 阅读次数: 0

本文是在TWQ(Ternary Weight Quantization)的基础上做出的改进，其流程可以简单概括为：
在这里插入图片描述

首先将全精度权重正则化到[-1,1]之间，
然后根据一个每层相同的阈值delta_t来进行量化(这里使用统一的t是为了缩小搜索空间，用每个通道不同的t应该能得到更好的表现，但感觉会增加过多的计算消耗)为-1，0和1，
在这里插入图片描述
Ps：还提了第二种方法，见5.1.1，但论文里没有这一节。。。

最后分别乘以Wn和Wp作为结果计算loss，再通过梯度下降更新Wn、Wp和原始梯度(这里使用了STE)。

Q:想知道这两个如果不是-1 1 是不是全精度的，那二值的意义在哪？
在这里插入图片描述

反向更新

全精度的梯度

在这里插入图片描述
量化的梯度

Q:具体怎么用怎么更新也没说，
按照TWN (也是参考BNN XNOR的)，只更新全精度的，三值化的只用于前向传播和反向传播

看这个图稍微好些，上面大小，下面数量分布
在这里插入图片描述

rrr2

发布了452 篇原创文章 · 获赞 271 · 访问量 73万+

他的留言板关注

猜你喜欢

转载自blog.csdn.net/qq_35608277/article/details/104882257

TRAINED TERNARY QUANTIZATION 论文

【论文阅读】Compressing Deep Neural Networks with Pruning, Trained Quantization and Huffma

DEEP COMPRESSION: COMPRESSING DEEP NEURAL NETWORKS WITH PRUNING, TRAINED QUANTIZATION AND HUFFMAN CODING 论文笔记

A perceptual quantization strategy for HEVC based on a convolutional neural network trained on natur

DEEP COMPRESSION: COMPRESSING DEEP NEURAL NETWORKS WITH PRUNING, TRAINED QUANTIZATION AND HUFFMAN

【论文阅读】Sparse Composite Quantization

A Survey of Product Quantization 论文笔记

Optimized Product Quantization 论文笔记

论文阅读——LSQ:Learned Step Size Quantization

Ternary weight networks 论文笔记

论文阅读 | Pre-trained Models for Natural Language Processing: A Survey

MODEL COMPRESSION VIA DISTILLATION AND QUANTIZATION 论文笔记

Product Quantization for Nearest Neighbor Search 论文笔记

Product Quantization Network for Fast Image Retrieval 论文笔记

Additive Quantization for Extreme Vector Compression 论文笔记

【论文阅读笔记】ZeroQ: A Novel Zero Shot Quantization Framework

【读点论文】A Survey of Quantization Methods for Efficient Neural Network Inference

Explaining How a Deep Neural Network Trained with End-to-End Learning Steers a Car论文笔记

论文阅读 | ACL2019 Exploring Pre-trained Language Models for Event Extraction and Generation

Enriching Pre-trained Language Model with Entity Information for Relation Classification 论文研读

【论文笔记】Enhancing Pre-Trained Language Representations with Rich Knowledge for MRC

《Sentiment analysis based on improved pre-trained word embeddings》论文阅读笔记

【论文笔记】MacBert：Revisiting Pre-trained Models for Chinese Natural Language Processing

【自监督论文阅读笔记】Integrally Pre-Trained Transformer Pyramid Networks （2022）

【论文解读】One Teacher is Enough? Pre-trained Language Model Distillation from Multiple Teachers

【论文笔记】Text Detoxification using Large Pre-trained Neural Models

Quantization Mimic: Towards Very Tiny CNN for Object Detection 论文笔记

Weighted-Entropy-based Quantization for Deep Neural Networks 论文笔记

LQ-Nets: Learned Quantization for Highly Accurate and Compact Deep Neural Networks 论文阅读

learning Accurate Low-Bit Deep Neural Networks with Stochastic Quantization论文

今日推荐

开放签电子签章：停止新增，优化体验，前进更进（五一假期前工作）

开源日报 | 中学生开源前端动画引擎；全球首个Llama3 8B中文版开源模型；联想电脑恐出局；Linus讽刺AI炒作

“百模大战”必有一战 | 2024中国“百模大战”竞争格局分析

最强开源大模型 Llama 3 上架 Gitee AI

虽然老乡鸡开源的不是代码，但背后的原因却让人很暖心

富文本编辑器 Quill 2.0 重磅发布，特性、可靠性与开发者体验大幅提升

周排行

SVN同步出现问题

解决 nginx 出现 413 Request Entity Too Large 的问题

第一节区块链服务BaaS的总体架构以及基本模块设计的一种方案

ITeye 2013年度盘点——社区赠书书单

IDEA / git 和github 的新手使用教程史上最简单的 IntelliJ IDEA 教程史上最简单的 GitHub 教程

测试工程方法：测试用例设计综合策略

Spark优化(三)：对多次使用的RDD进行持久化

使用STM32 ST-LINK Utility 设置读保护后不能运行

exgcd 解同余方程ax=b(%n)

Android使用脚本进行多渠道打包

每日归档

更多

2024-04-22(39)

2024-04-21(0)

2024-04-20(6)

2024-04-19(5)

2024-04-18(0)

2024-04-17(5)

2024-04-16(70)

2024-04-15(42)

2024-04-14(0)

2024-04-13(119)