embedding层的作用理解
网上关于embedding的介绍可谓是相当含糊。比如 Keras中文文档中对嵌入层 Embedding的介绍除了一句 “嵌入层将正整数（下标）转换为具有固定大小的向量”之外就不愿做过多的解释。那么我们为什么要使用嵌入层 Embedding呢? 主要有这两大原因:1.降维：比如one-hot encoding对于大字典你encoding后数据量太大，One-hot 方法编码的向量会很高维也很稀疏，浪费内存运行空间。比如：中文大大小小简体繁体常用不常用有十几万，然后一篇文章100W字，你要表示成10.
Transformer Decoder详解
这两天在学习Transformer，看了李沐的论文解读和NLP从入门到放弃，看完这两个视频算是大致明白了Transformer的结构。关于Self-Attention、Multi-Head Attention以及Poisitonal Encoding强烈建议看一下这篇文章：详解Transformer中Self-Attention以及Multi-Head Attention但是对于Decoder部分，依然是有点模糊，不知道Decoder的输入到底是什么，也不知道Decoder到底是不是并行计算，还有E
Transformer 中的mask
简单聊聊transformer里的mask ——转载自链接一1.padding mask在encoder和decoder两个模块里都有padding mask，位置是在softmax之前，为什么要使用padding mask，是因为由于encoder和decoder两个模块都会有各自相应的输入，但是输入的句子长度是不一样的，计算attention score会出现偏差，为了保证句子的长度一样所以需要进行填充，但是用0填充的位置的信息是完全没有意义的（多余的），经过softmax操作也会有对应的输..
2022快速计算机视觉EI国际会议汇总
本文不包含刚举办两三年的国内水会 主要收录了一些或许比较容易中且快速出结果的真正意义上的国际会议 可能存在编辑错误，最终以各会议官网为准 随缘更新 Abbr Name Submission Deadline Notification of Acceptance Remark ICACI 14th International Conference on Advanced Computational Intelligence May 15 June 1 CN CBMS 35th Internati
[论文阅读] TGANet: Text-guided attention for improved polyp segmentation
[论文地址] [代码] [MICCAI 22] Abstract 结肠镜检查是一个黄金标准，但高度依赖操作者。自动息肉分割可以最大限度地减少漏诊率，并在早期阶段及时治疗结肠癌。即使有为这项任务开发的深度学习方法，但息肉大小的变化会影响模型的训练，从而将其限制在训练数据集中大多数样本的大小属性上，可能会给不同大小的息肉提供次优结果。在这项工作中，我们在训练过程中以文本注意力的形式利用与尺寸相关和息肉数量相关的特征。我们引入了一个辅助的分类任务，对基于文本的嵌入进行加权，使网络能够学习额外的特征表
【2202.02543】ConClu：Unsupervised Learning on 3D Point Clouds by Clustering and Contrasting
文章目录1. 四个问题2. 论文介绍AbstractI. INTRODUCTIONII. RELATED WORKIII. THE PROPOSED METHODIV. EXPERIMENTSV. CONCLUSION4. 收获1. 四个问题解决什么问题无监督点云表征学习，基于对比学习对比学习有两个问题：1. depend on customized strategies to mine and store negative samples（负样本选择）; 2. 不会学到 local st.
【云计算课程】Lecture 1 云计算概述
文章目录第四次工业革命：智能化Introduction to Cloud ComputingCloud Computing - DefinitionBasic PropertiesBasic Service ModelsDeployment ModelsEconomic Justification云技术技术：虚拟化技术负载调度自动可扩展技术容错与备份微服务与无服务器架构第四次工业革命：智能化Introduction to Cloud ComputingHistory of Computing
【2205.05740v2】Surface Representation for Point Clouds
文章目录1. 四个问题2. 论文介绍3. 参考资料4. 收获1. 四个问题解决什么问题有监督点云学习local局部特征的学习用什么方法解决inspired by triangle meshes and umbrella curvature in computer graphics显式构造其它特征更好表达局部特征效果如何提升非常大，classification（ModelNet40-94.7）, segmentation, and detection还存在什么问题
【2021】PnP-3D: A Plug-and-Play for 3D Point Clouds
文章目录1. 四个问题2. 论文介绍3. 参考资料4. 收获1. 四个问题解决什么问题过去的点云网络提取的特征信息 未被完全利用，用什么方法解决提出一个即插即用模块，对每一层的特征再利用。具体来说包含Local Context Fusion和Global Bilinear Regularizationaiming to refine the fundamental point cloud feature representations by involving more lo...
【Kaggle 教程】Data Visualization
文章目录Exercise: Line Charts： 折线图Bar Charts and Heatmaps: 条形图和热力图Scatter Plots： 散点图Distributions: 直方图Histograms 和 密度图 Density plots - KDEChoosing Plot Types and Custom StylesExercise: Line Charts： 折线图引包 seabornimport pandas as pdpd.plotting.register_matpl
深度强化学习中的对抗攻击和防御
1 引言2 预备知识2.1 对抗攻击maxδL(fθ(x+δ),y)s.t. δ∈G\max\limits_{\delta} L(f_\theta(x+\delta),y)\quad \mathrm{s.t.}\text{ }\delta\in \mathcal{G}δmaxL(fθ(x+δ),y)s.t. δ∈Gxt+1=Proj∞x,ϵ(xt+α⋅sgn(∇L(fθ(xt),y)))x_{t+1}=\mathrm{Proj}^{x,\epsilon}_{\infty}
【git】(task1)git基础和常用命令
学习总结git add是个多功能命令，可以理解为“精确地将内容添加到下一次提交中”而不是“将一个文件添加到项目中”要更加合适。：可以用它开始跟踪新文件，把已跟踪的文件放到暂存区，合并时把有冲突的文件标记为已解决状态等。如果修改了跟踪中的CONTRIBUTING.md文件，再git status可以发现文件 CONTRIBUTING.md 出现在 Changes not staged for commit 这行下面，说明已跟踪文件的内容发生了变化，但还没有放到暂存区。 要暂存这次更新，需要运
【Pyspark】常用数据分析基础操作
文章目录零、准备工作0.1 安装pyspark一、pyspark.sql部分1.窗口函数2.更换列名：3.sql将一个字段根据某个字符拆分成多个字段显示4.pd和spark的dataframe进行转换：5.报错ValueError: Some of types cannot be determined after inferring6.df按行打乱7.表格的联结8.dataframe的操作9.createDataFrame的几种方法10.pyspark pandas与spark的dataframe转换，通过
【git】(task3)git内部原理及工作流实战（更新ing）
文章目录五、Git 内部原理5.0 引言5.1 `.git` 的目录结构5.2 objects目录 —— 对象存储知识点5.3 objects目录 —— 包文件的存储机制5.4 refs目录 —— 引用5.4.1 HEAD引用5.4.2 远程引用5.4.3 标签引用5.4.4 stash5.5 config文件 —— 引用规范5.6 config文件 —— 环境变量5.7 小练习5.7.1 远端分支推送5.7.2 邮箱配置六、GitFlow工作流实战6.0 引言6.1 深⼊理解Git-Flow⼯作流模型原理
周排行