paddle2.3实现回归模型
做深度学习框架必不可少,因为一些重复的工作框架已经帮我们实现好,我们只需要构建自己的神经网络,准备数据训练即可。目前主流的框架有pytorch,tensorflow,国内百度有paddlepaddle,华为有mindspore,paddle作为国内起步比较早的框架,生态已经非常成熟,api也很好少上手,虽然网上的教程不多,但是官网的教程和文档非常完备,结合pytorch和tensorflow的有点,动静态图结合,同时支持分布式训练,所以我选择了paddle。经过5000次的训练,可以看到拟合效果还不错。
记录一个pyinstaller的问题(我自己的锅)
那天在项目里加了一个paddlets的测试文件夹,然后在里面导入一个公共模块失败了,我就随手在项目根目录加了一个__init__.py文件,正常不应该加的,即使加了也不管用,结果今天用pyinstaller打包的时候突然就少文件,开始我很纳闷,因为我没动过关于打包的任何东西,经过几个小时排查,对比老版本的文件才发现这个问题,多了个__init__.py,应该是影响pyinstaller构建依赖图,最后导致打包少文件,谨以此警示。
卷积神经网络中各个层对数据形状的改变
然后还有一个层,池化层,Pool2D,这个层也会改变数据形状,具体改变数据的高和宽,一般而言,它的参数设为2*2,最后的结果高度和宽度变为原来的一半,以手写字数据为例,比如输入的数据是N*1*28*28,经过一个卷积层(参数为输入通道1,输出通道32),那么输出结果就是N*32*28*28,再经过一个池化层(参数为2*2),那么输出结果为N*32*14*14。本文主要记录下近期研究的关键点,这块开始学的时候有点懵逼。
深度神经网络梯度消失和梯度爆炸问题
当神经网络层数过多时,就容易出现梯度消失和梯度爆炸的问题,什么是梯度爆炸或者梯度消失,梯度爆炸就是一般在开始训练时,参数都是随机数,导致loss太大,反向传播的时候就会出现梯度太大,或者梯度消失,从而导致网络无法收敛,解决方法是梯度裁剪。 梯度裁剪有普通裁剪和L2范数裁剪,每种方法又包含全局裁剪和部分裁剪两种。
状态空间方法的时间序列分析
继续看statsmodels文档,发现还有一种比较流行的时间序列分析模型,叫做状态空间法,但很可惜,这个方法代码没跑通,我想的是如果先能跑出结果,那自然是好,跑完我再慢慢看原理,没想到没跑通,好吧,那我就再深入的研究一下原理,于是我就开始百度,但是这不百度不知道,这个方法甚至有一本书专门介绍,名字就是本文标题《状态空间方法的时间序列分析》,我靠,我寻思着看几天就能完事,但是我觉得算法原理应该不至于写一本书,书里应该还有其它内容。
python中使用cantools和can工具包解析blf文件
可以发现,时间戳解析出来了,其它的数据都是16进制,没法直接看,当然我们如果熟悉blf格式,可以自己把数据还原出来,但是既然已经用第三方库,我们当然就不用自己解析了,而且仔细观察一下即可发现,之前的加载dbc并没有用上,所以这时一个重要的函数登场了,那就是dbc.decode_message(id,data),具体代码如下。一般情况下,解析blf需要dbc文件,当然其实不用dbc也可以,只不过解析比较麻烦,推荐还是配合dbc解析,这个也是我们最常用的办法。加载完dbc文件,就可以解析blf文件了,代码。
python中使用candas解析转换blf文件
我这个代码最后是把dataframe转成了mf4,用canape看比较方便。这个库其实还是蛮好用的,但是开发的工具最后没有用这个库,而是用底层库cantools和python-can解析的,原因是用这个库后,开发时功能是没问题的,但是用pyinstaller打包后就有问题了,总是报错,查了资料貌似有共享库冲突,最终没有解决,所以不得不放弃了,如果不打包还是ok的,高层api还是要方便一些,就是参数没太懂为什么要搞成那个样子。
pandas中iloc和loc的区别
iloc指的是行数,列数,跟行列索引没有本质关系,但是两者可以相同,当且仅当行、列索引是自然数列,因为它表示行、列数,所以,它只能是整数,不能是其它类型。loc指的是行、列索引,行、列索引没有类型要求,可以是整型,也可以是其它类型,比如浮点型、字符串、datetime。
企业IM聊天系统-im即时聊天系统源码
本篇将带大家从零开始搭建一个轻量级的IM服务端,IM的整体设计思路和架构在我的上篇博客中已经讲过了,从零开始开发IM(即时通讯)服务端。这篇将给大家带来更多的细节实现。我将从三个方面来阐述如何构建一个完整可靠的IM系统。可靠性安全性存储设计。
从零开始开发IM(即时通讯)服务端附源码
首先讲讲IM(即时通讯)技术可以用来做什么:聊天:qq、微信直播:斗鱼直播、抖音实时位置共享、游戏多人互动等等可以说几乎所有高实时性的应用场景都需要用到IM技术。本篇将带大家从零开始搭建一个轻量级的IM服务端,麻雀虽小,五脏俱全,我们搭建的IM服务端实现以下功能:一对一的文本消息、文件消息通信每个消息有“已发送”/“已送达”/“已读”回执存储离线消息支持用户登录,好友关系等基本功能。能够方便地水平扩展。
短视频App开发方案IOS架构
随着社交媒体的兴起和短视频的日益普及,开发短视频App已成为一个赚钱的好主意。iOS开发人员在创建这些应用程序方面非常有需求,因为这需要一组独特的功能和设计。在本文中,我们将探讨在iOS上开发短视频App的不同方法,并提供源代码的演示。
im群聊系统h5原生炒群系统开发需要哪些要求
即时通讯软件(IM)发展到今天功能已经越来越齐全,我们的日常生活中不管是社交、网上购物还是工作都已经离不开即时通讯软件。今天小编就来和大家聊聊即时通讯的开源项目,分别从不同语言、不同应用方面带给大家一些 IM 软件开发的思路。
今日推荐
周排行