Storm入门(4)--分组策略

在Topology中,每一层的处理可能包含多个实体组件,storm的分组策略讨论数据从上游流到下游时的按照怎样的规则流到哪一个下游组件中。 Storm提供的分组策略有: 随机分组:shuffle 上游组件的tuple随机分发到下游组件,不会产生分组 field分组: 按照指定field的key进行hash处理,相同的field,一定进入相同的bolt。容易产生数据倾斜,通过二次聚合避免。 如果需要按照字段分组,如何避免数据倾斜? 以wordcount为例,spout和splitBolt之间使用
分类: 其他 发布时间: 06-16 22:44 阅读次数: 0

OpenCV.3.4.6.附加依赖项

ZC:VS2015 "项目属性 --> 链接器--> 输入--> 附加依赖项" 中 添加内容 1、E:\OpenCV_something\opencv-3.4.6-vc14_vc15\build\x86_zz\debug\vc14\lib   ZC:cmd下 cd到该目录,然后 命令"dir" opencv_calib3d346d.lib opencv_core346d.lib opencv_dnn346d.lib opencv_features2d346d.lib opencv_fl
分类: 其他 发布时间: 06-16 22:44 阅读次数: 0

Linux文件操作函数

creat() 函数    close() 函数    read() 函数    read 函数实际读到的字节数少于要求读的字节数时: 读普通文件,在读到要求字节数之前就到达文件尾; 当从终端设备读,通常一次最多读一行; 当从网络读时,网络中的缓冲机构可能造成返回值小于所要求读的字节数; 某些面向记录的设备,如磁带,一次最多返回一个记录; 读操作完成后,文件的当前位置将从读之前的位置加上实际读的字节数; 当有错误发生时则返回 -1,错误代码存入 errno 中,而文件读写位置则无法预期; wr
分类: 其他 发布时间: 06-16 22:44 阅读次数: 0

优化API接口响应速度

前言 API接口响应慢? SLA一直提不上去? 其实这是后端程序员想进阶必须要跨过去的坎:就是把它优化掉。 那么这其中到底有没有套路呢?答案是:有的。 本文将介绍目前正在用并且十分“无脑”有效的这个套路。 正文 埋点追踪分析,找出真凶 首先呢,第一部肯定是在关键函数(有db、文件、复杂计算等操作)的前后,进行时间的记录。 此时去找log就可以找到每一步跑的时间。根据实际可以一眼看出是哪一步跑慢了。那么这一步就是主要优化的方向了。 ps:此类对线上接口产生的耗时基本可以忽略,所以放心用。 根据上
分类: 其他 发布时间: 06-16 22:44 阅读次数: 0

以Webdriver实例了解Webdriver

Webdriver是一个自动化测试软件,也是处理Ajax渲染之一的爬虫工具。 本文以一个实际案例(今日头条的阳光宽频(365yg.com))来了解它有什么作用,它能做什么。相关的爬取思路也可应用在其他相类似的网站。 分析思路 第1步:首先进入https://365yg.com确定爬取的目标,本例爬取视频的下载链接、视频标题和作者 第2步:单击鼠标右键选择检查或按键盘F12调出谷歌浏览器抓包工具进行分析 多次查看不同的视频内容发现它们的视频超链接、视频标题和作者的网页结构完全一样,没有反爬点,无
分类: 其他 发布时间: 06-16 22:44 阅读次数: 0

prepare

Lucene Lucene是apache软件基金会4 jakarta项目组的一个子项目,是一个开放源代码的全文检索引擎工具包,但它不是一个完整的全文检索引擎,而是一个全文检索引擎的架构,提供了完整的查询引擎和索引引擎,部分文本分析引擎(英文与德文两种西方语言)。Lucene的目的是为软件开发人员提供一个简单易用的工具包,以方便的在目标系统中实现全文检索的功能,或者是以此为基础建立起完整的全文检索引擎。Lucene是一套用于全文检索和搜寻的开源程式库,由Apache软件基金会支持和提供。Luce
分类: 其他 发布时间: 06-16 22:44 阅读次数: 0

【stm32开发日志】步进电机精确控制基本原理

第一步确定步进电机的步距角,这个电机上会标明的。比如说,1.8度,则一个圆周360/1.8=200,也就是说电机旋转一周需要200个脉冲。 第二步确定电机驱动器设了细分细分没有,查清细分数,可以看驱动器上的拨码。比如说4细分,则承上所述,200*4=800,等于说800个脉冲电机才旋转一周。 第三步确定电机轴一周的长度或者说导程:如果是丝杠,螺距螺纹头数=导程,如果是齿轮齿条传动,分度圆直径(mz)即为导程,导程/脉冲个数=一个脉冲的线位移。
分类: 其他 发布时间: 06-16 22:44 阅读次数: 0

【stm32开发日志】用stm32精确控制步进电机角度

前言:精确控制步进电机的原理见我之前写的一篇博文:https://blog.csdn.net/weixin_39589455/article/details/89409634 程序: 1.此处是pwm输出,及普通的设置,用到TIM1的CH1通道,这里不加太多注释,可参考我的另一篇博文:https://blog.csdn.net/weixin_39589455/article/details/87902849 唯一不同的是加入了中断计数 void TIM1_PWM_Init(u16 arr,u1
分类: 其他 发布时间: 06-16 22:44 阅读次数: 0

【AVR Meag128 单片机原理与接口技术实验】SPI方式控制数码管

实验名称:利用定时器T1实现定时1S的实验 功能描述:利用定时器T1实现1S定时,数码管显示秒数。 实验目的:学会使用定时器T1进行定时。 学会使用数码管显示数据。 学习定时器中断。 实验说明:MCU–M128 内部8M晶振 如果数码管刷新频率不够高的话将会出现闪烁的现象。 /************************************************ 文件:main.c 用途: 注意:内部8M晶振 *************************************
分类: 其他 发布时间: 06-16 22:44 阅读次数: 0

【信号与系统学习】如何通俗理解卷积?

比如说你的老板命令你干活,你却到楼下打台球去了,后来被老板发现,他非常气愤,扇了你一巴掌(注意,这就是输入信号,脉冲),于是你的脸上会渐渐地(贱贱地)鼓起来一个包,你的脸就是一个系统,而鼓起来的包就是你的脸对巴掌的响应,好,这样就和信号系统建立起来意义对应的联系。下面还需要一些假设来保证论证的严谨:假定你的脸是线性时不变系统,也就是说,无论什么时候老板打你一巴掌,打在你脸的同一位置(这似乎要求你的脸足够光滑,如果你说你长了很多青春痘,甚至整个脸皮处处连续处处不可导,那难度太大了,我就无话可说了
分类: 其他 发布时间: 06-16 22:43 阅读次数: 0

【深度学习】生成式对抗网络(GAN)从通俗了解到深化理解

简介: 生成式对抗网络(GAN)是一个最新的研究领域,主要用在图像技术方面的图像生成和自然语言方面的生成式对话内容。简单说:就是机器可以根据需要生成新的图像和对话内容。 通俗理解: 让我们假设这样一种情景:你的邻居正在举办一场非常酷的聚会,你非常想去参加。但有要参加聚会的话,你需要一张特价票,而这个票早就已经卖完了。 而对于这次聚会的组织者来说,为了让聚会能够成功举办,他们雇佣了一个合格的安全机构。主要目标就是不允许任何人破坏这次的聚会。为了做到这一点,他们在会场入口处安置了很多警卫,检查每个
分类: 其他 发布时间: 06-16 22:43 阅读次数: 0

Oracle10g在win10安装 ‘检查操作系统版’不通过

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/z858466/article/details/80753584 最近在window 10安装oracle 10g时报错误如下: 检查操作系统版本:必须是5.1 or 5.2,实际是6.2,未通过。 经百度,采取了几种解决方法,结合起来才奏效。 解决方案 1、首先设置setup.exe的兼容性。 再次运行,发现错误变为 “”实际是6.0“”。 2、修改配置文件oraparam.ini(默认为只读,
分类: 其他 发布时间: 06-16 22:42 阅读次数: 0

解决IE兼容模式问题(使IE使用固定的渲染模式)

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/z858466/article/details/81161199 IE浏览器从IE8开始添加了兼容模式,开启后会以低版本的IE进行渲染。兼容模式有可能会导致网页显示出问题,于是我们通常在HTML中添加下列代码来使 IE 使用固定的渲染模式: 将代码设置成html5的模式,那么用户打开项目之后,文档模式就是标准的;即不会是ie5Qurik模式;但有可能是ie7标准模式; <meta http-equ
分类: 其他 发布时间: 06-16 22:42 阅读次数: 0

C#中使用Newtonsoft.Json(Json.NET)的创建Json文件和解析

一、添加引用 using Newtonsoft.Json; 二、调用代码: //获取图书列表 List<BookInfo> bookList = GetBookList(); //将图书列表转换成Json string bookListJson = JsonConvert.SerializeObject(bookList); //将Json转换回图书列表 List<BookInfo> books = JsonConvert.DeserializeObject<List<
分类: 其他 发布时间: 06-16 22:41 阅读次数: 0

C#实现每天创建日志文件

一、编写日志文件类 /* * 主题:日志文件 * * 功能: * 1、每天创建日志文件 * 2、可以向日志文件追加内容,不被覆盖 * 3、可以读取日志文件的内容 * 4、可以清空日志文件内容 * 5、删除指定的日志文件 * * 作者:Coffee * */ using System; using System.IO; using System.Text; namespace Kernal {
分类: 其他 发布时间: 06-16 22:41 阅读次数: 0

C#实现对象为Json嵌套数组文件的创建

Json嵌套数组文件效果图: 一、思路分析: ①观察发现是2层嵌套 ②使用List集合实现--->创建类--->List集合--->Newtonsoft.json.dll 二、实现步骤 2.1、创建第2层嵌套的基础类:MapInfo.cs namespace JsonDemo { class MapInfo { public string mapName { get; set; } public string count { get; set;
分类: 其他 发布时间: 06-16 22:40 阅读次数: 0

本地腾讯视频qlv转mp4

用小白兔视频格式在线转换上传你的视频。转换好后,就可以看到视频已经是MP4格式了。
分类: 企业开发 发布时间: 06-16 22:40 阅读次数: 0

OPNsense19.1.9语言包更新文件

OPNsense更到19版以后,语言文件做了较大的修订,字条数目增加到了9110个,原来18版本的翻译在19版中,只占到翻译量的79%。通过近一个星期的翻译,已将9110个词条翻译完成。已告知OPNsense官方,争取加入到下一个发行版本中!该语言包修正了一些翻译错误,HAproxy切换中文运行不正常的问题也得到了解决。使用方法:用w×××cp登陆进OPNsense文件系统,将压缩包里的usr目录
分类: 企业开发 发布时间: 06-16 22:40 阅读次数: 0

抖音快手少走弯路的技巧

南抖音,北快手,目前短视频领域的两朵奇葩。有流量,就有人借着发财。加上今年大行情不是很好,所以,在抖音快手找机会的特别多。其实,玩抖音最佳节点应该是前年底和去年,因为有巨大的用户增量爆发,现在做也还行,只是难度系数更高了些。但是毕竟风口都是来了普通人才反应过来,所以决定还是写点什么,希望能让刚玩的朋友少走些弯路。1.人设(账号定位)第一步就是人设了,或者叫账号定位更准确。因为人设会崩塌,做自己反而
分类: 企业开发 发布时间: 06-16 22:40 阅读次数: 0