【机器学习】线性回归ex1

单变量线性回归题目:在本部分的练习中,您将使用一个变量实现线性回归,以预测食品卡车的利润。假设你是一家餐馆的首席执行官,正在考虑不同的城市开设一个新的分店。该连锁店已经在各个城市拥有卡车,而且你有来自城市的利润和人口数据。您希望使用这些数据来帮助您选择将哪个城市扩展到下一个城市。预备知识一、损失函数二、梯度下降代码import numpy as npimport pandas as pdimport matplotlib.pyplot as plt#导入数据,并查看path =
分类: 其他 发布时间: 10-28 20:54 阅读次数: 0

python自动化测试学习-自动化测试的基本认识

python自动化测试学习 什么是自动化测试1、把人为驱动的测试行为改成机器执行,通过设计的测试用例,由机器按照测试用例的执行步骤对其进行自动操作,输出结果,由测试人员进行比较。2、自动化测试往往通过一些测试工具或框架,编写自动化测试用例,来模拟手工测试。3、自动化测试能极大的节省人力、时间和硬件资源,提高测试效率。自动化测试的优势1、自动化测试工具可以根据需要,准备大量的测试数据。2、可以使用相关脚本技术准备大量的测试用例。3、测试结果有时需要再进行相应的数据处理。4、可以对大量数据或数
分类: 其他 发布时间: 10-28 20:54 阅读次数: 0

评测丨飞凌i.MX6ULL与iMX6UL开发板性能评测对比

OKMX6ULL-S开发板采用NXP的高性能、超高效、低成本处理器MCIMX6Y2开发设计,采用先进的ARM Cortex-A7内核。开发板采用Linux4.1.15+QT5.6操作系统,支持工业级和商业级两种配置:256MB DDR3L/512MB DDR3L,256MB NandFlash/4GB eMMC,支持OTG、SD/TF卡批量烧写方式,支持单步更新内核。  
分类: 企业开发 发布时间: 10-28 20:54 阅读次数: 0

第一次实习面试心得(趋势科技)

第一次实习面试心得(趋势科技)面试流程:先自我介绍,然后问问题。我:我是…,java学到框架,具体把mybatis学完了,正在学spring,学完java做了一个旅游网站的小项目。面试官:项目实现了什么功能。我:实现了比较一些简单的功能,注册登录查询路线面试官:注册界面是如何实现的我:巴拉巴拉,由于没有准备说得很烂面试官:hashMap和hashtable的区别我:只说了线程安全这一点面试官:什么是线程安全我:给代码块加锁面试官:处理java还学了python,介绍一下python用到
分类: 其他 发布时间: 10-28 20:30 阅读次数: 0

多线程面试题总结(基础)

jvm虚拟机的启动是单线程的还是多线程的?答:多线程,因为垃圾回收线程也要先启动,否则很容易会出现内存溢出。垃圾回收线程加上主线程有两个线程,因此jvm虚拟机的启动是多线程的
分类: 其他 发布时间: 10-28 20:30 阅读次数: 0

java框架之mybaits总结

什么是mybatis?MyBatis 是一款优秀的持久层框架MyBatis 可以使用简单的 XML 或注解来配置和映射原生信息,将接口和 Java 的 实体类 【PlainOld Java Objects,普通的 Java对象】映射成数据库中的记录。Mybatis官方文档 : http://www.mybatis.org/mybatis3/zh/index.html为什么需要MybatisMybatis就是帮助程序猿将数据存入数据库中 , 和从数据库中取数据 .传统的jdbc操作 , 有很
分类: 其他 发布时间: 10-28 20:30 阅读次数: 0

spark的问题集锦

和小伙伴们一起做这个项目好久了,中间也是遇到了许多问题,这里自我总结下,防止下次再犯!项目在开发方面主要是基于spark开发的,里面使用到了spark core、spark sql、spark Streaming去进行编程,项目中有多个模块,像用户session分析模块、单条转换率模块、各区域热门商品模块、广告实时点击流统计模块等。项目中遇到的问题:1、classNotFound问题使用m...
分类: 其他 发布时间: 10-28 20:30 阅读次数: 0

基于hadoop、hive的离线数据分析问题集锦

1、小文件合并。nginx+flume+hdfs的架构采集、存储日志,但是flume采集的日志最终会有很多的小文件存储到hdfs,令人难受的是hdfs并不适用于处理大量小文件,但是好在hadoop的mapreduce提供了可以批量合并小文件的方式,这里直接上干货代码:在这里插入代码片package baobei.data.etl;import java.io.IOException;im...
分类: 其他 发布时间: 10-28 20:30 阅读次数: 0

snappy的安装

hive经常使用snappy的压缩格式,但是hadoop本身是并不支持snappy格式的压缩的(可以通过hadoop checknative指令查看),想要hadoop支持snappy类型的压缩则需要编译hadoop对应版本的源码,编译成功后把native文件copy到hadoop的目录下,重启hadoop即可。想象的挺好的,but正在的大坑在编译的阶段,弄了两天才弄好下面是我的一些总结:编译h...
分类: 其他 发布时间: 10-28 20:30 阅读次数: 0

sparkstreaming的状态定时清除

两种方式:sparkStreaming一般都是部署在linux上的,且7*24运行,如果不去清除状态信息,内部数据会非常大,checkpoint也会越来越慢。一般对于一天一统计的业务可以去定时清除。1:可以写shell脚本去重启spark任务,通过ps指令找到spark-submit的进程号,kill -9强制结束进程,然后再重启即可。2:利用spark的特殊方法去定时结束sparkStre...
分类: 其他 发布时间: 10-28 20:30 阅读次数: 0

springBoot项目demo中遇到的一些小问题

1、创建项目时选择project -> springInitializr(如果没有的话可以在plugins中搜索并安装spring Boot),随后写项目名,一路next、finish即可。2、创建完毕项目之后springboot默认识别的jsp目录需要配置下,否则访问jsp会404失败,springboot不需要web.xml文件,在main目录下创建webApp目录,点击file-&...
分类: 其他 发布时间: 10-28 20:30 阅读次数: 0

spring boot问题集锦

1、由于spring boot 内置已经有了tomcat,因此不需要额外再配置tomcat,只需要运行启动类即可,那么这个启动类需要注意一些地方,启动类的位置一定要特别注意,springboot在运行时只识别启动类所在的包及其子包下的代码,因此哪怕只是个demo项目,建包也不能太随意喽,否则等待你的就是访问404或者代码编译不通过。可以参考我下面的demo项目的逻辑结构(为了测试我把Dao与Se...
分类: 其他 发布时间: 10-28 20:29 阅读次数: 0

前端页面模板

在网上找了半天,找到了几个还行的前端模板,点击这里进行跳转下载源码
分类: 其他 发布时间: 10-28 20:29 阅读次数: 0

python pip的问题

1、今天去用pip下载python部分模块时突然不行了,报错ModuleNotFoundError: No module named ‘pip’,很郁闷啊,明明我是有pip的,看了下环境变量也是好好的,无奈直接来个暴力的方式,把pip卸掉再重装,反正也就是几秒钟的事,指令如下:首先执行 python -m ensurepip 然后执行 python -m pip install --upgr...
分类: 其他 发布时间: 10-28 20:29 阅读次数: 0

sparksql table not found错误

一般情况下可以先去看看是不是自己的表名写错了,当然我遇到的一种情况是下面这样的:使用hiveContext读取一张表,并注册为一张临时表(dataFrame.registerTemptable()),使用sqlContext读取另一张表,并注册为临时表,随后我再使用sqlContext.sql(“两表关联sql语句”),运行报错"table not found",仔细研究之下突然想到了一个知...
分类: 其他 发布时间: 10-28 20:29 阅读次数: 0

linux上外部执行sql语句,并把结果重定向到文件

在项目中在spark处理过数据之后把结果写到mysql中,需要使用到把结果表结果输出到文件中,我懒得再写java程序,想着mysql能不能有这种类似的功能支持,结果发现还是有的,下面我找到的一些方式:1:mysql -h 主机 -u账号 -p’密码’ -e “select * from 数据库表” > 结果文件路径,下面是一个demo,大家可以直接copy改:mysql -h local...
分类: 其他 发布时间: 10-28 20:29 阅读次数: 0

大数据开发面试经验及知识面的总结

大数据的面试也有一段时间了,现在工作也找到了,感觉需要总结一波经验给广大网友做参考了。面试的公司实力大大小小参差不齐,在面试一些小公司的时候他们一般会问的东西很全面,我记得有1家小公司从计算机网络原理、到数据结构、到java基础(集合、多线程juc、cas、unsafe等)、到javaWeb(前后端,js、css、spring boot、springmvc、mybatis、连接池等等)问完这些之...
分类: 其他 发布时间: 10-28 20:29 阅读次数: 0

idea Maven项目报错Error:java: Compilation failed: internal java compiler error

Error:java: Compilation failed: internal java compiler error,这个错在maven项目中是比较常见的java编译器等级过低的原因,有的人会说:不对呀,我在项目中明明调的不低呀,且听我慢慢讲来:首先点击左上角file->project structure这些是最简单的修改,每次出错先看这里。下面还有一个地方:file-&gt...
分类: 其他 发布时间: 10-28 20:29 阅读次数: 0

本地IDEA远程连接hive的问题解决

1:首先创建好一个maven项目,创建项目这一步我就不说了,如果不会的话请看我的另一篇博客,完成后在porm.xml中加入依赖,这里需要注意要有hadoop-client,且不使用默认的hhadoop-client版本。<dependencies> <!-- https://mvnrepository.com/artifact/org.apache.spark/spar...
分类: 其他 发布时间: 10-28 20:29 阅读次数: 0

hive动态分区,分区数据的几种插入方式

首先列举下hive分区插入的方式:1:从文件导入数据到hive指定分区方式load data local inpath ‘filepath’ into table tableName partition(partitionColumn=’’);2:先创建分区,再把文件通过任何别的方式把数据已对应格式(列分隔符可以是’\t’,’\001’等)放到对应hdfs路径下。手动创建分区alter ...
分类: 其他 发布时间: 10-28 20:29 阅读次数: 0