Python2使用Python3不再使用系列（持续更新）~
1.reload（）函数Python 2：reload()函数封装在sys模块中，使用时：import sysreload()Python 3：reload（）不再封装在sys模块中，而是importlib,使用方式如下：import importlibimport yourfilereload(yourfile)注意：使用reload()函数时需要import你的文件..._panel用不了 python3
Data Visualization学习之旅（持续更新）
1. 安装Basemap1.解决 ModuleNotFoundError: No module named ‘mpl_toolkits.basemap’ 问题step 1pip install pyproj-1.9.5.1-cp36-cp36m-win_amd64.whlstep 2pip install basemap-1.2.0-cp36-cp36m-win_amd64.whl..._data visualisation的好处
PostgreSQL学习之旅（时刻更新）
Step 1 安装window安装版本关闭杀毒软件用管理员身份运行安装好之后输入SQL Shell(psql)即可用户口令即密码出错Q1:用psql命令运行sql文件在命令行键入psql -d mydb_name -U username -f /filepathmydb_name：数据库的名称username：默认是postgres（数据库的owners）filepa..._psql -d mydbtemp -f
Linux（Ubuntu16.04）环境下安装并使用Superset
一、安装Superset环境： ubuntu16.04 python2.7（linux自带）创建虚拟环境virtualenvpip install virtualenv此时出现报错：Command python setup.py egg_info failed with error code 1 in /tmp/pip-build-root/virtualenv...
MAC个人推荐的3款思维导图APP
MindNode这款是我目前喜欢使用的思维导图，主要是因为我比较喜欢他们的界面风格，干净优雅，而且简单易用。MindNode的画布可以无限延展，无论项目多复杂庞大，它都可以轻松应对。而且可以通过iCloud和Dropbox进行存储，同步到其他的办公设备上。最好的是框导出PDF、FreeMind、OPML、PNG、等文件格式，目前在思维导图里面算是非常好的！链接:https://pan.ba..._mac思维导图app
Python3 用requests 库 和 bs4 库 最新爬豆瓣电影Top250
Python3 用requests 库 和 bs4库 最新爬豆瓣电影Top250用xlwt 库存储数据爬取网站：https://movie.douban.com/top250?start=0&filter=首先安装requests 和 BeautifulSoup库本人用PyCharm 编写代码具体代码和解释 在代码中我以描述import requestsfrom bs4 import BeautifulSoupimport xlwtdef main():_利用request、bs4以及re库爬取豆瓣电影top250,并获取每部电影的以下字段:排名,电
MAC Python 3.7安装pyspider
PySpider 是支持 JavaScript 渲染的，而这个过程是依赖于 PhantomJS 的，所以还需要安装 PhantomJS，所以在安装之前先安装 PhantomJS下载地址 https://phantomjs.org/download.html 选用mac 版就好了建议用迅雷下载我这里使用的是清华源pip3 install -i https://pypi.tuna.tsinghua.edu.cn/simple (你需要安装的库)由于我第一次安装我直接在pycharm 终端_pyspider mac 3.7
第一个Pyspider 爬虫
PySpider 架构PySpider 的架构主要分为Scheduler（调度器）、Fetcher（抓取器）和Processor（处理器）三部分，整个爬虫收到Monitor（监控器）的监控，抓取的结果被Result Worker（结果处理器）处理。步骤1：打开cmd 或者 pycharm 终端 或者 mac 终端 ，输入pyspider all “或pyspider” 命令 然后打开浏览器，在地址栏中输入网址:127.0.0.1:5000即可进入PySpider的后台，需要注意的是，终端不_pyspider docker
python3 Mysql保存爬取的数据(正则提取关键信息)
本文爬取网站地址：https://www.xzw.com/fortune/前提是要有Mysql （过几天会发布一篇MAC 下Mysql8.0版本的博客）开始分析文章图中信息就是我们需要爬取的正则表达式：re.compile(r^.*?<strong>(.*?)</strong><small>(.*?)</small>.*?width:(\\d*)%.*?p>(.*)\\[<a.*$,re.S)总之，爬取这网站，简单，主要是介绍mys_python3 爬虫取的数据 正则
MySQL 8.0 操作数据库和数据表
新特性1——默认字符集改为utf8mb4在MySQL 8.0 版本之前，默认字符集为latin1，uft8字符集指向的是utf8mb3。网站开发人员在数据库设计的时候往往会将编码修改为utf8字符集。如果遗忘修改默认的编码，就会出现乱码的问题。从MySQL 8.0 开始，数据库的默认编码将改成utf8mb4，从而避免上述乱码的问题。新特性2——自增变量的持久化在MySQL 8.0之前，自增主键AUTO_INCREMENT 的值如果大于max(primary key)+1，在MySQL 重启后，就会重置_mysql 8.0 select * from table
MySQL 8.0 查询数据
续上一节 MySQL 8.0 操作数据库和数据表1.查询所有字段SELECT * FROM 表名;2、查询单个字段SELECT 列名 FROM 表名;3、查询多个字段SELECT 字段名1,字段名2,...,字段名n FROM 表名;提示：MySQL 中的SQL语句是不区分大小写的，因此SELECT 和 select 的作用是相同的。想让自己看的像专业点，那就关键字使用大写，数据列和表名使用小写。4、查询指定记录SELECT 字段名1，字段名2,...,字段名nFROM 表名WH_mysql8.0查询
MySQL 8.0 引擎和索引
1、存储引擎数据库底层饿软件组织，创建，查询，更新，删除数据等借助于存储引擎插件式存储引擎，可插拔。存储机制，索引技巧，锁定粒度等功能。选择不同的存储引擎。Mysql5.5默认InnoDB1、mysql 中支持哪些存储引擎show engines;2、存储引擎对比InnoDBMysql 5.5 以后默认的存储引擎。事务型数据库。1、数据底层的存储：数据表文件—>frm(表结构)文件和.ibd(数据和索引)文件2、事务：支持热备,数据完整性要求比较高，比较好的选择3、_mysql8.0.20 引擎
最新 Python3 爬取前程无忧招聘网 mysql和excel 保存数据
本文爬取网站为https://search.51job.com/list/000000,000000,0000,00,9,99,数据分析,2,1.html?本文选用的是lxml模块，xpath语法提取数据推荐谷歌用户一个可以帮助xpath调试的插件Xpath Helper1、进行分析网站**要爬取的职位名、公司名、工作地点、薪资的信息都在class=el里**分析完就可以_51job爬取
Python Scrapy 爬取 前程无忧招聘网
我上一篇博客采用的lxml模块和xpath语法爬取本篇我将采用 Scrapy.spider爬取关于Scrapy 首先先要了解点基础Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。其最初是为了 网络抓取 所设计的， 也可以应用在获取API所返回的数据(例如 Amazon Associates Web Services ) 或者通用的网络爬虫。SpiderSpider类定义了如何爬取某个(或某些)网站。包括了爬取的_爬取无忧job网站
Python3.7 pyecharts安装成功但是导包出现 cannot import name ‘Bar‘ 错误信息
导入包时from pyecharts.charts import BarBar 出现错误，但明明是安装了 就是无法导入from pyecharts import Bar ImportError: cannot import name Bar from pyechats ..........路径网上解决办法其一下面是解决办法打开 pycharm 自带的 Terminal输入命令：pip3 install wheel然后在输入：pip3 install pyecharts==0.1_cannot import name kline from pyecharts
Pandas 基本语法（一）
Pandas 的基本语法(一)pandas是一种Python数据分析的利器，是一个开源的数据分析包，最初是应用于金融数据分析工具而开发出来的，因此pandas为时间序列分析提供了很好的支持。pandas是PyData项目的一部分。Series简单地可以认为是一维数组Series 是一种类似一维数组的对象，它由一组数据（各种NumPy数据类型）以及一组与之相关的数据标签（即索引）组成，即index和values两部分，可以通过索引的方式选取Series中的单个或一组值。DataFrame_pandas 语法 .
Mysql 8.0 权限概述与授权（一）
Mysql 8.0 权限概述与授权（一）导读：MySQL 是一个多用户数据库，具有功能强大的访问控制系统，可以为不同用户指定允许的权限。MySQL 用户可以分为普通用户和 root 用户。root 用户是超级管理员，拥有所有权限。权限表 MySQL 服务器通过权限表来控制用户对数据库的访问，权限表存放在MySQL 数据库中，由 mysql_install_db 脚本初始化。user 表_mysql8.0 grant connect
Mysql 8.0 权限概述与授权（二）
登入和退出MySQL 服务器mysql (-h localhost) -u root -p (mysql)# -h 主机名，可以使用该参数指定主机名或IP，若不指定，则默认是localhost# -u 用户名，可以使用该参数指定用户名# -p 密码，可以直接在-p后输入密码，之间没有空格 例如-p123123 代表密码是123123# mysql 是数据库名# -P 端口号，默认是3306# -e 执行SQL语句。例如：mysql -u root -p test_db -e DESC p_mysql8.0 insert into mysql.user(host, user, authentication_string, ssl_ciphe
今日推荐
周排行