我是如何实现用selenium进行模拟登陆的
这是一个艰难而有趣的过程 就像 在升级打怪通关一样 下载 https://blog.csdn.net/weixin_41777219/article/details/84935474 验证是否登陆成功 from selenium import webdriver
import time
# 无界面调试需要的（当有界面调试时就把这一小块去掉）
from pyvirtualdisplay import Display
display = Display(visible=0, size=(800,
SQL Server 2008 R2 + Node.js
项目要求需要还原SQLServer2008以前的.bak备份，并导出CSV或XLSX，因此考虑将还原备份这件事打包成一个本地服务。在局域网内的一台Windows服务器上运行，通过RPC和RESTful方法来调用。但是毕竟很久不碰Windows了，所以上手遇到一些难度。前期工作如果不得不在Windows下进行开发，最快速帮助你找回开发感觉的是一个顺手的编辑器和命令行环境。cmder（命令行环境）和V
2018年GitHub上最流行50大Python开源项目（下）
近日开源众包平台IssueHunt（这是一个开源项目的赏金平台）评选出了2018年GitHub上最流行的50个Python开源项目，上次我们盘点了前面25个项目：《2018年GitHub上最流行50大Python开源项目（上）》 下面我们一起来看看上榜的项目都有哪些： 26) spaCy spaCy是Python和Cython中高级自然语言处理的库。它建立在最新研究的基础上，从第一天开始设计用于实际产品。spaCy带有预先训练的统计模型和单词向量，目前支持20多种语言的标记化。它具有世界上最快
资源list：Github上关于大数据的开源项目、论文等合集
Awesome Big Data A curated list of awesome big data frameworks, resources and other awesomeness. Inspired byawesome-php, awesome-python, awesome-ruby, hadoopecosystemtable & big-data. Your contributions are always welcome! Awesome Big Data Framework
Google File System及其继任者Colossus
Google File System及其继任者Colossus 在CMU 16Fall学期Storage Systems的课堂上，我有幸听了在Google Infra Team的Larry Greenfield的一个Lecture。其中，Larry对GFS的设计初衷理念、优劣势、瓶颈、改进以及现役系统Colossus (GFS2)进行了简要介绍。其中涉及的内容相当宝贵，故在这里记下。 背景 遥想谷歌创业之初，还是个规模不过数十人的小公司。他们手里有Page Rank算法，并打算将其实现为风靡全
Cheat Sheets for AI, Neural Networks, Machine Learning, Deep Learning & Big Data
在过去的几个月中，我一直在收集有关人工智能的相关资料。随着各种的问题被越来越频繁的提及，我决定整理并分享有关人工智能、神经网络、机器学习、深度学习与大数据的技术合辑。同时为了内容更加生动易懂，本文将会针对各个大类展开详细解析。 神经网络 机器学习 机器学习： Scikit-learn 算法 此部分内容可以帮助你解决机器学习中最难的部分，即找到正确的估计器（Estimator）。下图可帮助快速查找文档与简介，更快了解问题并找到解决方法。 Scikit-Learn Scikit-learn(更正式
数据库相关中间件介绍
详见：http://blog.yemou.net/article/query/info/tytfjhfascvhzxcyt412 这里主要介绍互联网行业内有关数据库的相关中间件。数据库相关平台主要解决以下三个方面的问题： 为海量前台数据提供高性能、大容量、高可用性的访问 为数据变更的消费提供准实时的保障 高效的异地数据同步 应用层通过分表分库中间件访问数据库，包括读操作（Select）和写操作（update, insert和delete等，DDL, DCL）。写操作会在数据库上产生变更记录，M
精通Apache Flink必读系列文章
Flink是最接近于谷歌Dataflow大数据分析平台的设计的开源分布式计算引擎，其核心设计理念与Spark有很大的不同。 从设计出发点，Flink是一个流计算处理计算引擎，把批处理视为无限流计算的一种特例，Spark是批处理计算引擎，把流处理视为迷你批处理，因为设计上的差异，导致在对处理时延要求高的场景中，Flink更加合适。 从生态上来说，二者都有SQL、机器学习、图计算等基本的组件，但是Spark在丰富程度、成熟度方面比Flink有优势。 关于Flink的资料已经相当多了，笔者就不做画蛇
GeoMesa 相关资料整理
1.介绍 GeoMesa-HBase部署实践 https://blog.csdn.net/xiaof22a/article/details/80215787 GeoMesa架构 https://blog.csdn.net/u011596455/article/details/75868609 GeoMesa 用户文档（英文版） https://www.geomesa.org/documentation/user/hbase/install.html 高手如何实践HBase？不容错过的滴滴内部技
GeoMesa 索引概述
GeoMesa使用许多不同的索引来满足各种搜索谓词。每个索引都有一个标识符，用于在配置选项中引用它。GeoMesa将为给定的SimpleFeatureType模式创建各种索引。这允许我们以优化的方式回答各种查询。GeoMesa将尽最大努力确定用于索引的属性。要使用的属性也可以指定为SimpleFeatureType。 1.索引概述 Z2 [ z2] - Z2索引使用二维Z阶曲线来索引点数据的纬度和经度。如果要素类型具有几何类型，则将创建此索引 Point。这用于有效地回答具有空间组件但没有时间
GeoMesa源码学习--整体架构
GeoMesa是一款开源的基于分布式计算系统的面向海量时空数据查询与分析的工具包，它支持多种可扩展的、基于云端的数据存储架构，包括Apache Accumulo, HBase，Cassandra，Google Bigtable，以及用于流计算的Apache Kafka 。同时GeoMesa还可以和Apache Storm一起处理流数据，并使用Spark进行空间分析。 同时，GeoMesa以GeoServer插件的形式为GeoServer提供了读取GeoMesa表的功能。在GeoServer中，
GeoMesa源码学习:空间索引
分布式空间索引可以说是GeoMesa的灵魂了，它直接决定了空间数据的：（1）行主键（2）数据分区与负载均衡（3）索引高效查询。所以说要想真正了解GeoMesa的核心代码，必须要把索引这一部分弄懂吃透。空间索引方法是一套完整切复杂的理论体系，建议读者在阅读本文之前先看这篇论文： Böhm, Klump, and Kriegel. “XZ-ordering: a space-filling curve for objects with spatial extension.” 6th. Int. S
GeoMesa源码编译
前言 1、参考：GeoMesa官方英文文档：https://www.geomesa.org/documentation/developer/introduction.html 2、本篇介绍了如何编译GeoMesa源码，即官方文档中所谓的从源码构建GeoMesa，以及对GeoMesa工程的组成架构进行概述，为后期的开发做准备。 3、GeoMesa的源码工程是用Apache Maven构建的。如果你对Maven不熟悉，就编译GeoMesa的源码而言，暂时无需对Maven了解太多，只需知道它是一个项
GeoMesa的安装与Quick Start(HBase)
GeoMesa是一个运行在分布式计算系统上，支持大规模时空矢量数据查询和分析的开源工具。 本文介绍GeoMesa安装，以及来自官方的Quick Start教程（基于HBase）。 第一部分 GeoMesa的安装 1.下载 从Github下载已经编译好的二进制文件，解压至目标目录
# download and unpackage the most recent distribution:
wget "https://github.com/locationtech/geomesa/release
lambda实例解析
<函数名> = lambda <参数列表> : <表达式> lambda 函数与正常函数一样，等价于下面形式： def <函数名> (<参数列表>) : return <表达式> 简单地说，lambda函数用于简单地，能够在一行内表示的函数，返回一个函数类型，实例如下：
Python函数对变量的作用遵守如下原则
n=1 def func (a,b): c=a*b return c s=func(“knock~”,2) print© // c定义的是局部变量，不可全局调用 n=1 def func (a,b): n=b #这个n虽说是定义的是全局变量，但是func有自己内存空间，把他理解成了局部变量。 return a*b s=func(“knock~”,2) print(s,n) n=1 def func (a,b): global n #声明这个n是全局变量n n=b c=a*b return c
Spring Boot Admin 2.1.0 全攻略
Spring Boot Admin简介 Spring Boot Admin是一个开源社区项目，用于管理和监控SpringBoot应用程序。 应用程序作为Spring Boot Admin Client向为Spring Boot Admin Server注册（通
MapReduce的Shuffle机制
1、MapReduce的shuffle机制 1.1、概述 MapReduce中，mapper阶段处理的数据如何传递给reduce阶段，是MapReduce框架中最关键的一个流程，这个流程就叫shuffle. Shuffle:数据混洗---------（核心机制：数据分区，排序，局部聚合，缓存，拉取，再合并排序） 具体来说，就是将MapTask输出的处理数据结果，按照Partitioner组件制定的规则分发ReduceTask，并在分发的过程中，对数据按key进行分区和排序 1.2、主要流程 S
count(*) count(1) count(column)区别
count(*) 和count(1)的效果是一样的。在某些情况下效率不一样。也会统计包含null的记录。 count(column)会返回当前字段不为null的记录数。
今日推荐
周排行