It is suitable for people who have Python language foundation, object-oriented programming ideas, and basic Linux operation. Basic knowledge of Python is not taught in the class.
| Syllabus of Employment Class | |||
| Course stage | Main content | Technical points | learning target |
| Python advanced | Linux system use | CentOS operating system introduction and use, Linux command use, Linux command option use, remote login and remote copy, vi editor use, CentOS software installation and software uninstallation | Core competencies that can be mastered: 1. Be able to use Linux operating system proficiently; 2. Be able to master network programming related technologies, be able to realize data communication between networks; 3. Be able to master the multi-task realization method in program design and development; 4. Be proficient in MySQL operation Technology, proficient in writing various database operation SQL statements, and able to perform data interaction between Python and MySQL; 5. Master the use of the re module in Python, and be able to perform complex pattern matching on strings; 6. Master the Web server Work flow, and the realization principle of the Web framework. Realistic problems that can be solved: multi-task network program development based on Linux operating system. Market value: Proficiency in Python technology and common network protocols can meet the primary needs of enterprise development. |
| Multi-task programming | Introduction to multitasking, use of processes, use of threads, thread synchronization and mutual exclusion locks, introduction to deadlocks | ||
| network programming | Introduction of IP address, introduction of port and port number, introduction of socket, development of communication program based on TCP | ||
| HTTP protocol, static web server | HTTP protocol introduction, HTTP communication process, curl command usage, urllib and requests module usage | ||
| MySQL database | SQL programming, using "employee management system case" to strengthen SQL, analysis of SQL application scenarios | ||
| Advanced syntax, regular expressions | Closures, decorators, iterators, deep and shallow copies, recycling mechanisms | ||
| HTML+CSS+JS+Jquery | HTML overview and basic structure, HTML tag introduction, CSS loading method, CSS attribute introduction, JavaScript syntax introduction, jQuery introduction, JSON, AJAX | ||
| Mini-Web server | Introduction to the relationship between web framework and web server, template replacement, dark horse reading case, routing list, ajax request data rendering personal center page, use of logging log | ||
| Web-Django framework and projects |
Django framework | Git source code management, Redis cache, VUE introduction, Vue basic syntax, ES6 syntax, VUE life cycle, Django framework introduction, Django model, ORM and database operations, views and templates, Django middleware | Core abilities that can be mastered: 1. Master the use of the mainstream Python Web framework-Django; 2. Design and develop the corresponding database according to the Web framework; 3. According to the business flow chart, develop the front and back services of the Web site. Realistic problems that can be solved: 1. Be able to develop mainstream Web sites and master common technical points; 2. Design corresponding database tables according to actual problems. Market value: Web full-stack engineer, independently develop front-end and back-end business. |
| Project: Meido Mall-Front Desk | Shopping e-commerce platform project coding, database-read and write separation, Django advanced third-party module, FastDFS distributed file system, Celery asynchronous operation, Vue two-way binding, Docker entry, Crontab timing tasks, page static, online payment | ||
| Project: Meido Mall-MIS System | VUE advanced-component development, Django REST framwork, statistics, authority management, commodity data management, log management, user management | ||
| Project deployment | Nginx | Configuration section configuration, reverse proxy, load balancing, log processing | 可掌握的核心能力： 1、掌握Shell基本语法； 2、掌握复杂Shell脚本开发； 3、具备配置自动化及日志分析能力； 4、能够熟练使用Docker容器； 可解决的现实问题： 1、具备一定的编程思维； 2、能够熟练编写复杂Shell脚本； 3、能使用ELK实现企业级日志分析； 4、能够实现企业项目的部署。 市场价值： 熟练掌握和学习后，可满足Linux运维开发行业的中级需求。 |
| Docker | 容器管理、镜像管理、网络管理、数据管理、仓库管理、dockerfile | ||
| Shell编程 | shell变量、表达式、流程控制 | ||
| 美多商城日志管理 | ElasticSearch、Logstash、Filebeat、Kibana | ||
| 美多商城自动化部署 | 认证配置、项目管理、任务构建、持续集成 | ||
| 项目测试 | 美多商城接口测试 | 接口文档及接口规范； Requests库发起GET/ POST/PUT等https请求； Pytest的环境搭建、基本使用、常用插件、Pytest的高级使用; Mock介绍、模拟http请求; 基于Pytest和Mock的接口测试框架开发 | 可掌握的核心能力： 1、掌握selenium基本使用； 2、掌握UnitTest框架； 3、能够熟练使用request模块； 4、具备接口测试和接口测试框架开发能力； 5、掌握locust的使用； 6.掌握Jmeter接口功能测试和分布式性能测试。 可解决的现实问题： 1、web测试工具的开发； 2、web项目自动化测试。 可拥有的市场价值： 熟练掌握和学习后，可满足测试开发行业的中级需求。 |
| 美多商城自动化测试 | web自动化测试框架、环境搭建；元素的定位方法、xpath和css的元素定位方法； 元素常见操作、 浏览器常见操作、 鼠标常见操作 截图 验证码处理； Unittest介绍、断言, HtmlRunner测试报告； | ||
| 美多商城性能测试 | Jmeter环境搭建、常用元件的作用域和执行顺序, 参数化、断言、关联、连接mysql数据库、逻辑控制器、分布式性能测试配置、测试报告; Locust环境搭建、基本使用、常用类和方法 | ||
| 数据采集 | 数据采集基础 | Http与Https的区别、常见请求头与响应头、响应状态码、浏览器运⾏过程 | 可掌握的核能： 1.网络数据爬取； 2.App数据爬取； 3.反反爬解决⽅案； 4.MongoDB数据存储。 可解决的现实问题： ⾃动化爬取浏览器⽹站数据或App应用数据，对爬取中遇到的反爬措施应⽤相应的反反爬⽅案解决处理。 市场价值： 为企业爬取采集数据，胜任爬虫⼯程师职位。 |
| 数据提取 | request模块的使⽤、xml与html、jsonpath、xpath、lxml、selenium | ||
| 反爬处理 | 反爬原理、验证码识别、js解析、字体反爬、数据图片化反爬 | ||
| 数据存储 | mongodb的使⽤、mongodb插⼊数据、mongodb查询数据、聚合管道、pymongo使用 | ||
| Scrapy框架 | 项⽬开发流程、请求对象使⽤、模拟登录、管道使⽤、中间件使⽤ | ||
| Scrapy-redis分布式 | 分布式爬虫的概念、Scrapy-redis实现分布式源码的分析、Scrapy-redis实现分布式爬虫 | ||
| 爬虫部署 | Scrapyd、Gerapy爬虫部署、使用定时任务抓取数据 | ||
| Web-Flask框架 与项目 |
Flask框架 | Flask框架、路由定义及视图函数、蓝图、g对象、请求钩子、工厂函数、Flask-RESTful、marshall序列化、RequestParser验证、SQLAlchemy、过滤查询、聚合查询、关联查询 | 可掌握的核心能力： 1、 掌握Python Web主流框架-Flask的使用； 2、 掌握常见的性能优化技术； 3、 缓存服务器的操作和设计； 4、 异步任务的实现。 可解决的现实问题： 1、高并发全功能的Web网站开发； 2、提升数据处理响应速度，灵活运用缓存。 市场价值： Web全栈工程师，独立开发前端和后端业务。 |
| 项目-黑马头条 | gitflow工作流、pyjwt生成和检验jwttoken、redis哨兵、redis的过期策略、redis的内存淘汰策略、缓存更新、缓存穿透、缓存雪崩、数据对象、缓存工具类、七牛对象存储、获取验证码 注册登录、pyjwt生成和检验jwttoken、获取用户信息、修改头像、七牛对象存储服务保存文件、获取用户频道、获取所有频道、修改用户频道、首页文章列表、时间戳分页的设计方式、获取文章详情、关注用户、取消关注用户、用户关注列表、页码分页的设计方式、发布评论、评论列表、主键偏移量分页的设计方式、多种分页方式的优缺点、回复评论功能、回复列表功能 |
||
| 数据分析 | Python数据科学库 | Pandas，Numpy, matplotlib,seaborn | 可掌握的核心能力： 1、 熟练掌握Pandas、HQL、Spark； 2、 熟悉常用数据挖掘算法与模型，熟悉逻辑回归、决策树、随机森林、GBDT、XGBoost、聚类等建模方法； 3、 熟练使用时间序列、聚类分析、逻辑回归、因果分析、关联分析等统计方法。 可解决的现实问题： 1、 胜任相关的数据分析工作，对企业异常数据进行深入分析，对业务风险指标进行跟踪分析及优化； 2、 搭建业务监控体系，及时发现、排查业务问题，并能提出有效的解决策略或方案； 3、 配合项目计划，负责建模驻场项目，完成数据分析需求及任务； 4、 通过大数据算法对数据进行模型的构建、维护、和评估。 市场价值： 具备互联网数据分析能力。 |
| 机器学习 | 线性回归、逻辑回归、决策树、随机森林、SVM、GBDT | ||
| 金融风控 | 风控数据挖掘方法，机器学习评分卡、迁移学习 | ||
| 数据仓库 | Hadoop、Hive、数仓建模理论、电商数仓搭建 | ||
| SQL强化 | SQL多表查询、常用HQL函数、常用指标计算 | ||
| 推荐算法 | 推荐系统架构，常用召回、排序、重排序算法，冷启动问题处理 | ||
| 实操： | |||
| 课程阶段 | 主讲内容 | 技术要点 | 学习目标 |
| 测试监控系统 | 课程导学及基础环境搭建 | 导学、基础环境搭建 | 可掌握的核心能力： 1. 掌握elastic stack技术栈的使用，并能够理解其底层原理； 2.掌握性能压力测试开发技能，并具备压测平台开发的能力。 可解决的现实问题： 1.能够根据实际具体的业务场景，进行日志和指标的收集、处理、分析； 2. 能够根据实际具体的业务场景，实现日志监控、服务组件监控、系统监控、网络监控、集群监控，形成完整的监控体系； 3.能够根据实际具体的业务场景，对web应用进行链路监控和追踪； 4. 能够根据实际具体的业务场景，开发压测平台，对web服务进行性能测试； 5.对web应用的性能和可用性进行监控和管理，发现和定位性能瓶颈和故障，以保证应用达到预期的服务水平及最终用户体验。 市场价值： 1. 中高级web工程师必备技能； 2.高级测试工程师必备技能； 3.中高级测试开发工程师必备技能； 4.中高级运维工程师必备技能； 5. 架构师必备技能。 |
| 性能压力测试 | fastapi与openapi、locust工具、locust压测案例 | ||
| elasticsearch | elastic stack介绍、安装启动及集群搭建、elasticsearch-head工具介绍、基本概念、数据类型、基本原理、中文分词、集群节点基本操作、索引及映射基本操作、文档的增删改、文档的查询、python操作elasticsearch | ||
| beats | beats介绍、filebeat、metricbeat、packetbeat | ||
| kibana | 初试kibana、kibana的图表、kibana的数据大屏、 kibana页面功能介绍、kibana其他配置 |
||
| logstash | 初识logstash、logstash工作原理、logstash的使用 | ||
| kafka | 初探kafka、kafka的工作原理、elk场景中的应用 python与kafka的交互 |
||
| elasctic apm | elasctic apm应用场景、安装及使用、工作原理及概念 | ||
| 测试监控 | 测试平台开发、整合kibana | ||
| 自动化平台 | 自动化运维平台需求分析与设计 | 需求分析、系统设计、前后端工程框架搭建及配置 | 可掌握的核心能力： 1.掌握流行的Angular前端开发框架及基于蚂蚁金服Antd的UI框架——NG-ALAIN； 2.掌握基于LDAP的统一用户登录管理的设计和开发； 3.掌握对象级用户、组权限管理方案的设计和开发； 4.掌握请求日志及操作日志的审计管理的设计和开发； 5.掌握支持混合云的大型企业级CMDB系统的设计和开发； 6.掌握基于LDAP的服务器登录权限管控的设计和开发； 7.理所有服务器的Supervisor及其托管的进程； 8.能够使用分布式对象存储ceph来存储项目的数据； 9.掌握Zabbix监控系统的集成开发； 10能够Ansible产品体系进行批量执行及自动化任务系统的开发； 11.具备能够进行CI/CD全流程开发的能力。 可解决的现实问题： 1.解决企业内部多系统的用户管理问题； 2.解决企业IT资产配置管理混乱问题； 3.解决企业服务器登录权限管理难的问题； 4.关联集成Zabbix监控系统，能够及时实时的查看服务器监控资源； 5.开发自动化管理系统，方便的批量执行和造化任务部署，并且操作历史可追溯； 6.实现CI/CD整套流程自动化，提升开发、测试、运维协作效率。 市场价值： 大、中型企业运维开发。 |
| 基础系统搭建和登录功能 | LDAP、Gitlab、Jenkins、Sentry、Zabbix、Prometheus、Ansible、AWX等基础系统搭建和登录功能实现 | ||
| 系统管理功能 | 用户管理、组管理、权限管理和操作日志管理和登录 | ||
| CMDB系统 | 业务项目管理、机房管理、主机管理、IP管理及业务服务树 | ||
| 监控系统 | Zabbix接入，主机性能监控、主机资源监控、业务监控 | ||
| 自动化部署系统 | CI/CD、发布系统、配置管理、数据管理 | ||
| 项目上线部署 | 上线环境准备、代码打包优化、部署测试和上线 | ||
| web安全 | 安全基础 | 安全体系、安全策略、文件攻击、sql攻击、xss攻击 | 可掌握的核心能力： 1.掌握sql注入原理及防范； 2. 掌握基本安全体系和安全策略。 可解决的现实问题： 能够根据实际具体的业务场景，实施相关安全措施。 市场价值： 具备基本web安全防范能力。 |
| 防火墙与系统认证 | 软件防火墙、lua基础、案例实践、安全算法、摘要认证、签名认证、https进阶 | ||
| SQL安全 | 数据库注入、web注入、SQLmap基础知识 | ||