1. Requirements:
1.1 Data Collection
1, website parsing, use chrome view the page source code to analyze recruitment website page structure.
1) "inspection" recruitment site, right-click on the page to check in, or F12 shortcut key, enter
the following figure to view the page elements; 
(Example 1)
2) Check the website: Click Network, check Preserve log, click the Doc, click Qing
Li button, refresh the page, click Response, the Response view the desired content.
(Example 2)
2 crawling from the job site need the data, as required by the use of Java or Python language and complete
good reptiles code crawling designated data item, the valid data items include, but are not limited to: city, public
company name , wages, skill requirements and many other fields. And code files and codes to save the screenshot.
Specific steps are as follows:
GZ-Big Data Technology and Application 2,019,032 (Higher group) Race Exam
- 16 -
1) Create crawler project \ H3CU_recruit \
2) Construction of crawler request
3) defined by relevant fields in claim
4) to obtain valid data
5) save crawling data to the specified location
3, so far from the recruitment website crawling in the required data, the next step we have to take the results further climb into
line data, set the operation command screenshots and save.
1.2 Analysis of data cleaning and
本任务使用的招聘网站初始数据集来自于多个网站及平台，且为多次采集汇
总，因此数据集中不可避免地存在一些脏数据，即源数据不在给定的范围内或对
于实际业务毫无意义，或是数据格式非法，以及在源系统中存在不规范的编码和
含糊的业务逻辑。请分析数据集 recruit，根据题目规定要求实现数据清洗。
1、 对于原始数据集字段缺失，可采用填充默认值、均值、众数、KNN 填充、以
GZ-2019032 大数据技术与应用（高职组）赛题库
- 21 -
及把缺失值作为新的 label 方式处理。当缺失信息较少时可采用删除的方式
进行处理。同时，不当的填充可能会令后续的分析结果出现导向性偏差，所
以需要对数据业务逻辑进行全面分析后，确定不合规数据处理方式。请根据
题目具体参数要求，处理招聘数据中的不合规数据，并存入指定数据表或数
据文件中，截图并保存结果。
2、 本任务原始数据集中存在一些脏数据，即源数据不在给定的范围内或对于实
际业务毫无意义，或是数据格式非法，以及在源系统中存在不规范的编码和
含糊的业务逻辑数据。这些脏数据会影响后续的数据分析结果，所以需要对
脏数据进行预处理。请根据题目具体参数要求，处理工资字段不合规数据，
使该字段数据格式统一。将清洗后的数据存入指定数据表或数据文件中，截
图并保存结果。
3、 本任务给定的数据集来自于多个网站及平台，且为多次采集汇总的数据，在
整合多来源数据时可能遇到时间、日期、数值、全半角等显示格式不一致的
问题，需要将其处理成一致的格式，以便于进行后续的数据分析。请根据题
目具体参数要求，将原始数据集中格式不一致的数据进行标准化处理，并存
入指定数据表或数据文件中，截图并保存结果。
GZ-2019032 大数据技术与应用（高职组）赛题库
- 22 -
4、 若要将清洗后的数据存储到数据文件中，需要将数据的不同字段使用某种分
隔符分隔开后，再写入数据文件中。后续将数据文件再导入数据库时，同样
以该分隔符进行字段划分。请根据题目具体参数要求，将清洗后的数据以指
定数据分隔符进行分隔，存入指定数据文件中，再使用数据转移工具将数据
导入数据库中，截图并保存结果。
5、 高校开设新专业、新方向时，要以企业相关岗位招聘数量作为重要依据。各
大招聘网站发布的招聘信息是主要的数据来源，进而能够统计某类岗位的招
聘数量。请根据题目具体参数要求，统计岗位招聘数量，并存入指定数据表
或数据文件中，截图并保存结果。
6、 我们根据招聘网站数据通常能够了解相关岗位的招聘情况，包括但不限于地
区分布、学历要求、经验要求、薪资水平等。这些信息为高校专业设置提供
了分析依据和佐证数据。请根据题目具体参数要求，按要求统计相关职位招
聘信息，并存入指定数据表或数据文件中，截图并保存结果。
7、 职业技能图谱描绘了各岗位从业人员的知识技能要求，能够帮助学生梳理知
识框架结构，提供学习路径指导，了解各知识点和技能点的重要程度。通过
招聘网站数据整理职业技能图谱，将有助于学校的专业课程设置，也可使学
GZ-2019032 大数据技术与应用（高职组）赛题库
- 23 -
生了解到岗位从业人员的知识技能要求。请根据题目具体参数要求，分析各
知识技能在某个招聘岗位能力需求中的占比情况，并存入指定数据表或数据
文件中，截图并保存结果。
8、 根据近年某大型招聘网站发布的城市平均工资分布表显示，在全国各城市中，
最高的城市平均工资高达上万元，而最低的城市平均薪酬在 5000-6000 元
左右。工资薪酬是影响择业的很大一个因素，但一线城市的消费水平也同样
很高，房租、交通和伙食费等各方面都是一笔不小的开支。高校毕业生择业
需要根据各方面因素综合进行考量。请根据题目具体参数要求，统计各城市
指定招聘岗位的平均工资，并存入指定数据表或数据文件中，截图并保存结
果。
9、 工作地区与招聘岗位是决定毕业生就业薪酬待遇的两个关键因素。不同地区
或不同岗位的工资待遇往往存在较大差异，这体现了地区行业发展和人才需
求的分布情况。请根据题目具体参数要求，统计指定城市和指定岗位的工资
待遇，并存入指定数据表或数据文件中，截图并保存结果。
1.3 数据可视化：
1、 热门职业特指在以前没有引起大家关注的职业，因为经济环境的改变而现在
GZ-2019032 大数据技术与应用（高职组）赛题库
- 40 -
收入高或者工作环境好（抑或满足人们对职业的特殊偏好）的行业。随着信
息技术的不断发展，云计算、大数据、人工智能都成为了热门职业方向，为
了了解热门职业中对各岗位招聘人数的数量，请根据指定表中数据，统计出
招聘数量最多的前几位的热门职业，通过指定图例进行呈现。
2、 大数据公司内部包含有许多的岗位，例如 JAVA 开发工程师、大数据架构师、
大数据开发工程师、大数据清洗工程师、大数据分析师等，不同岗位对于从
业人员学历、经验、薪资等都有一定的要求，请根据指定表中数据，统计出
各个岗位中相关招聘职位的数量，通过指定图例进行呈现。
3、 大数据产业作为一个新兴信息产业，对从业人员的知识面要求较高，会涉及
到数学、统计、编程、系统部署等多方面知识储备，这些知识内容又会对应
成为一个个的技能点，将这些技能点进行汇总形成大数据岗位的职业技能要
求，是学生今后主要提升的技能点之一。请根据指定表中的数据，分析各知
识技能在某个招聘岗位能力需求中的占比情况，通过指定图例进行呈现。
4、 大数据产业作为一个新兴信息产业，各地大数据产业都在蓬勃发展中，对于
大数据人才的需求也在不断的增加，但是由于人才的相对紧缺，导致大数据
产业的整个工资待遇水平较同行业也具备一定的优势，请根据指定表中的数
GZ-2019032 大数据技术与应用（高职组）赛题库
- 41 -
据，统计出全国某些城市指定招聘岗位平均工资，通过指定图例进行呈现。
5、 近些年大数据产业在全国大幅发展，各个公司对于大数据人员的招聘数量也
在不断增加，通过大数据相关职位的招聘数量可以从一定程度看出行业内人
员流动情况，请根据指定表中的数据，统计出近几年指定职位招聘数量汇总，
通过指定图例进行呈现。
2.实现
链接：https://pan.baidu.com/s/14hA935LLvvAusbk07YXrHg
提取码：yu0d
复制这段内容后打开百度网盘手机App，操作更方便哦