1.要件：
1.1データ収集
図1に示すように、ウェブサイトの解析、使用クロムは採用ウェブサイトのページ構造を分析するために、ページのソースコードを表示します。
1）「検査」募集のサイトで、チェックインするには、ページ上で右クリック、またはF12のショートカットキー、入力した
ページ要素を表示するには、以下の図を、
（実施例1）
2）のウェブサイトを確認します、[ネットワーク]をクリックし、ログを保存チェックし、ドキュメントをクリックし、クリック清
リチウムボタン、ページを更新し、応答をクリックして、レスポンスは所望のコンテンツを表示します。
（例2）
2は、現場からクロールするJavaやPython言語の使用により、必要に応じて、データを必要とし、完了し
、指定されたデータ項目をクロール良い爬虫類コードを、有効なデータ項目が含まれ、これらに限定されない：都市、公共の
会社名、賃金、スキル要件および他の多くの分野。そして、コードファイルやスクリーンショットを保存するためのコード。
次のように具体的な手順は次のとおりです。
GZ-ビッグデータ技術と応用2019032（高いグループ）レース試験
- 15 -
1）クローラプロジェクトを作成します\ H3CU_recruit \
クローラ要求の2）建設
請求に関連するフィールドで定義された3）
4）が有効なデータを取得する
5）指定された場所にデータをクロール保存し
、これまでに必要なデータでクロール募集のウェブサイトから、私たちは3に登るさらに結果を取らなければならない次のステップ
、ラインデータ操作コマンドのスクリーンショットを設定し、保存を。
データクリーニングの1.2分析と
本任务使用的招聘网站初始数据集来自于多个网站及平台，且为多次采集汇
总，因此数据集中不可避免地存在一些脏数据，即源数据不在给定的范围内或对
于实际业务毫无意义，或是数据格式非法，以及在源系统中存在不规范的编码和
含糊的业务逻辑。请分析数据集 recruit，根据题目规定要求实现数据清洗。
1、 对于原始数据集字段缺失，可采用填充默认值、均值、众数、KNN 填充、以
GZ-2019032 大数据技术与应用（高职组）赛题库
- 21 -
及把缺失值作为新的 label 方式处理。当缺失信息较少时可采用删除的方式
进行处理。同时，不当的填充可能会令后续的分析结果出现导向性偏差，所
以需要对数据业务逻辑进行全面分析后，确定不合规数据处理方式。请根据
题目具体参数要求，处理招聘数据中的不合规数据，并存入指定数据表或数
据文件中，截图并保存结果。
2、 本任务原始数据集中存在一些脏数据，即源数据不在给定的范围内或对于实
际业务毫无意义，或是数据格式非法，以及在源系统中存在不规范的编码和
含糊的业务逻辑数据。这些脏数据会影响后续的数据分析结果，所以需要对
脏数据进行预处理。请根据题目具体参数要求，处理工资字段不合规数据，
使该字段数据格式统一。将清洗后的数据存入指定数据表或数据文件中，截
图并保存结果。
3、 本任务给定的数据集来自于多个网站及平台，且为多次采集汇总的数据，在
整合多来源数据时可能遇到时间、日期、数值、全半角等显示格式不一致的
问题，需要将其处理成一致的格式，以便于进行后续的数据分析。请根据题
目具体参数要求，将原始数据集中格式不一致的数据进行标准化处理，并存
入指定数据表或数据文件中，截图并保存结果。
GZ-2019032 大数据技术与应用（高职组）赛题库
- 22 -
4、 若要将清洗后的数据存储到数据文件中，需要将数据的不同字段使用某种分
隔符分隔开后，再写入数据文件中。后续将数据文件再导入数据库时，同样
以该分隔符进行字段划分。请根据题目具体参数要求，将清洗后的数据以指
定数据分隔符进行分隔，存入指定数据文件中，再使用数据转移工具将数据
导入数据库中，截图并保存结果。
5、 高校开设新专业、新方向时，要以企业相关岗位招聘数量作为重要依据。各
大招聘网站发布的招聘信息是主要的数据来源，进而能够统计某类岗位的招
聘数量。请根据题目具体参数要求，统计岗位招聘数量，并存入指定数据表
或数据文件中，截图并保存结果。
6、 我们根据招聘网站数据通常能够了解相关岗位的招聘情况，包括但不限于地
区分布、学历要求、经验要求、薪资水平等。这些信息为高校专业设置提供
了分析依据和佐证数据。请根据题目具体参数要求，按要求统计相关职位招
聘信息，并存入指定数据表或数据文件中，截图并保存结果。
7、 职业技能图谱描绘了各岗位从业人员的知识技能要求，能够帮助学生梳理知
识框架结构，提供学习路径指导，了解各知识点和技能点的重要程度。通过
招聘网站数据整理职业技能图谱，将有助于学校的专业课程设置，也可使学
GZ-2019032 大数据技术与应用（高职组）赛题库
- 23 -
生了解到岗位从业人员的知识技能要求。请根据题目具体参数要求，分析各
知识技能在某个招聘岗位能力需求中的占比情况，并存入指定数据表或数据
文件中，截图并保存结果。
8、 根据近年某大型招聘网站发布的城市平均工资分布表显示，在全国各城市中，
最高的城市平均工资高达上万元，而最低的城市平均薪酬在 5000-6000 元
左右。工资薪酬是影响择业的很大一个因素，但一线城市的消费水平也同样
很高，房租、交通和伙食费等各方面都是一笔不小的开支。高校毕业生择业
需要根据各方面因素综合进行考量。请根据题目具体参数要求，统计各城市
指定招聘岗位的平均工资，并存入指定数据表或数据文件中，截图并保存结
果。
9、 工作地区与招聘岗位是决定毕业生就业薪酬待遇的两个关键因素。不同地区
或不同岗位的工资待遇往往存在较大差异，这体现了地区行业发展和人才需
求的分布情况。请根据题目具体参数要求，统计指定城市和指定岗位的工资
待遇，并存入指定数据表或数据文件中，截图并保存结果。
1.3 数据可视化：
1、 热门职业特指在以前没有引起大家关注的职业，因为经济环境的改变而现在
GZ-2019032 大数据技术与应用（高职组）赛题库
- 40 -
收入高或者工作环境好（抑或满足人们对职业的特殊偏好）的行业。随着信
息技术的不断发展，云计算、大数据、人工智能都成为了热门职业方向，为
了了解热门职业中对各岗位招聘人数的数量，请根据指定表中数据，统计出
招聘数量最多的前几位的热门职业，通过指定图例进行呈现。
2、 大数据公司内部包含有许多的岗位，例如 JAVA 开发工程师、大数据架构师、
大数据开发工程师、大数据清洗工程师、大数据分析师等，不同岗位对于从
业人员学历、经验、薪资等都有一定的要求，请根据指定表中数据，统计出
各个岗位中相关招聘职位的数量，通过指定图例进行呈现。
3、 大数据产业作为一个新兴信息产业，对从业人员的知识面要求较高，会涉及
到数学、统计、编程、系统部署等多方面知识储备，这些知识内容又会对应
成为一个个的技能点，将这些技能点进行汇总形成大数据岗位的职业技能要
求，是学生今后主要提升的技能点之一。请根据指定表中的数据，分析各知
识技能在某个招聘岗位能力需求中的占比情况，通过指定图例进行呈现。
4、 大数据产业作为一个新兴信息产业，各地大数据产业都在蓬勃发展中，对于
大数据人才的需求也在不断的增加，但是由于人才的相对紧缺，导致大数据
产业的整个工资待遇水平较同行业也具备一定的优势，请根据指定表中的数
GZ-2019032 大数据技术与应用（高职组）赛题库
- 41 -
据，统计出全国某些城市指定招聘岗位平均工资，通过指定图例进行呈现。
5、 近些年大数据产业在全国大幅发展，各个公司对于大数据人员的招聘数量也
在不断增加，通过大数据相关职位的招聘数量可以从一定程度看出行业内人
员流动情况，请根据指定表中的数据，统计出近几年指定职位招聘数量汇总，
通过指定图例进行呈现。
2.实现
链接：https://pan.baidu.com/s/14hA935LLvvAusbk07YXrHg
提取码：yu0d
复制这段内容后打开百度网盘手机App，操作更方便哦