著者|黄至高、Zebian |郭ルイ
制作| CSDNブログ
カバー写真| CSDNは、視覚的な中国をダウンロード
技術の急速な発展に伴い、データが爆発的な成長を示し、誰がデータを扱う逃れることはできません、人材需要の社会「データ」側面のためにも増加しています。そのため、どのような人材募集の現在のビジネスを理解しますか？必要なスキルはどのような？学生のためのまたは求職者のためのかどうか、それが必要なように見えました。
大規模な全国的データをクロール51job募集のウェブサイト、データ解析、データマイニング、機械学習、人工知能やその他の関連業務の仕事のために、これに基づいています。分析と給与、異なる位置の学術的要件の比較、分析し、さまざまな地域の比較、才能、関連事件のための業界の需要、知識の異なる位置の分析と比較、スキル要件。
将来的に完成したプロジェクトの結果、次のように：
次のようにダイナミックな効果は以下のとおりです。
（データ51job募集ウェブサイトのクロールに基づいて）情報クローリング
クロールポスト：大規模なデータ、データ解析、機械学習や人工知能に関連する位置;
クロールフィールド：会社名、ジョブ名、勤務先住所、給与、時間、職務記述書、会社の種類、従業員数、業界。
説明：51job募集サイトに基づいて、我々は、2000年については、「データ」の位置について全国調査を求めています。私たちは、フィールドをクロール、両方の情報ページ、情報のいくつかの2つのページがあります。
アイデアをクロール：最初の分析データの特定のページのためのページを行い、その後、2つのページには、解像度を作るために、そして最終的にはページをめくります。
使用ツール：Pythonの+リクエスト+ lxmlの+パンダ+時間
ウェブサイトの解析モード：のXpath
1）輸入関連のライブラリ
import requests
import pandas as pd
from pprint import pprint
from lxml import etree
import time
import warnings
warnings.filterwarnings("ignore")
ページの2）説明
# 第一页的特点
https://search.51job.com/list/000000,000000,0000,00,9,99,%25E6%2595%25B0%25E6%258D%25AE,2,1.html?
# 第二页的特点
https://search.51job.com/list/000000,000000,0000,00,9,99,%25E6%2595%25B0%25E6%258D%25AE,2,2.html?
# 第三页的特点
https://search.51job.com/list/000000,000000,0000,00,9,99,%25E6%2595%25B0%25E6%258D%25AE,2,3.html?
注：ページによる観察のために、これだけの文字列の連結を行い、場所の変化の数で見ることができ、その後のサイクルにクロール。
クロール3）完全なコード
import requests
import pandas as pd
from pprint import pprint
from lxml import etree
import time
import warnings
warnings.filterwarnings("ignore")
for i in range(1,1501):
print("正在爬取第" + str(i) + "页的数据")
url_pre = "https://search.51job.com/list/000000,000000,0000,00,9,99,%25E6%2595%25B0%25E6%258D%25AE,2,"
url_end = ".html?"
url = url_pre + str(i) + url_end
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36'
}
web = requests.get(url, headers=headers)
web.encoding = "gbk"
dom = etree.HTML(web.text)
# 1、岗位名称
job_name = dom.xpath('//div[@class="dw_table"]/div[@class="el"]//p/span/a[@target="_blank"]/@title')
# 2、公司名称
company_name = dom.xpath('//div[@class="dw_table"]/div[@class="el"]/span[@class="t2"]/a[@target="_blank"]/@title')
# 3、工作地点
address = dom.xpath('//div[@class="dw_table"]/div[@class="el"]/span[@class="t3"]/text()')
# 4、工资
salary_mid = dom.xpath('//div[@class="dw_table"]/div[@class="el"]/span[@class="t4"]')
salary = [i.text for i in salary_mid]
# 5、发布日期
release_time = dom.xpath('//div[@class="dw_table"]/div[@class="el"]/span[@class="t5"]/text()')
# 6、获取二级网址url
deep_url = dom.xpath('//div[@class="dw_table"]/div[@class="el"]//p/span/a[@target="_blank"]/@href')
RandomAll = []
JobDescribe = []
CompanyType = []
CompanySize = []
Industry = []
for i in range(len(deep_url)):
web_test = requests.get(deep_url[i], headers=headers)
web_test.encoding = "gbk"
dom_test = etree.HTML(web_test.text)
# 7、爬取经验、学历信息，先合在一个字段里面，以后再做数据清洗。命名为random_all
random_all = dom_test.xpath('//div[@class="tHeader tHjob"]//div[@class="cn"]/p[@class="msg ltype"]/text()')
# 8、岗位描述性息
job_describe = dom_test.xpath('//div[@class="tBorderTop_box"]//div[@class="bmsg job_msg inbox"]/p/text()')
# 9、公司类型
company_type = dom_test.xpath('//div[@class="tCompany_sidebar"]//div[@class="com_tag"]/p[1]/@title')
# 10、公司规模(人数)
company_size = dom_test.xpath('//div[@class="tCompany_sidebar"]//div[@class="com_tag"]/p[2]/@title')
# 11、所属行业(公司)
industry = dom_test.xpath('//div[@class="tCompany_sidebar"]//div[@class="com_tag"]/p[3]/@title')
# 将上述信息保存到各自的列表中
RandomAll.append(random_all)
JobDescribe.append(job_describe)
CompanyType.append(company_type)
CompanySize.append(company_size)
Industry.append(industry)
# 为了反爬，设置睡眠时间
time.sleep(1)
# 由于我们需要爬取很多页，为了防止最后一次性保存所有数据出现的错误，因此，我们每获取一夜的数据，就进行一次数据存取。
df = pd.DataFrame()
df["岗位名称"] = job_name
df["公司名称"] = company_name
df["工作地点"] = address
df["工资"] = salary
df["发布日期"] = release_time
df["经验、学历"] = RandomAll
df["公司类型"] = CompanyType
df["公司规模"] = CompanySize
df["所属行业"] = Industry
df["岗位描述"] = JobDescribe
# 这里在写出过程中，有可能会写入失败，为了解决这个问题，我们使用异常处理。
try:
df.to_csv("job_info.csv", mode="a+", header=None, index=None, encoding="gbk")
except:
print("当页数据写入失败")
time.sleep(1)
print("数据爬取完毕，是不是很开心！！！")
ここにあなたが見ることができる、我々は最終的な分析のためのデータの1,000以上のページをクロールしています。そのため、それぞれが最終的に失敗につながる避けるために、データストアを行い、1回のストレージをデータの上昇を取ります。同時に、彼らのテストによると、データ・ストレージのためのいくつかのページがあり、コードの後ろの実装に影響を与えないようにするために、我々は「試し-除いて」例外処理を使用し、故障につながります。
ページでは、「ジョブ名」、「会社名」、「勤務先」、「賃金」、「日付」、「セカンダリURLのURL」これらのフィールドをクロール。
2つのページでは、私たちは「経験、教育情報、」「ジョブ記述」、「会社のタイプ」、「企業規模」、「産業」、これらのフィールドをクロール。
データの前処理
表示を行うために、データセクションから取らクロール、それはデータの混乱から見ることができます。メッシーデータは我々の分析を助長されていません、それは前処理対象データの調査を行う必要があり、我々は最終的にデータを視覚的に表示するために使用することができます。
1）およびインポート・データベースに関連するデータを読み出します
df = pd.read_csv(r"G:\8泰迪\python_project\51_job\job_info1.csv",engine="python",header=None)
# 为数据框指定行索引
df.index = range(len(df))
# 为数据框指定列索引
df.columns = ["岗位名","公司名","工作地点","工资","发布日期","经验与学历","公司类型","公司规模","行业","工作描述"]
2）データ重複排除
私たちは、同じ名前の会社と会社名とジョブのリリースが、それは重複とみなされていると信じています。そのため、「ジョブ名」と「会社名」に基づいてdrop_duplicates（サブセット= []）関数は、重複した値を拒否します。
# 去重之前的记录数
print("去重之前的记录数",df.shape)
# 记录去重
df.drop_duplicates(subset=["公司名","岗位名"],inplace=True)
# 去重之后的记录数
print("去重之后的记录数",df.shape)
治療3）ジョブ名フィールド
ジョブ名フィールドを探索①
df["岗位名"].value_counts()
df["岗位名"] = df["岗位名"].apply(lambda x:x.lower())
説明：まず、各ポストの出現の統計的な頻度を行い、あなたは、私たちは、統計的分析をしないために、その「ジョブ名欄」あまりにも乱雑を見ることができます。その後、我々は同じものに属し、「AI」と「愛」を意味し、小文字に統一された大文字の名前を掲載します。
あなたはデータのフィルタリングを行うために、分析したいゴールポスト②構造
job_info.shape
target_job = ['算法', '开发', '分析', '工程师', '数据', '运营', '运维']
index = [df["岗位名"].str.count(i) for i in target_job]
index = np.array(index).sum(axis=0) > 0
job_info = df[index]
job_info.shape
説明：まず、私たちは7目標位置上記のキーワードを構築します。そして、カウント数（）すべての統計記録機能を使用して、あなたはこのフィールドを離れる場合は含まれていますが、このフィールドを削除するために含まれていない、7つのキーの単語が含まれています。まだ残っているどのように多くのレコード最終審査を表示した後。
正規化③ゴールポスト（対象があまりにも汚い仕事ですので、我々はそれを統一する必要があります）
job_list = ['数据分析', "数据统计","数据专员",'数据挖掘', '算法',
'大数据','开发工程师', '运营', '软件工程', '前端开发',
'深度学习', 'ai', '数据库', '数据库', '数据产品',
'客服', 'java', '.net', 'andrio', '人工智能', 'c++',
'数据管理',"测试","运维"]
job_list = np.array(job_list)
def rename(x=None,job_list=job_list):
index = [i in x for i in job_list]
if sum(index) > 0:
return job_list[index][0]
else:
return x
job_info["岗位名"] = job_info["岗位名"].apply(rename)
job_info["岗位名"].value_counts()
# 数据统计、数据专员、数据分析统一归为数据分析
job_info["岗位名"] = job_info["岗位名"].apply(lambda x:re.sub("数据专员","数据分析",x))
job_info["岗位名"] = job_info["岗位名"].apply(lambda x:re.sub("数据统计","数据分析",x))
説明：まず、我々はndarray配列に変換、交換したいjob_listゴールポストを定義します。レコードがキーワードjob_list配列が含まれている場合は、関数を定義し、その後、このレコードは、レコードキーワードjob_list配列の複数が含まれている場合、我々は唯一の最初を取る、このキーワードに置き換えられますキーワードは、このレコードを交換してください。そして、交換後の投稿の頻度に関するvalue_counts（）関数の統計を使用しています。最後に、私たちは、「データコミッショナー」、「統計」はとして一緒にグループ化されています「データ分析」。
4）処理賃金フィールド
データは「200,000〜300,000 /年」に似た賃金、「2.5-3ワン/月」と、フォームフィールド「3.5から4500 /月を。」私たちは、単一の変更を行う必要があり、データ形式は、「元/月」で変換した後、平均を見つけ、二人の人物を削除します。
job_info["工资"].str[-1].value_counts()
job_info["工资"].str[-3].value_counts()
index1 = job_info["工资"].str[-1].isin(["年","月"])
index2 = job_info["工资"].str[-3].isin(["万","千"])
job_info = job_info[index1 & index2]
def get_money_max_min(x):
try:
if x[-3] == "万":
z = [float(i)*10000 for i in re.findall("[0-9]+\.?[0-9]*",x)]
elif x[-3] == "千":
z = [float(i) * 1000 for i in re.findall("[0-9]+\.?[0-9]*", x)]
if x[-1] == "年":
z = [i/12 for i in z]
return z
except:
return x
salary = job_info["工资"].apply(get_money_max_min)
job_info["最低工资"] = salary.str[0]
job_info["最高工资"] = salary.str[1]
job_info["工资水平"] = job_info[["最低工资","最高工资"]].mean(axis=1)
説明：まず、私たちは「百万」の3番目のワードながら「年」と「月」の最後の言葉場合、各レコードに固有のスクリーニングのデータを行なったし、「数千人」、そしてこの記事を保ちます録音、または削除します。その後、我々は統一フォーマットに変換される関数を定義「元/月を。」最後に、最低賃金と最大賃金は、最終的な「賃金レベル」フィールドを与えるために平均化されます。
5）作業場所フィールド
全データは、国についてのデータであることから、市はまた、特に高に関与しています。私たちは、統一されたデータ処理を行うために、作業の一般的なカスタムフィールドゴールの場所が必要です。
#job_info["工作地点"].value_counts()
address_list = ['北京', '上海', '广州', '深圳', '杭州', '苏州', '长沙',
'武汉', '天津', '成都', '西安', '东莞', '合肥', '佛山',
'宁波', '南京', '重庆', '长春', '郑州', '常州', '福州',
'沈阳', '济南', '宁波', '厦门', '贵州', '珠海', '青岛',
'中山', '大连','昆山',"惠州","哈尔滨","昆明","南昌","无锡"]
address_list = np.array(address_list)
def rename(x=None,address_list=address_list):
index = [i in x for i in address_list]
if sum(index) > 0:
return address_list[index][0]
else:
return x
job_info["工作地点"] = job_info["工作地点"].apply(rename)
説明：まず、我々はndarray配列に変換するために、仕事の場所のターゲットリストを定義しました。そして、私たちは仕事の元の場所を記録する機能を定義し、仕事の場所は、市内のターゲットに置き換えられます。
処理6）会社のタイプフィールド
これは非常に簡単に、詳細に記述されていません。
job_info.loc[job_info["公司类型"].apply(lambda x:len(x)<6),"公司类型"] = np.nan
job_info["公司类型"] = job_info["公司类型"].str[2:-2]
7）治療の産業分野
各企業は産業、貿易ラベルの複数のフィールドを持っているかもしれませんが、我々はラベルとして、同社の業界の最初にデフォルト設定します。
# job_info["行业"].value_counts()
job_info["行业"] = job_info["行业"].apply(lambda x:re.sub(",","/",x))
job_info.loc[job_info["行业"].apply(lambda x:len(x)<6),"行业"] = np.nan
job_info["行业"] = job_info["行业"].str[2:-2].str.split("/").str[0]
教育の分野を扱う8）の経験
フィールドを処理するデータについて、私は一瞬考えていた、適切な説明はありませんが、経験を行くために独自のコードを置きます。
job_info["学历"] = job_info["经验与学历"].apply(lambda x:re.findall("本科|大专|应届生|在校生|硕士",x))
def func(x):
if len(x) == 0:
return np.nan
elif len(x) == 1 or len(x) == 2:
return x[0]
else:
return x[2]
job_info["学历"] = job_info["学历"].apply(func)
処理9）ジョブ記述フィールド
我々はストップワードを削除した後、各行について、jiebaワードを行います。
with open(r"G:\8泰迪\python_project\51_job\stopword.txt","r") as f:
stopword = f.read()
stopword = stopword.split()
stopword = stopword + ["任职","职位"," "]
job_info["工作描述"] = job_info["工作描述"].str[2:-2].apply(lambda x:x.lower()).apply(lambda x:"".join(x))\
.apply(jieba.lcut).apply(lambda x:[i for i in x if i not in stopword])
job_info.loc[job_info["工作描述"].apply(lambda x:len(x) < 6),"工作描述"] = np.nan
10）企業規模のフィールドで
#job_info["公司规模"].value_counts()
def func(x):
if x == "['少于50人']":
return "<50"
elif x == "['50-150人']":
return "50-150"
elif x == "['150-500人']":
return '150-500'
elif x == "['500-1000人']":
return '500-1000'
elif x == "['1000-5000人']":
return '1000-5000'
elif x == "['5000-10000人']":
return '5000-10000'
elif x == "['10000人以上']":
return ">10000"
else:
return np.nan
job_info["公司规模"] = job_info["公司规模"].apply(func)
11）新しいデータ構造
私たちは、最終のデータをきれいに、分析対象のフィールドを選択し、データ・ストレージを行います。
feature = ["公司名","岗位名","工作地点","工资水平","发布日期","学历","公司类型","公司规模","行业","工作描述"]
final_df = job_info[feature]
final_df.to_excel(r"G:\8泰迪\python_project\51_job\词云图.xlsx",encoding="gbk",index=None)
「ジョブの説明」フィールドに特別な処理
それ以来、私たちは、異なる単語が処理して、我々は異なる位置に各キーワードの単語頻度統計を取得し、ジョブ名に基づいて分類する必要があるので、視覚的な表示は、タブローで行われている。クラウドた異なる位置のために行う必要があります
import numpy as np
import pandas as pd
import re
import jieba
import warnings
warnings.filterwarnings("ignore")
df = pd.read_excel(r"G:\8泰迪\python_project\51_job\new_job_info1.xlsx",encoding="gbk")
df
def get_word_cloud(data=None, job_name=None):
words = []
describe = data['工作描述'][data['岗位名'] == job_name].str[1:-1]
describe.dropna(inplace=True)
[words.extend(i.split(',')) for i in describe]
words = pd.Series(words)
word_fre = words.value_counts()
return word_fre
zz = ['数据分析', '算法', '大数据','开发工程师', '运营', '软件工程','运维', '数据库','java',"测试"]
for i in zz:
word_fre = get_word_cloud(data=df, job_name='{}'.format(i))
word_fre = word_fre[1:].reset_index()[:100]
word_fre["岗位名"] = pd.Series("{}".format(i),index=range(len(word_fre)))
word_fre.to_csv(r"G:\8泰迪\python_project\51_job\词云图\bb.csv", mode='a',index=False, header=None,encoding="gbk")
タブロー視覚表示
1）人気のある都市の雇用ニーズTOP10
TOP10 2）の人気都市ポストの数
数3）の異なる位置バブル図仕事場
4）ホットジョブの給与
5）ホット業界の給与
最終的なショーの6）大画面の可視化
「動的」7）大画面ディスプレイの可視化
説明：これは数字によって結論は、それが明瞭に見ることができるので、分析の最終的な結論は、行われていないです。
免責事項：この記事は、元の記事のCSDNブロガー「黄至高」で、CSDN公式リリースが承認しました。
オリジナルリンクします。https：//blog.csdn.net/weixin_41261833/article/details/104924038
【終わり】
推奨読書
☞ 別のブロックされた挑発の怒りの後GitHubのオープンソースプロジェクトは、最高経営責任者（CEO）は、個人的に謝罪します！
☞ セキュリティクラウドディスクに応じて、360は異例の取引を表示されます。別の制限iPhoneの後、Appleの公式ウェブサイトを、GitHubのオープンソースプロジェクトは、Microsoftのエンジニアシールド|オタクの見出しを
☞ 2020年、プログラミング言語の5種類が死んでしまいます
☞万人が住んで耐えたが、本のフライ移行パス技術の終わり以来、国連をお勧めします！
☞ それをAWSのか分からないのですか？あなたとこの11キーは、AWSを知っています！
☞ インテリジェントデザインパターンの書面による契約ソリディティ
あなたは、私が好きなよう真剣に、すべてのポイントを見て
