データ分析タスク3：紙のコード統計

データ分析タスク3：紙のコード統計

Github
データセットには次の知識ポイントが含まれ
ます。

• 正規表現
• データフレームの各列に適用関数とラムダを組み合わせて使用​​するdata ['categories'] = data ['categories']。apply（lambda x：x.split（ ''）[0]）
• finall関数の戻り値の型は、正規表現の（）の数によって異なります。

1.データ処理ステップ

元のarxivデータセットでは、著者は論文のコメントまたは抽象フィールドで特定のコードリンクを提供することが多いため、これらのフィールドでコードリンクを見つける必要があります。

1. データが表示される場所を決定します。
2. 正規表現を使用してマッチングを完了します。
3. 関連する統計を完成させます。

2.正規表現

通常の文字：大文字と小文字、すべての数字、すべての句読点、およびその他の記号

特殊文字：特別な意味を持つ文字

修飾子

3.コードの実装

import json #读取数据
import re #正则表达式
import pandas as pd

データの読み取り

data = []
with open("E:/datawhale数据分析/arxiv-metadata-oai-2019.json",'r') as f:
    for idx,line in enumerate(f):
        d = json.loads(line)
        d = {
    
    'abstract':d['abstract'],'categories':d['categories'],'comments':d['comments']}
        data.append(d)

data = pd.DataFrame(data)

抽出されたページ

data['pages'] = data['comments'].apply(lambda x:re.findall('[1-9][0-9]* pages',str(x)))

data = data[data['pages'].apply(len) > 0]#抽取出页码存在的论文

data['pages'][1][0]
#27 pages

#去除pages  留下数字作为pages项
data['pages'] = data['pages'].apply(lambda x: float(x[0].replace('pages','')))

ページの統計

data['pages'].describe().astype(int)

分類に従って紙のページ数を数え、紙の最初のカテゴリのメインカテゴリを選択します

import matplotlib.pyplot as plt
#选择主要类别
data['categories'] = data['categories'].apply(lambda x: x.split(' ')[0])

#每类论文的平均页数
plt.figure(figsize=(12,6))
data.groupby(['categories'])['pages'].mean().plot(kind = 'bar')

紙のチャートの数を抽出し、data ["figures"]に設定します。

data = data.copy()
#删掉copy会报错？？
data['figures'] = data['comments'].apply(lambda x: re.findall('[1-9][0-9]* figures',str(x)))
data = data[data['figures'].apply(len) >0]
data['figures'] = data['figures'].apply(lambda x: float(x[0].replace('figures','')))

論文のコードリンクを抽出します。タスクを簡素化するために、githubリンクのみを抽出します。

data = data.copy()
# 筛选包含github的论文
data_with_code = data[
    (data.comments.str.contains('github')==True)|
                      (data.abstract.str.contains('github')==True)
]
data_with_code['text'] = data_with_code['abstract'].fillna('') + data_with_code['comments'].fillna('')

# 使用正则表达式匹配论文
pattern = '[a-zA-z]+://github[^\s]*'
#所有大小写字母出现一次或多次：//github任意非空字符出现0次或多次
data_with_code['code_flag'] = data_with_code['text'].str.findall(pattern).apply(len)
#finall函数的返回类型依其正则表达式中（）的个数不同而不同
#https://www.cnblogs.com/springionic/p/11327187.html
data_with_code['code_flag']

カテゴリ別にgithubリンクを引用している論文の数をプロットします

data_with_code = data_with_code[data_with_code['code_flag'] == 1]
plt.figure(figsize=(12, 6))
data_with_code.groupby(['categories'])['code_flag'].count().plot(kind='bar')