実践的なクローラー戦闘 - Weiboコメントデータ可視化

導入:

データが比較的少ない場合、データ内の情報を簡単に取得できることは誰もが知っています。しかし、データが比較的大きい場合、それを確認するのは困難です。特に今日の数万のデータに直面すると、これはさらに重要になります。

幸いなことに、コンピューターを使用して分析を行うことができます。より効率的な方法の 1 つはデータの視覚化です。データを視覚化することで、データに語らせることができます。これにより、データの分析が容易になり、データをより迅速に理解できるようになります。

レビュー:

前の章に引き続き、Weibo のコメントを取得するためのクローラーを以前に作成しました。得られたデータは以下のとおりです。
ここに画像の説明を挿入します
ここに画像の説明を挿入します
上記のデータは、実際には肉眼ではパターンを確認することが難しいことがわかります。同時に、これらのデータは非常に直感的ではありません。次に、データ視覚化を通じてこのデータを視覚化できます。

以下は、pyecharts を使用してクロールしたデータを視覚化した場合の効果です。
1 つ目はコメントデータのファンが多いユーザーのファンデータ、
ここに画像の説明を挿入します
2 つ目はコメントデータのファンが多いユーザーの注目データ、
ここに画像の説明を挿入します
次のステップはコメントが公開されたアドレスを可視化することです。この図から、どこに行っても、より多くの人がコメントを読むことをテストできます。具体的な効果については、以下のビデオをご覧ください。

さらに、最も多くのコメントが投稿された時刻を確認するために時間統計が使用されます。
ここに画像の説明を挿入します
次の表は、すべてのコメントにおける上位 20 位の IP アドレスの出現数を示しています。ここからわかるように、この Weibo のコメントでは北京が最も多くのコメント ユーザーを抱えています。
ここに画像の説明を挿入します
コメント者の性別に関する統計も作成できます。以下は Weibo のコメントの性別分布です。最後は、Weibo のコメントの
ここに画像の説明を挿入します
プロフィール データの視覚化です。コメント内のユーザー、つまりこのWeiboにコメントを投稿したユーザーの個人的な署名を取得し、この署名データに対してワードクラウド表示を行います。

ここに画像の説明を挿入します
コメントデータ可視化ビデオ紹介:

実践的なクローラー戦闘 - Weiboコメントの可視化

以上が今回シェアした内容の全てです。
著者の能力が限られているため、質問の構成に不正確な点がある可能性がありますが、ご容赦ください。
完全なソースコード:実践的なクローラー戦闘 - Weibo コメント データの視覚化

おすすめ

転載: blog.csdn.net/public669/article/details/135445858