Python-Mietdatenanalyse-Crawler für nationale Mietdaten

Technologie-Stack: Python-Sprach-Bootstrap-Framework, JQuery, CSS, Javascript, HTML

Crawling-Website: Shell rent a house (kann Daten von Städten im ganzen Land crawlen)

Funktion:

Anzeige von Mietinformationsdaten, Nummernverteilung von Mietadressen,

Statistiken zu Miethaustypen, statistische Mietpreisanalyse,

Mietflächenanalyse, Wohnungsorientierungsanalyse,

Statistische Analyse des Durchschnittspreises von Wohneinheiten, statistische Analyse von Wohngeschossen,

Statistische Analyse von Wohnungsgeschossen und -preisen, statistische Analyse von Wohnungsadressen und -preisen,

Wortwolkenanzeige mit wohnungsbezogenen Informationen

Der Kern des Django-Frameworks umfasst: einen objektrelationalen Mapper, der als Medium zwischen dem Datenmodell (definiert in Form von Python-Klassen) und der relationalen Datenbank verwendet wird; einen URL-Dispatcher, der auf regulären Ausdrücken basiert; ein Ansichtssystem, das verwendet wird Prozessanforderungen und ein Vorlagensystem [5].

Ebenfalls im Kern-Framework enthalten sind:

Ein leichter, eigenständiger Webserver für Entwicklung und Tests.

Ein Formularserialisierungs- und Validierungssystem zum Konvertieren zwischen HTML-Formularen und Daten, die für die Datenbankspeicherung geeignet sind.

Ein Caching-Framework mit mehreren Optionen zum Caching.

Middleware-Unterstützung, die das Eingreifen in verschiedene Phasen der Anfrageverarbeitung ermöglicht.

Das integrierte Verteilungssystem ermöglicht es Komponenten in der Anwendung, über vordefinierte Signale miteinander zu kommunizieren.

Ein Serialisierungssystem, das in XML oder JSON ausgedrückte Django-Modellinstanzen generieren oder lesen kann.

Ein System zur Erweiterung der Funktionen von Template-Engines.

Django, ausgesprochen wie (klebrig). Es handelt sich um ein Open-Source-Webentwicklungs-Framework, das in der Python-Sprache geschrieben ist und dem MVC-Entwurfsmuster folgt. Der Hauptzweck von Django besteht darin, einfach und schnell datenbankgestützte Websites zu entwickeln. Der Schwerpunkt liegt auf der Wiederverwendung von Code, und mehrere Komponenten können problemlos das gesamte Framework in Form von „Plug-Ins“ bedienen. Django verfügt über viele leistungsstarke Plug-Ins von Drittanbietern und kann auch ein eigenes Toolkit entwickeln. Es macht Django hoch skalierbar und legt außerdem Wert auf schnelle Entwicklung und DRY-Prinzipien.

Django ist ein schwergewichtiges Open-Source-Webframework, das auf P)rthon basiert. Django verfügt über ein hochgradig angepasstes ORM und viele einfache APLs

Flexibles Schreiben von Ansichten, elegante URL, für schnelle Entwicklung geeignete Vorlagen und leistungsstarker Verwaltungshintergrund machen es zu einer hervorragenden Wahl für die Python-Webentwicklung

Das Feld hat eine unerschütterliche Position. Berühmte Websites wie Facebook, Facebook, eFox und National Geographic nutzen allesamt D1go für die Entwicklung.

有3 种方式,分别是使用pip 安装Django 、使用virtualenv 安装Django 和使用Anaconda 安装Django, 本文使用pip命令安装。

创建Django 项目

(1) 首先在D 盘(读者可以根据实际情况选择)根目录下创建用千保存项目文件的目录, 这里创建的目录为“D:\Webproj ects”。

( 2) 在Webprojects 文件夹中创建environments 目录用千放置虚拟环境, 然后打开cmd, 输入如下创建环境命令:

: virtualenv D:\Webprojects\envi ronments\django2.0

(3) 使用如下命令在命令行激活环境:

: D: \Webprojects\environments\dj ango2. 0\Scripts\activate

( 4) 使用“ django-admin " 命令创建一个项目:

django-admin startproject demo

( 5 ) 使用压,cham1 打开demo 项目, 查看目录结构,

说明:Dj ango 项目中的文件及说明

manage.py Dj ango 程序执行的入口

db.sqlite3 SQLite 的数据库文件, Dj ango 默认使用这种小型数据库存取数据,非必须

templates Dj ango 生成的HTML 模板文件夹,我们也可以在每个app 中使用模板文件夹

demo Dj ango 生成的和项目同名的配置文件夹

settings. py Dj ango 总的配置文件,可以配置App 、数据库、中间件、模板等诸多选项

urls .py Dj ango 默认的路由配置文件

wsg1.py Dj ango 实现的WSGI 接口的文件, 用来处理Web 请求

启动django

在pychann 中单击运行项目, 或者在虚拟环境命令行中执行以下命令运行项目:

python manage.py runserver

创建APP

在Dj ango 项目中,推荐使用App 来完成不同模块的任务, 通过执行如下命令可以启用一个应用

程序。

python manage. py startapp

此时,在项目的根目录下可以看到一个名称为的目录

数据模型( models.py)

(1) 在App 中添加数据模型 详情见models.py 中的代码 ,说明如下:

执行数据库迁移

创建完数据模型后, 开始做数据库迁移,用Djai1go 默认自带的SQLite 数据库。在项目的settings.py 配置文件中找到如下的配置:

python manage . py makemigrations # 生成迁移文件

python manage . py migrate # 迁移数据库, 创建新表

路由(urls.py)-----详细见urls.py代码文件

URL路由流程:

(1)Django 查找全局urlpattems 变量(urls.py) 。

(2)按照先后顺序,对URL 逐一匹配urlpattems 每个元素。

(3)找到第一个匹配时停止查找, 根据匹配结果执行对应的处理函数。

(4)如果没有找到匹配或出现异常, Django 进行错误处理。

Django 模板

django 指定的模板引擎在settings.py 文件中定义:

TEMPLATES = [{

# 模板引擎,默认为Django模板

0BACKEND0: 'django. template. backends. django. DjangoTemplates' ,

,DIRS' : [] J # 模板所在的目录

'APP DIRS' : True, #是否启用AP P 目录

OPTIONS' : {

},

},

MySQL是一个开源的关系型数据库管理系统,由瑞典MySQL AB公司1995年开发,迅速成为最流行的开源关系型数据库管理系统。在 WEB 应用方面 MySQL 是最好的 RDBMS(Relational Database Management System:关系数据库管理系统)应用软件之一。2008被Sun公司10亿美金收购,2009年Sun被Oracle收购。MariaDB应运而生。(MySQL的创造者担心MysQL有闭源的风险,因此创建了MySQL的分支项目MariaDB)MySQL6.x版本之后分为社区版和商业版(付费,功能更强大)。MySQL是一种关联数据库管理系统,将数据保存在不同的表中,而不是将所有数据放在一个大仓库内,这样就增加了速度并提高了灵活性。MySQL是可以定制的,采用了GPL(GNU General Public License)协议,你可以修改源码来开发自己的MySQL系统。MySQL支持大型的数据库,可以处理拥有上千万条记录的大型数据库。支持5000万条记录的数据仓库,32位系统表文件最大可支持4GB,64位系统支持最大的表文件为8TB。MySQL使用标准的SQL数据语言形式。MySQL 可以运行于多个系统上,并且支持多种语言。这些编程语言包括 C、C++、Python、Java、Perl、PHP、Eiffel、Ruby 。

Supongo que te gusta

Origin blog.csdn.net/2201_75772776/article/details/129229137
Recomendado
Clasificación