1. Einleitung
Was Datahub tut, wird hier nicht beschrieben. Wenn Sie mehr wissen möchten, lesen Sie bitte die Dokumentation zur offiziellen Website von DataHub . Hier zeigen wir Ihnen hauptsächlich, wie Sie es Schritt für Schritt installieren und dann zu 100 % bereitstellen. Im Allgemeinen wird die Dokumentation von Open-Source-Produkten von allen am meisten kritisiert. Die Bereitstellungsschritte sind sehr einfach und wichtige und wichtige Konfigurationen werden manchmal nicht erwähnt. Viele Leute möchten loslegen, aber Installation und Bereitstellung werden die meisten Leute abweisen. Vor der Tür geben viele ungeduldige Schüler sofort auf, wenn sie in eine Grube fallen und nicht mehr herausklettern können. Der Hauptzweck dieses Artikels besteht darin, allen bei diesem Schritt zu helfen. Wenn der Artikel für Sie hilfreich ist, liken Sie ihn bitte und folgen Sie ihm. Nein, bitte nicht spritzen~
2.Anforderungen an die Softwareversion
- CentOS == 7.6.18-x86-64
- Datenhub == 0.12.0
- Python == 3.8.18
- Docker == 24.0.7
- docker-compose == 2.20.3
3. Detaillierte Erläuterung des Installationsprozesses
3.1 Docker-Installation
Informationen zur Installation finden Sie in meinem vorherigen Artikel. Klicken Sie hier im Portal, um die drei häufig verwendeten Installations- und Bereitstellungsmethoden von Docker vorzustellen und zu demonstrieren.
Angesichts des Problems der Offline-Installation von Docker werde ich einen Artikel über die Offline-Bereitstellung von Docker für alle schreiben.
3.2 Docker-Compose-Installation
Herunterladen und installieren. Wenn der Download fehlschlägt, können Sie ihn lokal herunterladen und dann auf den Server hochladen.
curl -SL https://github.com/docker/compose/releases/download/v2.20.3/docker-compose-linux-x86_64 -o /usr/local/bin/docker-compose
Ändern Sie die Berechtigungen für Skriptoperationen
chmod 755 /usr/local/bin/docker-compose
Überprüfen Sie, ob Docker-Compose erfolgreich installiert wurde
3.3 Python3-Installation
Da die Installation von datahub0.12.0 von Python3 abhängt, die Standard-Python-Version von CentOS jedoch Python2.7.5 ist, muss Python3 hier installiert werden. Die hier installierte Python-Version ist 3.8.18. Das Folgende zeigt den gesamten Prozess der Kompilierung und Installation:
1) Installieren Sie Systemabhängigkeiten
yum install -y zlib-devel bzip2-devel openssl-devel ncurses-devel epel-release gcc gcc-c++ xz-devel readline-devel gdbm-devel sqlite-devel tk-devel db4-devel libpcap-devel libffi-devel
2) Erstellen Sie zunächst das Installationsverzeichnis von Python3:
mkdir -p /usr/local/python3
3) Laden Sie das Installationspaket von Python3.8.18 herunter
mkdir -p /opt/packages
cd /opt/packages
wget https://registry.npmmirror.com/-/binary/python/3.8.18/Python-3.8.18.tgz
4) Entpacken Sie das Installationspaket
tar -zxf /opt/packages/Python-3.8.18.tgz
5) Kompilieren und installieren
cd /opt/packages/Python-3.8.18
./configure --prefix=/usr/local/python3
make && make install
Nach der Ausführung /usr/local/python3sieht das Verzeichnis wie folgt aus:
6) Konfigurieren Sie Systemumgebungsvariablen
ln -s /usr/local/python3/bin/python3.8 /usr/local/bin/python3
ln -s /usr/local/python3/bin/pip3 /usr/local/bin/pip3
Wie nachfolgend dargestellt:
Überprüfen Sie, ob die Systemumgebungsvariablen gültig sind, wie in der folgenden Abbildung gezeigt. Dies ist erfolgreich.
python3 -m pip install --upgrade pip
3.4 Datahub-Installation
Führen Sie den Installationsbefehl wie folgt aus
python3 -m pip install acryl-datahub==0.12.0 -i https://pypi.tuna.tsinghua.edu.cn/simple
Überprüfen Sie, ob der Datahub erfolgreich installiert wurde
python3 -m pip Datahub-Version
Der folgende Fehler tritt auf:
Lösung: Die Version der urllib3-Bibliothek ist zu hoch. Führen Sie ein Downgrade der Version durch und installieren Sie Version 1.25.11 von urllib3 neu.
python3 -m pip install urllib3==1.25.11 -i https://pypi.tuna.tsinghua.edu.cn/simple
Überprüfen Sie noch einmal, ob der Datahub erfolgreich installiert wurde.
python3 -m pip Datahub-Version
Wie unten gezeigt, ist die Installation erfolgreich.
3.4 Download und Installation des Datahub-Images
Zuerst laden wir den Quellcode der DataHubv0.12.0-Version aus dem Datahub-Warehouse von Github herunter , entpacken ihn und suchen die Docker-Compose-Orchestrierungsskriptdatei. Laden Sie das Skript in das Serververzeichnis
hoch . Wenn kein solcher Pfad vorhanden ist, erstellen Sie ihn bitte selbst. Erstellen Sie den Befehldocker-compose-without-neo4j.quickstart.yml/usr/local/python3/datahub-docker-scriptsmkdir -p /usr/local/python3/datahub-docker-scripts
Geben Sie /usr/local/python3/datahub-docker-scriptsdas Verzeichnis ein und führen Sie den folgenden Befehl aus:
python3 -m datahub docker quickstart --quickstart-compose-file ./docker-compose-without-neo4j.quickstart.yml
Nach einem langen Prozess des Herunterladens und Ziehens des Images und nachdem der Container erfolgreich ausgeführt wurde, ist der gesamte Installationsprozess wie unten gezeigt abgeschlossen:
Nach dem Zugriff http://10.10.3.14:9002wird die folgende Seite angezeigt, die darauf hinweist, dass DataHub erfolgreich installiert wurde. Das Standardkonto und das Standardkennwort lauten wie folgt:
用户名：datahub
密码： datahub
4. Allgemeine Anweisungen für die Verwaltung und Nutzung von Diensten
1) Starten Sie Datahub mit einem Klick
docker-compose -p datahub -f ./docker-compose.consumers-without-neo4j.quickstart.yml up -
2) Stoppen Sie Datahub mit einem Klick
docker-compose -p datahub -f ./docker-compose.consumers-without-neo4j.quickstart.yml stop
3) Sehen Sie sich die Datahub-Plug-in-Liste an
python3 -m datahub check plugins --verbose
4) Installieren Sie das Datahub-Plug-in
pip3 install 'acryl-datahub[数据源]'
Wenn Sie nun beispielsweise die Metadaten der MySQL-Datenquelle verwalten müssen, müssen Sie zunächst das MySQL-Datenquellen-Plug-in integrieren.
pip3 install acryl-datahub[mysql]
5. Nutzen Sie die Demo
Konfigurieren Sie die Integration der Metadatenquelle.
Erstellen Sie eine neue Metadatenquelle
. Wählen Sie den Datenquellentyp aus, konfigurieren Sie die Verbindungsparameter der Datenquelle, legen Sie den Zeitplan für die Erfassungsaufgabe fest und speichern Sie dann.
Klicken Sie auf „RUN“, um die Sammelaufgabe auszuführen
. Okay, dieser Artikel endet hier. Wenn Sie während des Installationsvorgangs auf Probleme stoßen, hinterlassen Sie bitte eine Nachricht zur Diskussion. Zum Schluss liken und folgen Sie, ich werde Ihnen eine kleine rote Blume schenken, danke ~~~.