GitLab系列2 GitLab馬車馬

GitLab馬車馬

前回紹介しGitLab基本的な機能とアーキテクチャをしかし、ユーザの要求は、再び導入さまざまなコンポーネントの機能のみ責任を処理されている方法を詳細に説明していない、このセクションでは、簡単にgitlab-主力になる機能を

まず外観は：GitLabは、gitlab-主力-主力をgitlabするHTTP / HTTPSプロキシ要求のnginxのフロントエンドを使用して、ユニコーンのWebサーバーに要求を転送します。フロントエンドgitlab-主力のデフォルトのUNIXドメインソケットの間の通信をするために使用されますが、TCP転送要求はサポートしています。gitlabはユニコーンのWebサーバとAPIインタフェース、動的なWebを使用して

1. nginxの入口

概略図から分かるように、第一ステーションにHTTP / HTTPSリクエストはnginxのGitLabあります

ダウンロードGitLab-CE公式のソースを入力した後${gitlab-ce根目录}/lib/support/nginx、オープンをgitlab-sslnginxの設定を見ることができます

GitLabデフォルトのHTTP要求がHTTPS要求にリダイレクトされます

## Redirects all HTTP traffic to the HTTPS host
server {
  listen 0.0.0.0:80;
  listen [::]:80 ipv6only=on default_server;
  server_name YOUR_SERVER_FQDN;
  server_tokens off;
  return 301 https://$http_host$request_uri;
  access_log  /var/log/nginx/gitlab_access.log gitlab_ssl_access;
  error_log   /var/log/nginx/gitlab_error.log;
}
复制代码

HTTPS比較的複雑な設定は、単に輝点を言及する：location: /以下のproxy_pass http://gitlab-workhorse;説明いくつかの静的なページの追加を、ほぼすべてのnginxのHTTP / HTTPS要求（Unixソケット通信を使用して）gitlab-主力部品に伝達されます

Unixのソケットは、プロセス間通信機能ソケット方式の一種であり、それは開梱、チェックサムの計算と検証を梱包複雑なデータを必要としない、ネットワークプロトコルスタックは、安全で信頼性の高い、実行する必要はありません。UnixのソケットファクトAF_UNIXまたはソケットのAF_LOCAL 1種類が、それはコンストラクタIPとポートを必要としない、すなわち、IPCを達成するために、ローカル通信用のUNIXドメインソケット、あること、ファイルパスに置き換えられます

upstream gitlab-workhorse {
  # GitLab socket file,
  # for Omnibus this would be: unix:/var/opt/gitlab/gitlab-workhorse/socket
  server unix:/home/git/gitlab/tmp/sockets/gitlab-workhorse.socket fail_timeout=0;
}
...
## HTTPS host
server {
  listen 0.0.0.0:443 ssl;
  listen [::]:443 ipv6only=on ssl default_server;
  server_name YOUR_SERVER_FQDN;
  server_tokens off;

  ssl on;
  ssl_certificate /etc/nginx/ssl/gitlab.crt;
  ssl_certificate_key /etc/nginx/ssl/gitlab.key;

  ssl_ciphers "ECDHE-RSA-AES256-GCM-SHA384:ECDHE-RSA-AES128-GCM-SHA256:ECDHE-RSA-AES256-SHA384:ECDHE-RSA-AES128-SHA256:ECDHE-RSA-AES256-SHA:ECDHE-RSA-AES128-SHA:ECDHE-RSA-DES-CBC3-SHA:AES256-GCM-SHA384:AES128-GCM-SHA256:AES256-SHA256:AES128-SHA256:AES256-SHA:AES128-SHA:DES-CBC3-SHA:!aNULL:!eNULL:!EXPORT:!DES:!MD5:!PSK:!RC4";
  ssl_protocols TLSv1 TLSv1.1 TLSv1.2;
  ssl_prefer_server_ciphers on;
  ssl_session_cache shared:SSL:10m;
  ssl_session_timeout 5m;
  real_ip_recursive off;    ## If you enable 'on'
  access_log  /var/log/nginx/gitlab_access.log gitlab_ssl_access;
  error_log   /var/log/nginx/gitlab_error.log;

  location / {
    client_max_body_size 0;
    gzip off;
    proxy_read_timeout      300;
    proxy_connect_timeout   300;
    proxy_redirect          off;

    proxy_http_version 1.1;

    proxy_set_header    Host                $http_host;
    proxy_set_header    X-Real-IP           $remote_addr;
    proxy_set_header    X-Forwarded-Ssl     on;
    proxy_set_header    X-Forwarded-For     $proxy_add_x_forwarded_for;
    proxy_set_header    X-Forwarded-Proto   $scheme;
    proxy_set_header    Upgrade             $http_upgrade;
    proxy_set_header    Connection          $connection_upgrade_gitlab_ssl;

    proxy_pass http://gitlab-workhorse;
  }

  error_page 404 /404.html;
  error_page 422 /422.html;
  error_page 500 /500.html;
  error_page 502 /502.html;
  error_page 503 /503.html;
  location ~ ^/(404|422|500|502|503)\.html$ {
    root /home/git/gitlab/public;
    internal;
  }
}
复制代码

2. GitLab、働き者

だから、GitLab-働き者それは何ですか？公式には、このようなファイルのアップロード/ダウンロード、Gitのプッシュ/プルとGitのアーカイブダウンロードなどのHTTPリクエストの重い負荷を処理するスマートGitLabリバースプロキシサーバであることを説明しました。しかし、実際にはもっと複雑かもしれ

+-------+  +------------------+  +---------+
|       |  |                  |  |         |
| NGINX +->| gitlab-workhorse +->| Unicorn |
|       |  |                  |  |         |
+-------+  +------------------+  +---------+
复制代码

次のRailsのコンポーネントは、ユニコーンのWebサーバーを実行しています：

1. 主力製品は、このような静的なJS / CSSのリソースファイルとして、Railsのコンポーネントを起動せずに、いくつかの要求を処理することができます

   
   
2. レール主力成分が送信される応答に変更することができます。たとえば：あなたはRailsのコンポーネントを使用すると仮定しsend_file、その後、gitlab-主力が戻って、クライアントの体への応答として、ディスクおよびファイルコンテンツのファイルを開きます。
3. 操作権限は、このような処理などのコンポーネントは、Railsの後に問い合わせを引き継ぐための要求に馬車馬git cloneの前に現在のクライアントの権限を確認する必要があり、主力は問い合わせ確認Railsのコンポーネントを引き継ぐしていきますgit cloneリクエスト

   
   
4. 主力製品は、Railsのコンポーネントに要求情報を送信する前に変更することができます。たとえば、次のようにすると、アップロードプロセスGitのLFS、Railsの主力は、最初の修正要求は、一時ファイルパスに送られた後、それはこの体を含むことになる、それは体が一時ファイルに保存されている要求します、現在のアセンブリを実行する権限を持っているかどうかをユーザーに尋ねますコンポーネントのレール
5. 主力長期生存および通信レールを管理アセンブリ接続用WebSocket

   
   
6. 主力データベース（オプション）通信を直接接続することができない、とだけアセンブリレールRedisのアセンブリ
7. すべての要求は、到着の主力上流プロキシ（nginxの）からで転送されます
8. https接続受け入れられない馬車馬
9. 主力製品は、アイドル状態のクライアント接続をクリアしていません
10. レールアセンブリのためのすべての要求は主力を経過しました

たとえば、ユニコーンは、静的リソースファイルで、比較的低効率、そして利き主力プロセスを扱います。物品の長さに起因して、ただ説明する例を選択する：gzipのリソースファイルを

では${gitlab-workhorse根目录}/internal/staticpages/servefile.go機能func (s *Static) ServeExisting静的リソースファイルの主力取り扱いの定義内

私たちは、相対URLリクエストがあるがあると/assets/locale/zh_CN/app-3396bd500e53f89d971d8c31ba7275f1c9ae2899062d4a7aeef14339084f44bd.js理由とassetsのコードに示すように、処理要求の静的リソースファイルを経由して、接頭馬車馬プロセス

// ${gitlab-workhorse根目录}/internal/upstream/routes.go
// Serve assets
route(
    "", `^/assets/`,
    static.ServeExisting(
        u.URLPrefix,
        staticpages.CacheExpireMax,
        NotFoundUnless(u.DevelopmentMode, proxy),
    ),
    withoutTracing(), // Tracing on assets is very noisy
),
复制代码

静的リソースファイルについて、次の図のjsリクエストは、/assets/locale/zh_CN/app-3396bd500e53f89d971d8c31ba7275f1c9ae2899062d4a7aeef14339084f44bd.jsgzipの方法を使用することです

ユーザーがヘッドバンドを要求した場合Accept-Encoding: gzip、その後、主力はGZIPファイルを読む（サーバープリ圧縮静的リソースファイル）静的リソースに対する要求に対応し、ブラウザに送信します（ない直接転送し、nginxのサーバーを経由しなければならなかった）圧縮されたコンテンツ、ブラウジングサーバは、圧縮伸張場合コンテンツは、圧縮されているかどうかを決定するために応答を受信した後、ユーザはGZIPの使用を示していないソースファイルヘッダを要求した場合もちろん、それは主力を読み取り

// ${gitlab-workhorse根目录}/internal/staticpages/servefile.go
// ...省略部分代码
file := filepath.Join(s.DocumentRoot, prefix.Strip(r.URL.Path))
// ...省略部分代码
// Serve pre-gzipped assets
if acceptEncoding := r.Header.Get("Accept-Encoding"); strings.Contains(acceptEncoding, "gzip") {
    content, fi, err = helper.OpenFile(file + ".gz")
    if err == nil {
        w.Header().Set("Content-Encoding", "gzip")
    }
}

复制代码

図より、GZ圧縮ファイルを感じて、ソースファイルの1/3よりも小さい大幅にサーバーのネットワーク帯域幅を削減するために言うことができます

我々はまた、ことに注意しなければならない静的リソースファイルにアクセスするとき、要求はユニコーンのWebサーバーに転送されなかったが、主力個人的に、これはユニコーンのWebサーバーの欠陥を構成する主力部品の存在の最大の意義です。これは、協会の言っていました：

コンピュータサイエンスのいずれかの問題は、間接の別の層によって解決することができます

コンピュータサイエンスの分野ですべての問題を取得するための中間層を追加することができ、彼らは実際に日常的にああに満ちています

最後に、それの要約を作る：馬車馬のコンポーネントが最初であるのgit-オーバーHTTP / HTTPSタイムアウト問題を解決するため、換言すれば、ユニコーンを解決するために、主力のサーバーコンポーネントを要求に対処で良いではありません、そして、そのような要求は、動的ページのレンダリング働き者になりますこのような要求に対処するにユニコーン、サーバ良いので、に対処するためにユニコーン、プロキシサーバー。最先端のnginxのサーバー構成は、主にこのような目的のために使用されているとおり、HTTPS

付録

参考リンク

GitLab馬車馬公式倉庫

ます。https：//juejin.im/post/5cf680f86fb9a07ed5248cdaで再現