边缘云上的高性能且安全的微服务

边缘云让开发者能够在靠近用户的地方部署微服务（即细颗粒度的 Web 服务），从而实现更好的用户体验（即非常快的响应时间）、绝佳的安全性以及高可用性。边缘云利用本地乃至私有的数据中心、CDN 网络和电信数据中心（例如 5G MEC）来提供计算服务。边缘云的成功案例包括 Cloudflare、Fastly、Akamai、fly.io、Vercel、Netlify 等。

但是，与大型公共云相比，边缘云是一个资源受限的环境。如果边缘微服务本身运行缓慢、臃肿或不安全，将导致在边缘云上部署的全部优势丧失殆尽。

本文将展示如何创建轻量级和高性能的 Web 服务，然后将其免费部署到边缘云提供商 fly.io 上。

Fly.io 是一个领先的边缘云 VM 服务提供商，它在世界各地都有边缘数据中心。fly.io VM 支持应用程序服务器、数据库以及我们这种微服务的轻量级 runtime。

我将使用 WasmEdge runtime 作为这些微服务的安全沙箱。 WasmEdge 是专门针对云原生服务优化的 WebAssembly runtime。我们将在基于 WasmEdge 的 Docker Images 中打包用 Rust 或 JavaScript 编写的微服务应用程序。这种方法有几种巨大优势。

WasmEdge 以接近原生的速度运行沙盒应用。根据一项经过同行评审的研究，WasmEdge 能够以近似 Linux 运行原生机器代码的速度运行 Rust 程序。
WasmEdge 是一个高度安全的 runtime。它可以保护你的应用程序免受外部和内部攻击威胁。
- WasmEdge runtime 受攻击的脆弱点，相比常规 Linux OS runtime 大大减少。
- 软件供应链攻击的风险大大降低了，因为 WebAssembly 沙箱仅允许明确声明的访问。
WasmEdge 在内存足迹上提供了一个完整的可移植应用程序 runtime 环境，仅是标准Linux OS runtime 镜像的1/10。
WasmEdge runtime 是跨平台的。这意味着机器的开发和部署不必相同。一旦创建了一个 WasmEdge 应用程序，就可以将其部署到支持 WasmEdge 的任何地方，包括 fly.io 基础设施。

如果是复杂的应用程序，该性能优势会进一步放大。例如，WasmEdge AI 推理应用程序不需要 Python 安装。WasmEdge node.js 应用程序也无需安装 node.js 和 v8。

本文接下来，我将演示如何运行

异步 HTTP 服务器（Rust）
一个非常快的图片分类 Web 服务（在Rust）和
node.js Web服务器
具有数据库连接的有状态的微服务

所有这些都可以在 WasmEdge 中快速且安全地运行，同时只消耗常规 Linux 容器所需资源的1/10。

前期准备

首先，请确保在系统上安装了 Docker 工具。如果没有，请按照本教程的第一节安装 Docker。接下来，我们将使用在线安装程序来安装 WasmEdge、Rust 和 fly.io 的 flyctl工具。

安装 WasmEdge。此处查看详细信息。

curl -sSf https://raw.githubusercontent.com/WasmEdge/WasmEdge/master/utils/install.sh | bash -s -- -e all

安装 Rust。此处查看详细信息。

`curl --proto '=https' --tlsv1.2 -sSf https://sh.rustup.rs | sh`

为 fly.io 安装 flyctl 工具。此处查看详细信息。

`curl -L `[`https://fly.io/install.sh`](https://fly.io/install.sh)` | sh`

安装好了 flyctl 之后， 请按照指引在 fly.io.上注册免费帐户。现在就可以在边缘云上部署 Web 服务了！

Rust 写的一个简单的微服务

我们的第一个示例是用 Rust 编写的简单 HTTP 服务。它演示了一个现代的 Web 应用程序，可以扩展以支持任意复杂的业务逻辑。基于流行的 Tokio 和 Hyper Crate，这个微服务是非常快、异步的（non-blocking），并且对于开发者来说非常容易创建。

完全静态链接的 WasmEdge 镜像只有 4MB（相比之下基础 Linux 镜像则为 40MB）。这足以运行用 Rust 的 tokio 和 hyper 框架编写的异步 HTTP 服务。

运行以下两个 CLI 命令，然后从 WasmEdge 的 Slim Docker 镜像创建fly.io 应用。

$ flyctl launch --image juntaoyuan/flyio-echo
$ flyctl deploy

好了！可以使用 curl 命令测试部署的 Web 服务是否成功。它回显了你发布的任何数据。

$ curl https://proud-sunset-3795.fly.dev/echo -d "Hello WasmEdge on fly.io!"
Hello WasmEdge on fly.io!

juntaoyuan/flyio-echo 镜像的 dockerfile 包含 WasmEdge runtime 和自定义的 Web 应用程序 WasmEdge_hyper_server.wasm 的完整包。

FROM WasmEdge/slim-runtime:0.11.0
ADD WasmEdge_hyper_server.wasm /
CMD ["WasmEdge", "--dir", ".:/", "/WasmEdge_hyper_server.wasm"]

构建 WasmEdge_hyper_server.wasm 应用程序的 Rust 源代码项目在这里。它使用 Tokio API 启动 HTTP 服务器。当服务器收到请求时，它会委派给 echo()函数以异步处理请求。这允许微服务接受和处理多个并发的 HTTP 请求。

#[tokio::main(flavor = "current_thread")]
async fn main() -> Result<(), Box<dyn std::error::Error + Send + Sync>> {
    let addr = SocketAddr::from(([0, 0, 0, 0], 8080));

    let listener = TcpListener::bind(addr).await?;
    println!("Listening on http://{}", addr);
    loop {
        let (stream, _) = listener.accept().await?;

        tokio::task::spawn(async move {
            if let Err(err) = Http::new().serve_connection(stream, service_fn(echo)).await {
                println!("Error serving connection: {:?}", err);
            }
        });
    }
}

异步 echo() 函数如下。它利用 hyper 提供的 HTTP API 来解析请求并生成响应。在这里，响应只是“请求数据正文”。

async fn echo(req: Request<Body>) -> Result<Response<Body>, hyper::Error> {
    match (req.method(), req.uri().path()) {
        ... ...
        (&Method::POST, "/echo") => Ok(Response::new(req.into_body())),
        ... ...

        // Return the 404 Not Found for other routes.
        _ => {
            let mut not_found = Response::default();
            *not_found.status_mut() = StatusCode::NOT_FOUND;
            Ok(not_found)
        }
    }
}

现在让我们在基本的微服务中加点料！

Rust 写的一个 AI 推理微服务

本例中，我们将创建一个用于图片分类的 Web 服务。它通过 Tensorflow Lite 模型处理上传的图片。我们将使用 WasmEdge 的 Rust API 来访问 Tensorflow，而不是创建一个复杂（且臃肿）的 Python 程序，它以本机机器代码速度运行推理任务（例如，如果有 GPU ，也可以在 GPU 硬件上运行）。通过 WASI-NN 标准，WasmEdge 的 Rust API 可以与 Tensorflow、PyTorch、OpenVINO 和其他 AI 框架中的 AI 模型一起使用。

对于包含完整 Tensorflow Lite 依赖项的 AI 推理应用程序，WasmEdge 占用空间小于 115MB。相比之下，标准 Tensorflow Linux 镜像超过 400MB。

从 WasmEdge + Tensorflow 的 slim Docker 镜像开始，运行以下两个 CLI 命令来创建并部署一个 fly.io 应用程序。

$ flyctl launch --image juntaoyuan/flyio-classify
$ flyctl deploy

好了！你可以使用 curl 命令来测试部署的 Web 服务是否真的有效。它返回带有可能性等级的图片分类结果。

$ curl https://silent-glade-6853.fly.dev/classify -X POST --data-binary "@grace_hopper.jpg"
military uniform is detected with 206/255 confidence

juntaoyuan/flyio-classify Docker 镜像的 Dockerfile 包含 WasmEdge runtime 的完整包、整个 Tensorflow 库及其依赖项，以及自定义 Web 应用程序 WasmEdge_hyper_server_tflite.wasm。

FROM WasmEdge/slim-tf:0.11.0
ADD WasmEdge_hyper_server_tflite.wasm /
CMD ["WasmEdge-tensorflow-lite", "--dir", ".:/", "/WasmEdge_hyper_server_tflite.wasm"]

用于构建 WasmEdge_hyper_server_tflite.wasm 应用程序的 Rust 源代码项目在这里。基于 tokio 的异步 HTTP 服务器位于 async main() 函数中，如上一个示例所示。 classify() 函数处理请求中的图片数据，将图片转换为 tensor，运行 Tensorflow 模型，然后将返回值（在一个 tensor 中）转换为文本标签和所识别出内容的概率。

async fn classify(req: Request<Body>) -> Result<Response<Body>, hyper::Error> {
    let model_data: &[u8] = include_bytes!("models/mobilenet_v1_1.0_224/mobilenet_v1_1.0_224_quant.tflite");
    let labels = include_str!("models/mobilenet_v1_1.0_224/labels_mobilenet_quant_v1_224.txt");
    match (req.method(), req.uri().path()) {
        
        (&Method::POST, "/classify") => {
            let buf = hyper::body::to_bytes(req.into_body()).await?;
            let flat_img = WasmEdge_tensorflow_interface::load_jpg_image_to_rgb8(&buf, 224, 224);

            let mut session = WasmEdge_tensorflow_interface::Session::new(&model_data, WasmEdge_tensorflow_interface::ModelType::TensorFlowLite);
            session.add_input("input", &flat_img, &[1, 224, 224, 3])
                .run();
            let res_vec: Vec<u8> = session.get_output("MobilenetV1/Predictions/Reshape_1");
            ... ...
            
            let mut label_lines = labels.lines();
            for _i in 0..max_index {
              label_lines.next();
            }
            let class_name = label_lines.next().unwrap().to_string();

            Ok(Response::new(Body::from(format!("{} is detected with {}/255 confidence", class_name, max_value))))
        }

        // Return the 404 Not Found for other routes.
        _ => {
            let mut not_found = Response::default();
            *not_found.status_mut() = StatusCode::NOT_FOUND;
            Ok(not_found)
        }
    }
}

在本文的最后，我们将讨论如何向 Rust 微服务添加更多功能，例如数据库客户端和 Web 服务客户端。

Node.js 中的一个简单的微服务

虽然基于 Rust 的微服务轻巧快速，但并不是每个人都是 Rust 开发者（目前）。如果更熟悉 JavaScript，你仍然可以充分利用 WasmEdge 在边缘云中的安全性、性能、占用空间小和可移植性！具体来说，可以使用 node.js API 为 WasmEdge 创建微服务！

对于 Node.js 应用程序，WasmEdge 占用空间小于 15MB。相比之下，标准 Node.js Linux 镜像超过 150MB。

从 WasmEdge + node.js 的 slim Docker 镜像开始，运行以下两个 CLI 命令，创建并部署一个 fly.io 应用。

$ flyctl launch --image juntaoyuan/flyio-nodejs-echo
$ flyctl deploy

好了！可以使用 curl 命令来测试部署的 Web 服务是否真的有效。它会回显你发布给它的任何数据。

$ curl https://solitary-snowflake-1159.fly.dev -d "Hello WasmEdge for Node.js on fly.io!"
Hello WasmEdge for Node.js on fly.io!

juntaoyuan/flyio-nodejs-echo Docker 镜像的 Dockerfile 包含 WasmEdge runtime 、QuickJS runtime WasmEdge_quickjs.wasm、node.js 模块的完整包和 Web 服务应用程序 node_echo.js。

FROM WasmEdge/slim-runtime:0.11.0
ADD WasmEdge_quickjs.wasm /
ADD node_echo.js /
ADD modules /modules
CMD ["WasmEdge", "--dir", ".:/", "/WasmEdge_quickjs.wasm", "node_echo.js"]

node_echo.js 应用程序的完整 JavaScript 源代码如下。很明显，它仅使用标准 node.js API 来创建一个异步 HTTP 服务器，该服务器回显 HTTP 请求正文。

import { createServer, request, fetch } from 'http';

createServer((req, resp) => {
  req.on('data', (body) => {
    resp.end(body)
  })
}).listen(8080, () => {
  print('listen 8080 ...\n');
})

WasmEdge 的 QuickJS 引擎不仅提供 node.js 支持，还提供 Tensorflow 推理支持。我们将 Rust TensorFlow 和 WASI-NN SDK 封装到 JavaScript API 中，以便 JavaScript 开发者可以轻松创建 AI 推理应用程序。

边缘的状态微服务

使用 WasmEdge，还可以创建由数据库支持的有状态微服务。此 GitHub 代码库包含 WasmEdge 应用程序中基于 tokio 的 non-blocking 数据库客户端的示例。

MySQL client 允许 WasmEdge 应用程序访问大多数云数据库。
WasmEdge 应用程序可以使用anna-rs 作为边缘缓存或者数据库。

现在，快快使用 WasmEdge SDK 和 runtime 在边缘云上构建各种 Web 服务吧。已经迫不及待地想看到你的成果了！