本地启动 Falcon-180B

通过 Gradio 的 load 函数，我们可以在本地加载 HuggingFace 的 Spaces 上面的 demo。

那就运行 Falcon-180B 来试试吧。

创建 falcon_demo.py 文件，

cat << EOF > falcon_demo.py
import gradio as gr

demo = gr.load(
    "tiiuae/falcon-180b-demo",
    src="spaces",
)

if __name__ == "__main__":
    demo.queue().launch(server_port=7861)
EOF

启动 falcon_demo.py，运行下面命令，

python falcon_demo.py

使用浏览器打开 http://127.0.0.1:7861/，访问 Falcon-180B，

问它几个问题试一试，发现会有回答中断的问题。

完结！