Nginx 可以使用以下方式进行反爬虫配置：
1. 配置用户代理（User-Agent）限制：使用 Nginx 的 `map` 指令创建一个映射表，将常见的爬虫用户代理字符串与 `1` 关联起来，并将其他用户代理字符串与 `0` 关联起来。然后，使用 `if` 指令来检查用户代理是否匹配爬虫字符串，如果匹配，可以返回 403 Forbidden 或者其他自定义错误页面。
```nginx
map $http_user_agent $is_crawler {
default 0;
~*(googlebot|bingbot|yahoo) 1;
}
server {
...
if ($is_crawler) {
return 403;
}
...
}
```2. 配置频率限制：使用 Nginx 的 `limit_req_zone` 指令，创建一个限制区域，指定每个 IP 的访问频率限制，可以结合 `limit_req` 指令设置访问限制策略。例如，以下配置将每秒允许每个 IP 的请求次数限制为 10，超过限制的请求将返回 503 Service Temporarily Unavailable。
```nginx
http {
...
limit_req_zone $binary_remote_addr zone=spider_rate_limit:10m rate=10r/s;
server {
...
location / {
limit_req zone=spider_rate_limit burst=20;
...
}
}
}
```3. 配置 IP 黑名单：使用 Nginx 的 `deny` 指令将恶意访问 IP 添加到黑名单中，拒绝其访问。
```nginx
http {
...
server {
...
location / {
deny 123.456.789.0;
...
}
}
}
```这些配置可以根据实际情况进行调整和组合，以提高反爬虫效果。请注意，这些配置并不能完全阻止所有的爬虫，高级爬虫仍然可以绕过这些配置。因此，综合使用其他技术手段，如验证码、限制并发连接数等，可以提高反爬虫的效果。