自力更生 | 家庭自组服务的 Traefik 反代,大体思路和一些共性问题
编注:本文入选「自力更生」征文活动。本次征文选题灵活,只要围绕「自托管」展开即可,软件推荐、经验分享、技术科普、观点评论均可投稿,入围作品均可获得稿酬、Zeabur 订阅、少数派 PRIME 会员等奖励。了解详情
目前征文投稿已截止,你可以通过 #自力更生 标签查看所有投稿。
相信很多 NAS 玩家都在自家 NAS 里搭建了一些需要在外网访问的服务。如媒体管理软件radarr/sonarr/nastools,媒体播放 emby/plex,下载软件 qb 等等。这些服务如果自己有公网 IP 或可以通过 v6 网络访问,则要比搭建 VPN 穿透回来方便得多。家庭网络搭建反代有一些问题比较棘手,常见的比如 80/443 一般都是封禁的,就为了下个电影去备案似乎也得不偿失,所以一般都会采用高位端口进行反代。
之前我一直采用 SWAG - LinuxServer.io 来做反代,这实际上是一个 nginx 反代服务器+cerbot证书注册打包服务,包含了一些常用 selfhosted 服务的配置模板。但是,如刚才所说,由于家庭网络的特殊性,某些服务在访问带端口号的地址时会有些莫名其妙的问题,且每次新添服务都要重新配置一番。相比之下 Traefik 功能则更为强大,且可以通过 docker label配置选项,docke r 启动自动反代,索性花了点时间研究下 Traefik 配置,一劳永逸的解决这个问题。
这里不得不吐槽 Traefik Proxy Documentation 真是写的又臭又长又迷惑,且中文资料不多。所以配置过程中可能少不了Google解决一些问题,另外 reddit Traefik 板块还比较活跃,一些共性问题都可以直接找到,实在不行还可以发帖询问。
Traefik 整体架构
Traefik 是一个为了让部署微服务更加便捷而诞生的现代 HTTP 反向代理、负载均衡工具。 它支持多种后台来自动化、动态配置文件设置,它是一个边缘路由器,它会拦截外部的请求并根据逻辑规则选择不同的操作方式,规则决定着这些请求到底该如何处理。Traefik 提供自动发现能力,会实时检测服务,并自动更新路由规则。
![](https://cdnfile.sspai.com/2024/06/21/fad88fdea39b299b3a4a6be83bc5efa4.png?imageView2/2/w/1120/q/40/interlace/1/ignore-error/1)
上图为Traefik核心组件结构。请求首先由到Entrypoints
到达,然后分析传入的请求,查看他们是否与定义的 Routers
匹配。如果匹配,则会通过一系列 middlewares
处理,再到 Services
上做流量转发。实际上就是很简单的流入-处理-流出的过程。
所以,必不可少的三个核心组件为:
- Entrypoints 是 Traefik 的网络入口,它定义接收请求的接口,包括请求地址、端口、是否监听TCP或者UDP等。
- Routers 顾名思义,就是转发,主要用于分析请求,并负责将这些请求连接到对应的服务上去,在这个过程中,Routers 还可以使用 Middlewares 来更新请求,比如在把请求发到服务之前添加一些 Headers、添加验证、修改路径等等。
- Services 负责配置如何到达最终将处理传入请求的实际服务。
另外,需要额外关注的两个可选组件:
- Providers 是基础组件,Traefik 的配置发现是通过它来实现的,它可以是协调器,容器引擎,云提供商或者键值存储文件(yaml 或 toml)。Traefik 通过查询
Providers
的API
来查询路由的相关信息,一旦检测到变化,就会动态的更新路由。比如你用docker就可以配置好跟 Traefik 相关的 label,docker 启动时就可以自动转发。 - Middlewares 用来修改请求或者根据请求来做出一些判断(authentication, rate limiting, headers, …),中间件要附加到路由上,是一种在请求发送到你的service之前(或者在服务的响应发送到客户端之前)调整请求的一种方法。
还有一点需要说明白的是,针对 docker 作为后端的 Traefik 的配置可以通过两种渠道(实际上还可以通过命令行,但没必要),一是编写配置文件(可以 yaml 或 toml 格式),二是通过配置 docker label。区别在于有一些配置可以通过 docker 自动更新,不必重新改配置文件,但有些如静态配置或非docker的后端服务则只能通过配置文件完成。具体可参考 Traefik Configuration Documentation - Traefik.
配置分享
由于每个人的网络和服务器状况都不一样,个人觉得手把手的那种教程没什么意义,这里就结合我的配置实例说明下大致该怎么配置。
Traefik 配置
首先我是用 docker-compose 维护我所有容器,这里提供我的 Traefik 配置供参考:
services:
traefik:
image: traefik:latest
restart: always
ports:
# 可以通过路由器映射到外网的高位端口如23333,8080端口是web界面
- "443:443"
- "7080:8080"
volumes:
- /var/run/docker.sock:/var/run/docker.sock # 访问docker
- /path/to/traefik:/etc/traefik #配置文件所在目录
environment:
# 这里我用的阿里云域名解析,注册证书用,这里通过环境变量设置,不考虑安全问题的话可以直接写在里面
- "ALICLOUD_ACCESS_KEY=${ALICLOUD_ACCESS_KEY}"
- "ALICLOUD_SECRET_KEY=${ALICLOUD_SECRET_KEY}"
- "ALICLOUD_REGION_ID=cn-beijing"
extra_hosts:
# /etc/hosts里会添加 172.17.0.1 host.docker.internal,可以发现host网络下的docker
- "host.docker.internal:host-gateway"
然后是 Traefik 的配置文件,我用的是 yaml 格式:
global:
checkNewVersion: true
sendAnonymousUsage: true
entryPoints:
websecure:
address: :443
asDefault: true #这默认为false,即所有router如不指定则同时接收所有entrypoints,true则只默认接收该entrypoint
# 自动注册和更新证书
certificatesResolvers:
lets:
acme:
email: [email protected]
storage: /etc/traefik/acme/acme.json
dnsChallenge:
provider: alidns
delayBeforeCheck: 0
resolvers:
- "dns13.hichina.com"
- "dns14.hichina.com"
# traefik日志
log:
level: INFO
filePath: /etc/traefik/log.json
format: common
maxAge: 3
# 访问日志,会越来越大,可通过logrotate控制,
accessLog:
filePath: /etc/traefik/access.json
format: json
bufferingSize: 100
# 启用traefik面板
api:
insecure: true
dashboard: true
# 发现服务配置,这里主要是docker,redis作用见后文
providers:
docker:
endpoint: "unix:///var/run/docker.sock"
defaultRule: 'Host(`{{ (split "-" .Name)._0 }}.xxx.xxx`)'
redis:
endpoints:
- 192.168.1.4:6379 # 如果redis和traefik在一台服务器上,只需要指定redis的容器名称:端口即可
# 动态配置文件,一些其他服务通过文件写在里面
file:
directory: "/etc/traefik/dynamic"
服务实例
通过 docker label 配置示例:
services:
portainer:
image: portainer/portainer-ce:latest
command: -H unix:///var/run/docker.sock
restart: unless-stopped
ports:
- 9000:9000
- 8000:8000
volumes:
- /etc/localtime:/etc/localtime:ro
- /var/run/docker.sock:/var/run/docker.sock
labels:
- "traefik.enable=true" # 默认true,如果不需要反代设置为false
- "traefik.http.services.portainer.loadbalancer.server.port=9000" # 如果映射了多个端口,需要指定反代到后端的端口
- "traefik.http.routers.portainer.tls=true" # 指定tls,则只接收https流量忽略http流量
- "traefik.http.routers.portainer-http.middlewares=http2https@file" # http转https中间件
# - "traefik.http.routers.portainer-http.service=portainer@docker"
# 如果不希望跳转,则将router的service设置到对应项即可
通过动态文件配置:
http:
# 两个router,分别接收http和https
routers:
qb:
service: qb
rule: Host(`qb.xxx.xxx`)
# 通过中间件跳转到https
middlewares:
- http2https
qbhttps:
service: qb
rule: Host(`qb.xxx.xxx`)
# 指定tls,则只接收https流量忽略http流量
tls: true
middlewares:
http2https:
redirectscheme:
scheme: https
permanent: true
# 这里设置为映射到路由器wan的端口
port: 23333
services:
qb:
loadBalancer:
servers:
- url: http://192.168.1.3:8080
需要说明的问题
关于 https 跳转
跟一般网站配置方式不同的是, 由于 ISP 封禁 443/80 端口,这里通过路由器将 23333 端口同时接收 http和 https 流量,这样所有访问都要显式指定端口号,则无法通过 Traefik EntryPoints Documentation - Traefik 中的方式在入口处即实现 http 跳转 https:
# 封禁443和80端口后此配置不可用
entryPoints:
web:
address: :80
http: redirections:
entryPoint:
to: websecure
scheme: https
websecure:
address: :443
http:
tls:
certResolver: leresolver
因此,需要给每个service指定两个router,分别接收http和https流量,并在http流量后设置middleware实现跳转,需要注意跳转端口设置为路由器转发到WAN的端口。如果不希望跳转,则将router的service设置到对应项即可。
非集群的多服务器反代
家庭网络一般很少人会用到集群,且比如emby/plex这样用到显卡加速的容器也无法配置集群。但有可能会有多个主机的情况,比如我就把homeassistant和Traefik跑在树莓派里,跟多媒体相关的内容则跑在NAS里。这里如果一个个手写反代配置则比较麻烦了,可以使用Traefik-kop实现自动反代到其他服务器。
Traefik-kop是实现docker-redis-Traefik自动发现的代理程序,解决了不需要集群的多主机Traefik反代问题。实现了跟Traefik相同的配置逻辑,即通过label方式实现动态反代。该程序将label内容发布到redis,因此Traefik端只要在provider处提供redis地址即可得到需要反代的程序配置。
![](https://cdnfile.sspai.com/2024/06/21/d51714f4182263fa169f6903c265f04d.png?imageView2/2/w/1120/q/40/interlace/1/ignore-error/1)
有一个需要注意的点是,文档中的例子是 redis 和 Traefik 在一台服务器上,因此只需要指定 redis 容器名称则完成反代,如果你像我一样将其布置在另一台服务器,则需要指定 ip 地址。
redis:
endpoints:
- 192.168.1.4:6379 # 如果redis和traefik在一台服务器上,只需要指定redis的容器名称:端口即可
其他需要说明一下的问题
- 如果有用到 host 网络的容器,则需要给 Traefik 容器添加
extra_hosts
配置,在容器运行后,会在容器的/etc/hosts
里会添加172.17.0.1 host.docker.internal
,这样 Traefik 就可以发现 host 网络下的docker。 - Traefik 的访问日志,会越来越大,可通过 logrotate 控制,参考 How to enable logrotation for Traefik? - Stack Overflow。
- 如果容器只映射一个端口到宿主机,可以不指定转发端口,如果映射了多个端口,则需要显式指定要转发的端口。
- 采用 dnsChallenge 的证书可以注册 wildcard,如采用其他方式可能需要给每个子域名指定一些参数,这里由于我没用到,没详细研究。
总结
总体来说,作为一款轻量化的边缘路由程序,Traefik 给家庭自组服务器做反代还是挺合适的,之前一直对繁复的配置方式望而却步,仔细研究一番发现其实也没有很复杂,善用网络搜索,大部分问题都可以迎刃而解,希望我的文章可以对你有所帮助!