当SRS遇到K8s:快速构建高并发直播集群

本文来自流媒体直播集群SRS的官方wiki（https://github.com/ossrs/srs/wiki/v4_CN_K8s），由SRS的创始作者杨成立授权发布。

文 / 杨成立

本章描述了如何基于K8s构建EdgeCluster实现高并发流媒体播放。

EdgeCluster实现了合并回源，对于某一路流，不管有多少客户端播放，EdgeServer都只会从OriginServer取一路流，这样可以通过扩展EdgeCluster来增加支持的播放能力，也就是CDN网络具备的重要能力：高并发。

Note: Edge Cluster根据客户端播放的协议不同，可以分为RTMP Edge Cluster或HTTP-FLV Edge Cluster，详细请参考相关Wiki。

对于自建源站，没有那么多播放量，为何不建议使用SRS单源站直接提供服务，而要用EdgeCluster呢？主要场景分析如下：

• 防止Origin过载，即使推流非常少而且播放的流也不多，比如自建源站后使用CDN回源，在多家CDN回源时，也可能一个CDN一条流会有多个回源连接。使用Edge能保护Origin不因为回源造成Origin问题，最多就是某些Edge被回源打挂。
• 可以使用多个Edge Cluster（只需要再加srs-edge-service就可以），对外用不同的SLB暴露，可以针对每个SLB限流，防止CDN之间互相干扰。这样能保证某些CDN是可用的，而不是Origin挂了后所有CDN都不可用。
• 分离Origin关键业务，将下行流媒体分发业务交给Edge Cluster，Origin可以做切片、DVR、鉴权等关键业务，避免业务之间互相干扰。

在这个场景下，对比K8s和传统使用方式的差异：

Step1: 创建一个无状态应用k8s deployment，运行SRSOrigin Server和Nginx，HLS写入共享Volume：

cat <<EOF | kubectl apply -f -

apiVersion: v1

kind: Service

metadata:

  name: srs-internal-origin-service

spec:

  type: ClusterIP

  selector:

    app: srs-origin

  ports:

  - name: srs-internal-origin-service-1935-1935

    port: 1935

    protocol: TCP

    targetPort: 1935

EOF

Step2: 创建一个服务k8s service，基于ClusterIP提供Origin服务，供EdgeServer调用：

cat <<EOF | kubectl apply -f -

apiVersion: v1

kind: Service

metadata:

  name: srs-internal-origin-service

spec:

  type: ClusterIP

  selector:

    app: srs-origin

  ports:

  - name: srs-internal-origin-service-1935-1935

    port: 1935

    protocol: TCP

    targetPort: 1935

EOF

Note: Origin Server在集群内部提供流媒体源站服务，内部域名为srs-internal-origin-service，EdgeServer会通过该域名连接到OriginServer。

Step3: 创建一个服务k8s service，基于SLB提供HTTP服务，Nginx对外提供HLS服务：

cat <<EOF | kubectl apply -f -

apiVersion: v1

kind: Service

metadata:

  name: srs-http-service

spec:

  type: LoadBalancer

  selector:

    app: srs-origin

  ports:

  - name: srs-http-service-80-80

    port: 80

    protocol: TCP

    targetPort: 80

EOF

Note: Nginx通过SharedVolume读取SRSOrigin生成的切片，对外提供HLS服务。

Note: 这里我们选择ACK自动创建SLB和EIP，也可以手动指定SLB，参考指定购买的SLB和EIP。

Step4: 创建一个配置k8s ConfigMap，存储了SRSEdge Server使用的配置文件：

cat <<EOF | kubectl apply -f -

apiVersion: v1

kind: ConfigMap

metadata:

  name: srs-edge-config

data:

  srs.conf: |-

    listen              1935;

    max_connections     1000;

    daemon              off;

    http_api {

        enabled         on;

        listen          1985;

    }

    http_server {

        enabled         on;

        listen          8080;

    }

    vhost __defaultVhost__ {

        cluster {

            mode            remote;

            origin          srs-internal-origin-service;

        }

        http_remux {

            enabled     on;

        }

    }

EOF

Note: Edge Server的配置中，通过Service注册的内部域名srs-internal-origin-service，连接到OriginServer。

Step5: 创建一个无状态应用k8s deployment，运行多个SRSEdge Server：

cat <<EOF | kubectl apply -f -

apiVersion: apps/v1

kind: Deployment

metadata:

  name: srs-edge-deployment

  labels:

    app: srs-edge

spec:

  replicas: 3

  selector:

    matchLabels:

      app: srs-edge

  template:

    metadata:

      labels:

        app: srs-edge

    spec:

      volumes:

      - name: config-volume

        configMap:

          name: srs-edge-config

      containers:

      - name: srs

        image: ossrs/srs:3

        imagePullPolicy: IfNotPresent

        ports:

        - containerPort: 1935

        - containerPort: 1985

        - containerPort: 8080

        volumeMounts:

        - name: config-volume

          mountPath: /usr/local/srs/conf

EOF

Step6: 创建一个服务k8s service，Edge Cluster基于SLB对外提供流媒体服务：

cat <<EOF | kubectl apply -f -

apiVersion: v1

kind: Service

metadata:

  name: srs-edge-service

spec:

  type: LoadBalancer

  selector:

    app: srs-edge

  ports:

  - name: srs-edge-service-1935-1935

    port: 1935

    protocol: TCP

    targetPort: 1935

  - name: srs-edge-service-1985-1985

    port: 1985

    protocol: TCP

    targetPort: 1985

  - name: srs-edge-service-8080-8080

    port: 8080

    protocol: TCP

    targetPort: 8080

EOF

Note: 这里我们选择ACK自动创建SLB和EIP，也可以手动指定SLB，参考指定购买的SLB和EIP。

Step7: 大功告成。你可以推拉流了，其中HLS流可以从Nginx(80)播放，RTMP和HTTP-FLV从SRS播放：

• Publish RTMP to rtmp://28.170.32.118/live/livestream
• Play RTMP from rtmp://28.170.32.118/live/livestream
• Play HTTP-FLV from http://28.170.32.118:8080/live/livestream.flv
• Play HLS from http://28.170.32.118/live/livestream.m3u8

Note: 请将上面的EIP换成你自己的，可用命令kubectl get svc/srs-http-service或kubectl get svc/srs-edge-service查看你的EIP。

Note: 如果是自动创建SLB和EIP，那么HLS和RTMP/HTTP-FLV的IP是不一样的，你可以选择手动指定SLB，这两个服务可以用同一个SLB，参考指定购买的SLB和EIP。