利用KubeEdge在A500部署边缘推理任务

利用KubeEdge在A500部署边缘推理任务

利用KubeEdge在A500部署边缘推理任务

1 环境介绍

表1-1 环境版本

序号

资源项

资源名称

1

云端Master

2288H V5 X86

2

边缘端

A500 3000

3

云端操作系统

Ubuntu 18.04.5

4

边缘端操作系统

Euler2.8

5

边缘端CANN软件版本

20.1

6

kubernetes

1.17.3

7

KubeEdge版本

1.7.2

 

 

2 云端环境部署

2.1 master节点安装Dockerk8S (ubuntu)

2.1.1 安装前准备

1.安装需要的包

sudo apt install apt-transport-https ca-certificates software-properties-common curl

 

2.添加 谷歌GPG 密钥

本地使用安全PC的谷歌浏览器(proxyhk.huawei.com:8080 代理),直接访问下面的网址,下载apt-key.gpg文件,https://packages.cloud.google.com/apt/doc/apt-key.gpg,并将apt-key.gpg文件上传到master节点的任意文件夹,执行apt-key add apt-key.gpg

        注:若无法下载,也可以从(https://github.com/liaohang122/test)获取。

3.配置Source list,可以使用阿里的源

cat /etc/apt/sources.list

deb http://mirrors.aliyun.com/ubuntu/ bionic main restricted universe multiverse

deb http://mirrors.aliyun.com/ubuntu/ bionic-security main restricted universe multiverse

deb http://mirrors.aliyun.com/ubuntu/ bionic-updates main restricted universe multiverse

deb http://mirrors.aliyun.com/ubuntu/ bionic-proposed main restricted universe multiverse

deb http://mirrors.aliyun.com/ubuntu/ bionic-backports main restricted universe multiverse

deb-src http://mirrors.aliyun.com/ubuntu/ bionic main restricted universe multiverse

deb-src http://mirrors.aliyun.com/ubuntu/ bionic-security main restricted universe multiverse

deb-src http://mirrors.aliyun.com/ubuntu/ bionic-updates main restricted universe multiverse

deb-src http://mirrors.aliyun.com/ubuntu/ bionic-proposed main restricted universe multiverse

deb-src http://mirrors.aliyun.com/ubuntu/ bionic-backports main restricted universe multiverse

 

#deb http://repo.huaweicloud.com/ubuntu/ bionic main multiverse restricted universe

#deb http://repo.huaweicloud.com/ubuntu/ bionic-backports main multiverse restricted universe

#deb http://repo.huaweicloud.com/ubuntu/ bionic-proposed main multiverse restricted universe

#deb http://repo.huaweicloud.com/ubuntu/ bionic-security main multiverse restricted universe

#deb http://repo.huaweicloud.com/ubuntu/ bionic-updates main multiverse restricted universe

#deb-src http://repo.huaweicloud.com/ubuntu/ bionic main multiverse restricted universe

#deb-src http://repo.huaweicloud.com/ubuntu/ bionic-backports main multiverse restricted universe

#deb-src http://repo.huaweicloud.com/ubuntu/ bionic-proposed main multiverse restricted universe

#deb-src http://repo.huaweicloud.com/ubuntu/ bionic-security main multiverse restricted universe

#deb-src http://repo.huaweicloud.com/ubuntu/ bionic-updates main multiverse restricted universe

     

kubeEdge安装使用中科大的镜像源

      echo "deb http://mirrors.ustc.edu.cn/kubernetes/apt kubernetes-xenial main" \

                  > /etc/apt/sources.list.d/kubernetes.list

4.配置外网代理

export http_proxy=http://username:passwd@proxyhk.huawei.com:8080

export https_proxy=http:// username:passwd @proxyhk.huawei.com:8080

export ftp_proxy=http:// username:passwd@proxyhk.huawei.com:8080

export no_proxy="10.71.xx.xx,127.0.0.1,.huawei.com,localhost,local,.local"

注意:本地节点的IP地址要配置到no_proxy中,否则后面kubeadm init的时候会出现错误。

2.1.2 安装docker kubeadm

apt-get update

apt-get install -y docker.io

apt-get  install -y kubelet=1.21.3-00 kubeadm=1.21.3-00 kubectl=1.21.3-00 --allow-downgrades

在上述安装 kubeadm 的过程中,docker 和kubeadm、 kubelet、kubectl 这几个二进制文件都会被自动安装好,安装kubeadm的时候,最好指定版本安装,本次是以1.17.3为例。安装前可以使用下面的命令查看可以安装的版本好:

apt-cache madison kubectl| grep 1.17

安装好之后,可以通过kubeadm version 查看版本号。  

 

设置开机自启动并启动 Docker(安装成功后默认已设置并启动,可忽略)

 systemctl enable docker
 systemctl start docker

2.1.3 配置daemon.json

注意:要把红色部分加入进去,否则下载镜像的时候,证书校验一般校验都无法通过。

vim /etc/docker/daemon.json

{
"registry-mirrors": [
"https://dockerhub.azk8s.cn",
"https://docker.mirrors.ustc.edu.cn",
"http://hub-mirror.c.163.com" ,

"https://k8s.gcr.io",

"https://github-releases.githubusercontent.com"
],
"insecure-registries": [
"rnd-dockerhub.huawei.com",
"docker-hub.tools.huawei.com",
"registry.me:5000",
"http://docker.mirrors.ustc.edu.cn",

"https://k8s.gcr.io",

"https://github-releases.githubusercontent.com"
],
"exec-opts": [
"native.cgroupdriver=systemd"
]
}

2.1.4 docker配置代理

mkdir -p /etc/systemd/system/docker.service.d

vim /etc/systemd/system/docker.service.d/http-proxy.conf

[Service]
Environment="HTTP_PROXY=http://username:passwd@proxyhk.huawei.com:8080"
Environment="HTTPS_PROXY=http:// username:passwd@proxyhk.huawei.com:8080"

systemctl daemon-reload

systemctl restart docker

查看docker代理

systemctl show --property=Environment docker

查看docker配置

docker info

2.1.5 其他配置

步骤1 关闭虚拟内存和防火墙。

l   关闭虚拟内存

内存关闭

swapoff -a

修改配置:

关闭fstab swap配置,修改/etc/fstab,注释swap文件系统挂载配置。

swapoff -a

 

重启操作系统使配置生效

l   关闭防火墙

 编辑文件/etc/sysconfig/selinux和/etc/selinux/config

  修改参数SELINUX的值为disabled(SELINUX=disabled)

systemctl stop firewalld.service

systemctl disable firewalld.service

firewall-cmd –state

Ubuntu关闭防火墙命令为:

ufw disable

 

 允许包转发

vi /etc/sysctl.d/k8s.conf  添加如下行

net.bridge.bridge-nf-call-ip6tables = 1

net.bridge.bridge-nf-call-iptables = 1

 

执行modprobe br_netfilter

步骤2修改主机名,防止与集群中其他机器同名。

hostnamectl set-hostname train0    train0为主机名

同时在/etc/hosts添加如下行

 

Source /etc/hosts

安装过程中遇到的一些问题请参考5 FAQ

2.1 Master节点配置

2.1.1 初始化master节点

执行kubeadm init ,可以指定版本 kubeadm init

kubeadm init --kubernetes-version=v1.17.3 --pod-network-cidr=192.168.0.0/16 --apiserver-advertise-address=$masterIP

masterIP:用本机IP替换。

参数中192.168.0.0/16跟后续的Pod network add-on相关,这里我们选择的是Calico,详细信息可以参见官方文档:https://kubernetes.io/docs/setup/production-environment/tools/kubeadm/create-cluster-kubeadm/

关于kubeadm init时的参数说明同样可参考上述链接。

 

----结束

2.1.2 配置k8s网络

                                步骤 1     配置k8s apiserver访问公钥。

mkdir -p $HOME/.kube

cp -i /etc/kubernetes/admin.conf $HOME/.kube/config

chown $(id -u):$(id -g) $HOME/.kube/config

                                步骤 2     安装网络插件,查看node信息。

kubectl get node

输出STATUS为NotReady,原因是没有安装网络插件。

 

                                步骤 3     部署calico插件。

  1. 离线部署

l   X86架构

docker load -i cni.tar.gz

docker load -i kube-controllers.tar.gz

docker load -i node.tar.gz

docker load -i pod2daemon-flexvol.tar.gz

kubectl apply -f https://docs.projectcalico.org/v3.20/manifests/(手动下好再装 此步必须

注意一下这里calico的版本号与k8s有关联关系,K8S1.22.0的版本号要配套3.20calico.yaml

l   ARM架构

待补充

  1. 在线部署

kubectl apply -f https://docs.projectcalico.org/v3.20/manifests/calico.yaml(手动下好再装)

当发现所有Pod都docker已经变为Running状态,表示master节点已经安装成功。

kubectl get pods -n kube-system

这里calico.yaml需要从镜像仓下载,可能由于下载速度慢,导致查看pod时遇到ImagePullBackOff的问题,可以尝试手动拉取镜像。

docker pull calico/cni:v3.20.0

docker pull calico/node:v3.20.0

docker pull calico/kube-controllers:v3.20.0

docker pull calico/pod2daemon-flexvol:v3.20.0

 

如果calico还是跑不起来,可以kubectl describe 查看一下状态。

 

这里是因为使用kubeadm初始化的集群,出于安全考虑Pod不会被调度到Master Node上,也就是说Master Node不参与工作负载,需要解除master节点的隔离。

另外,需要检查一下calico.yaml的版本是否正确,K8S 1.17.3版本,最好配套比较新的版本,可以从

----结束

2.1.3 解除master隔离

默认情况下,集群中创建的所有资源(如Pods)并不会被部署到master节点上,但是在我们的开发或者测试环境中,经常只有一个master节点或者并不想浪费master节点的可用空间,这时可以使用如下命令解除master隔离的限制。

kubectl taint nodes --all node-role.kubernetes.io/master-  

验证是否成功:

kubectl get pods -n kube-system

 

所有pod都应该能跑起来了,查看master节点

kubectl get node

 

2.2 KubeEdge安装

Kubeedge安装方法有两种,一种是下载最新的代码编译出cloudcore和edgecore,另外一种是直接下载社区上的发布版本。

2.3 方法一:采用编译方式

1)下载golang

[root@ke-cloud ~]# wget https://golang.google.cn/dl/go1.14.4.linux-arm64.tar.gz

[root@ke-cloud ~]# tar -zxvf go1.14.4.linux-arm64.tar.gz -C /usr/local

2)配置golang环境

vim /etc/profile

文件末尾添加:

# golang env

export GOROOT=/usr/local/go

export GOPATH=/data/gopath

export PATH=$PATH:$GOROOT/bin:$GOPATH/bin

source /etc/profile

mkdir -p /data/gopath && cd /data/gopath

mkdir -p src pkg bin

3)下载KubeEdge源码,并编译cloudcore、edgecore

git clone https://github.com/kubeedge/kubeedge $GOPATH/src/github.com/kubeedge/kubeedge

cd $GOPATH/src/github.com/kubeedge/kubeedge

make all WHAT=keadm

说明:编译后的二进制文件在./_output/local/bin下,单独编译cloudcore与edgecore的方式:make all WHAT=cloudcore && make all WHAT=edgecore

注意:这里编译出来的kubeadm和edgecore版本,都是x86版本,传到A500上是不能使用的,因此可以考虑在arm服务器上编译,或者直接到库上获取发布版本。

cp cloudcore /usr/local/bin

# 将edgecore拷贝至边缘端

scp edgecore root@edgeip:/usr/local/bin/

4)添加设备

kubectl apply -f $GOPATH/src/github.com/kubeedge/kubeedge/build/crds/devices/devices_v1alpha2_device.yaml

kubectl apply -f $GOPATH/src/github.com/kubeedge/kubeedge/build/crds/devices/devices_v1alpha2_devicemodel.yaml

kubectl apply -f $GOPATH/src/github.com/kubeedge/kubeedge/build/crds/reliablesyncs/cluster_objectsync_v1alpha1.yaml

kubectl apply -f $GOPATH/src/github.com/kubeedge/kubeedge/build/crds/reliablesyncs/objectsync_v1alpha1.yaml

5)创建证书文件

# 清除已有的密钥

kubectl delete secret casecret –nkubeedge

kubectl delete secret cloudcoresecret -nkubeedge [y1] 

生成证书文,存放在/etc/kubeedge/目录下ca、certs,将其传到edge端相同目录(提前创建好)

mkdir -p /etc/kubeedge/config

$GOPATH/src/github.com/kubeedge/kubeedge/build/tools/certgen.sh genCertAndKey server

6)部署cloudcore服务

cd /etc/kubeedge/config (yaml必须放在此目录,否则服务起不来)

cloudcore --minconfig >cloudcore.yaml 创建配置文件

进入 cloudcore.service目录

cd $GOPATH/src/github.com/kubeedge/kubeedge/build/tools

vim cloudcore.service

# 将cloudcore的路径修改为真实路径

 

cp cloudcore.service /lib/systemd/system/

systemctl enable cloudcore

systemctl start cloudcore

systemctl status cloudcore

如果服务启动失败,单独执行cloudcore --config cloudcore.yaml查看具体日志

 

# 将edgecore.service传至边缘端

scp edgecore.service root@192.168.2.3:/lib/systemd/system/

2.4 方法二:从库上下载的方式

可以直接到发布库上获取对应架构版本的keadm,cloudcore,edgecore版本,

https://github.com/kubeedge/kubeedge/releases/tag/v1.7.2

除了不用编译,其他操作跟方法一是一致的。

 

3 边缘端环境部署

3.1 安装yum

参考如下链接操作即可:

Atlas500 的EulerOS安装yum (http://xxx.com/km/blogs/details/11490285)

安装完成后,需要部署epel的镜像仓位置,用你我司的镜像仓就可以了。参见附件:

修改如下两个文件,如果没有就新建文件

/etc/yum.repos.d/EulerOS.repo

cat EulerOS.repo

[base]

name=EulerOS-2.0SP8 base

baseurl=http://repo.huaweicloud.com/euler/2.8/os/aarch64/

enabled=1

gpgcheck=1

gpgkey=http://repo.huaweicloud.com/euler/2.8/os/RPM-GPG-KEY-EulerOS

 

epel.repo

 [epel]

name=Extra Packages for Enterprise Linux 7 - $basearch

baseurl=http://mirrors.tools.huawei.com/epel/7/$basearch

#metalink=https://mirrors.fedoraproject.org/#metalink?repo=epel-7&arch=$basearch&infra=$infra&content=$contentdir

failovermethod=priority

enabled=1

gpgcheck=1

gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-EPEL-7

 

[epel-debuginfo]

name=Extra Packages for Enterprise Linux 7 - $basearch - Debug

baseurl=https://mirrors.tools.huawei.com/epel/7/$basearch/debug

#metalink=https://mirrors.fedoraproject.org/#metalink?repo=epel-debug-7&arch=$basearch&infra=$infra&content=$contentdir

failovermethod=priority

enabled=0

gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-EPEL-7

gpgcheck=1

 

[epel-source]

name=Extra Packages for Enterprise Linux 7 - $basearch - Source

baseurl=https://mirrors.tools.huawei.com/epel/7/SRPMS

#metalink=https://mirrors.fedoraproject.org/#metalink?repo=epel-source-7&arch=$basearch&infra=$infra&content=$contentdir

failovermethod=priority

enabled=0

gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-EPEL-7

gpgcheck=1

3.2 安装Docker

Atlas500自带docker安装,无需安装

3.3 部署edgecore

1)修改主机名

主机名必须为小写字母,从arm环境获取hostnamectl工具(which hostnamectl)

hostnamectl set-hostname euler27

如果没有这个工具也可以直接修改,网上有很多介绍

1、 修改/etc/sysconfig/network中的hostname

2、  修改/etc/hosts文件(IP与主机名对应,DNS解析的时候有用)

3、  修改/etc/hostname

 

2)部署kubeEdge镜像

把前面下载的keadm和edgecore分别解压,并把对应的执行文件放到如下目录

cp keadm /usr/bin

cp keadm /usr/local/bin

 

3)部署edgecore服务

mkdir -p /etc/kubeedge/config && cd /etc/kubeedge/config

edgecore --minconfig > edgecore.yaml

在cloud端执行keadm gettoken获取token

然后在边缘端使用keadm来初始,命令如下:

keadm join --cloudcore-ipport= EDGE_IP:10000 --kubeedge-version=1.7.2  --token=480cba67b95454aacface05d4f612d2c5a9748d2772356f170fcc906e7948ff0.eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJleHAiOjE2MzEzMjEwMzh9.ff5uFhhG6stg-2hqlbzW1SyCaFRJLD5xguAHKGrG-6Y

EDGE_IP就是cloud端的IP地址。

边缘节点加入后,能够在master上看到节点情况,如果状态为ready,说明加入正常

 

一般来说,在过程中都会出现一些问题,需要注意以下问题:

1、  需要配置proxy,proxy配置方法参考2.1.1,这样可以直接拉取镜像。

2、  缺少一些基础库,这种情况可以直接通过yum来安装,比如epel

3、  经常出现的一些问题如FAQ 5.6~8,主要还是代理和证书校验的问题,这些问题解决后,一般可以拉取成功。

3.4 安装和部署deviceplugin

Deviceplugin是昇腾提供的插件,主要用于向K8S master上报NPU相关的信息,如果没有这插件,边缘设备的NPU就无法被调度到。

3.4.1 安装deviceplugin

 

1、下载相关应用并制作容器镜像

边缘部署的时候需要安装plugin,步骤是先下载plugin的应用程序,制作成容器镜像,并使用K8S进行部署。由于A500是arm架构,因此要下载arm版本的程序,并在a500上制作镜像。然后通过master节点部署。

外部用户参考这个地方进行下载,需要进行权限申请,相对比较麻烦。https://www.hiascend.com/software/mindx-dl/download

内部用户可以直接在云龙上下载:https://cmc-szv.clouddragon.huawei.com/cmcversion/index/componentVersionView?deltaId=4744190415405184&isSelect=Software&url_data=MindX%20DL

将Ascend-mindxdl-device-plugin_2.0.2_linux-aarch64.zip解压A500的目录中,使用下面的命令制作容器

docker build -t ascend-k8sdeviceplugin:v2.0.2 .[y2] 

制作容器的时候,容器镜像的名称,需要跟device-plugin-310-v2.0.2.yaml中保持一致,否则部署的时候会出问题

 

制作镜像过程如下:

docker build -t ascend-k8sdeviceplugin:v2.0.2 . (注意后面有个点点)

注意这个build操作,要在A500或者ARM环境上操作,X86的服务器上build出来,架构不一致无法使用。

>/etc/profile"echo'source/etc/profile'>>一/.bashr. 一>Runninginias4b737edlb Removingintermediatecontainerla84b737edlb -一》93ce78c43b07 Successfullybuilt93ce78c43b07 Successfullytaggedascend一kssdeviceplugin:vZ.0.2" style="width:432.75pt;height:189pt;visibility:visible;mso-wrap-style:square">

 

docker images

 

 

如果是本节点使用,这个镜像就可以使用了,如果是还有其他节点需要使用,可以使用dokcer save命令,将镜像保存出来,可以在其他环境使用

docker save -o Ascend-device-plugin_2.0.2_linux-aarch64.tar.gz ascend-k8sdeviceplugin:v2.0.2

   

 

3.4.2 部署deviceplugin

 

部署推理任务参考

https://support.huawei.com/enterprise/zh/doc/EDOC1100207064/3a1c6839

推理任务部署的yaml定义

https://support.huawei.com/enterprise/zh/doc/EDOC1100207064?section=j01d#ZH-CN_TOPIC_0000001144249924

 由于A500的edgecore中有关于npu的上报开关,因此需要打开一下。

vi /etc/kubeedge/config/edgecore.yaml,把devicePluginEnabled这个地方改成true

 

systemctl restart edgecore

systemctl status edgecore

如果edgecore服务启动失败,可以执行edgecore --config edgecore.yaml查看启动日志

 

在cloud侧,对边缘节点打标签

参考链接中的方法,对master和edge节点打标签,https://support.huawei.com/enterprise/zh/doc/EDOC1100207064/ccf79def

标签序号

命令

说明

1

kubectl label nodes主机名称 node-role.kubernetes.io/worker=worker

该命令为识别K8s的计算节点,其中“主机名称”为所有计算节点名。

3

kubectl label nodes 主机名称 accelerator=huawei-Ascend310

该命令为识别昇腾310 AI处理器节点,其中“主机名称”为所有推理节点名。

5

kubectl label nodes 主机名称 masterselector=dls-master-node

该命令为识别MindX DL的管理节点,其中“主机名称”为管理节点名。

6

kubectl label nodes主机名称 workerselector=dls-worker-node

该命令为识别MindX DL的计算节点,其中“主机名称”为所有计算节点名。

7

kubectl label nodes 主机名称 host-arch=huawei-x86

该命令为识别x86架构的节点,其中“主机名称”为所有x86架构的计算节点名。

8

kubectl label nodes 主机名称 host-arch=huawei-arm

该命令为识别ARM架构的节点,其中“主机名称”为所有ARM架构的计算节点名。

 

对于A500,需要修改device-plugin-310-v2.0.2.yaml中如下红色的部分,把hiai-driver的路径修改正确,并上传到cloud侧的任何目录

volumes:

        - name: device-plugin

          hostPath:

            path: /var/lib/kubelet/device-plugins

        - name: hiai-driver

          hostPath:

            path: /home/data/miniD/driver

        - name: log-path

          hostPath:

            path: /var/log/mindx-dl/devicePlugin

            type: Directory

        - name: localtime

 

在cloud侧执行命令,部署deviceplugin

kubectl apply -f device-plugin-310-v2.0.2.yaml

然后再检查边缘侧npu资源能否获取到,在Cloud端执行

kubectl get node

 

kubectl describe node euler27

 

 

4 推理任务下发

4.1 环境准备

安装驱动、固件

按照CANN用户指南手动制作docker镜像,如果有现成的,可以直接导入镜像。

完成后使用docker images查看是否存在

4.2 使用yaml跑通推理任务

编写yaml

apiVersion: batch/v1

kind: Job

metadata:

  name: ke-infer

  #namespace: kube-system

spec:

    template:

      spec:

        nodeSelector:

          accelerator: huawei-Ascend310

        containers:

        - image: ubuntu-a500:v1

          imagePullPolicy: IfNotPresent

          name: ubuntu-a500

          command:

          - "/bin/bash"

          - "-c"

          - "cd /home/test; cd out; ./main"  

          #args: [ "while true; do sleep 30000; done;"  ]           

          resources:

            resources:

            requests:

              huawei.com/Ascend310: 1 

            limits:

              huawei.com/Ascend310: 1  

          volumeMounts:

          - name: ascend-dirver

            mountPath: /home/data/miniD/driver

          - name: slog

            mountPath: /var/log/npu/conf/slog/

          - name: test

            mountPath: /home/test

          - name: npu-smi

            mountPath: /usr/local/bin/npu-smi

          - name: timezone

            mountPath: /etc/timezone

          - name: localtime

            mountPath: /etc/localtime

        volumes:

        - name: ascend-dirver

          hostPath:

            path: /home/data/miniD/driver

        - name: slog

          hostPath:

            path: /var/log/npu/conf/slog/

        - name: test

          hostPath:

            path: /etc/kubeedge/acl_resnet50_sample/

        - name: npu-smi

          hostPath:

            path: /usr/local/bin/npu-smi

        - name: timezone

          hostPath:

            path: /etc/timezone

        - name: localtime

          hostPath:

            path: /etc/localtime

        restartPolicy: OnFailure

启动任务,cloud端执行

kubectl apply -f infer.yaml

查看pod

 

4.3 结果观察

边缘端查看container id,使用docker ps -a

观察推理输出:docker logs -f d44c4be8a32d 

 

4.4 删除推理任务

kubectl delete -f infer.yaml

5 FAQ

5.1 kubeadm init拉取镜像失败,提示证书校验失败

现象:

解决办法:

在配置的时候要把https://k8s.gcr.io加入到免认证的网站列表,否则就需要去配置证书,我们下载的时候可以配置诚免校验。参考: http://xxx.com/km/blogs/details/6314139

 

 cat daemon.json

{

"registry-mirrors": [

"https://dockerhub.azk8s.cn",

"https://docker.mirrors.ustc.edu.cn",

"http://hub-mirror.c.163.com",

"http://mirrors.aliyun.com",

"https://k8s.gcr.io"

],

"insecure-registries": [

"rnd-dockerhub.huawei.com",

"docker-hub.tools.huawei.com",

"registry.me:5000",

"http://docker.mirrors.ustc.edu.cn" ,

"http://mirrors.aliyun.com",

"https://k8s.gcr.io"

 

5.2 kubeadm init拉取镜像失败,提示超时

kubeadm init  --kubernetes-version=1.17.3 --apiserver-advertise-address=10.71.233.24 --pod-network-cidr=192.168.0.0/16 的时候提示超时

 

解决办法:

export no_proxy="10.71.xx.xx,127.0.0.1,.huawei.com,localhost,local,.local"

注意:本地节点的IP地址要配置到no_proxy中,否则后面kubeadm init的时候会出现错误。

 

5.3 calico一直有两个是pending状态

 

解决办法:

calico.yaml的版本不对,要更新到320版本以上

 

5.4 编译keadm的时候,提示go语言版本不对,但是实际已经安装了最新版本的go

 

 

解决办法:主要原因是usr/bin目录下的文件链接没修改过来,还一直链接到旧版本。

root@ubuntu:/usr/bin# ls -ll |grep go

-rwxr-xr-x 1 root   root      5730672 Feb 12  2021 aarch64-linux-gnu-ld.gold

lrwxrwxrwx 1 root   root           21 Feb 28  2018 go -> ../lib/go-1.10/bin/go

-rwxr-xr-x 2 root   root      3454104 Aug  5 05:18 gofmt

lrwxrwxrwx 1 root   root           24 Feb 28  2018 gofmt~ -> ../lib/go-1.10/bin/gofmt

lrwxrwxrwx 1 root   root           21 Feb 12  2021 gold -> x86_64-linux-gnu-gold

lrwxrwxrwx 1 root   root           24 Feb 12  2021 ld.gold -> x86_64-linux-gnu-ld.gold

lrwxrwxrwx 1 root   root           24 Feb 12  2021 x86_64-linux-gnu-gold -> x86_64-linux-gnu-ld.gold

-rwxr-xr-x 1 root   root      3111952 Feb 12  2021 x86_64-linux-gnu-ld.gold

 

把之前的链接删掉,然后重新用下面的命令就好了。

 

ln -s /usr/local/go/bin/* /usr/bin/

 

 

5.5 keadm join的时候提示Failed to synchronize cache for repo 'base'

keadm join --cloudcore-ipport=<ip:port address> --edgenode-name=<unique string as edge identifier>

 

  - For this command --cloudcore-ipport flag is a required option

  - This command will download and install the default version of pre-requisites and KubeEdge

 

keadm join --cloudcore-ipport=10.20.30.40:10000 --edgenode-name=testing123 --kubeedge-version=1.5.0

 

 

Flags:

      --certPath string                  The certPath used by edgecore, the default value is /etc/kubeedge/certs (default "/etc/kubeedge/certs")

  -s, --certport string                  The port where to apply for the edge certificate

      --cgroupdriver string              CGroupDriver that uses to manipulate cgroups on the host (cgroupfs or systemd), the default value is cgroupfs

  -e, --cloudcore-ipport string          IP:Port address of KubeEdge CloudCore

  -i, --edgenode-name string             KubeEdge Node unique identification string, If flag not used then the command will generate a unique id on its own

  -h, --help                             help for join

      --kubeedge-version string          Use this key to download and use the required KubeEdge version

  -p, --remote-runtime-endpoint string   KubeEdge Edge Node RemoteRuntimeEndpoint string, If flag not set, it will use unix:///var/run/dockershim.sock

  -r, --runtimetype string               Container runtime type

      --tarballpath string               Use this key to set the temp directory path for KubeEdge tarball, if not exist, download it

  -t, --token string                     Used for edge to apply for the certificate

 

F0910 11:57:18.129816   31335 keadm.go:27] failed to exec 'bash -c yum -y install mosquitto', err: Failed to synchronize cache for repo 'base', ignoring this repo.

Failed to synchronize cache for repo 'epel', ignoring this repo.

Error: Unable to find a match

 

DNS

配置一下下面两个路由:

cat /etc/hosts

127.0.0.1 euler27   localhost localhost.localdomain localhost4 localhost4.localdomain4

::1       euler27   localhost localhost.localdomain localhost6 localhost6.localdomain6

172.18.100.92 proxyhk.huawei.com

7.223.219.40  mirrors.tools.huawei.com

 

5.6 安装mosquitto提示校验失败

 

yum -y install mosquitto

Extra Packages for Enterprise Linux 7 - aarch64                                         

 

EulerOS-2.0SP8 base                                                                                                                                                            7.8 kB/s | 1.7 kB     00:00   

The downloaded packages were saved in cache until the next successful transaction.

You can remove cached packages by executing 'dnf clean packages'.

Traceback (most recent call last):

  File "/usr/bin/yum", line 58, in <module>

    main.user_main(sys.argv[1:], exit_code=True)

  File "/usr/lib/python3.7/site-packages/dnf/cli/main.py", line 179, in user_main

    errcode = main(args)

  File "/usr/lib/python3.7/site-packages/dnf/cli/main.py", line 64, in main

    return _main(base, args, cli_class, option_parser_class)

  File "/usr/lib/python3.7/site-packages/dnf/cli/main.py", line 99, in _main

    return cli_run(cli, base)

  File "/usr/lib/python3.7/site-packages/dnf/cli/main.py", line 123, in cli_run

    ret = resolving(cli, base)

  File "/usr/lib/python3.7/site-packages/dnf/cli/main.py", line 154, in resolving

    base.do_transaction(display=displays)

  File "/usr/lib/python3.7/site-packages/dnf/cli/cli.py", line 227, in do_transaction

    self.gpgsigcheck(install_pkgs)

  File "/usr/lib/python3.7/site-packages/dnf/cli/cli.py", line 279, in gpgsigcheck

    self._get_key_for_package(po, fn)

  File "/usr/lib/python3.7/site-packages/dnf/base.py", line 2265, in _get_key_for_package

    keys = dnf.crypto.retrieve(keyurl, repo)

  File "/usr/lib/python3.7/site-packages/dnf/crypto.py", line 177, in retrieve

    keyinfos = rawkey2infos(handle)

  File "/usr/lib/python3.7/site-packages/dnf/crypto.py", line 158, in rawkey2infos

    with pubring_dir(pb_dir), Context() as ctx:

  File "/usr/lib64/python3.7/site-packages/gpg/core.py", line 206, in __init__

    self.protocol = protocol

  File "/usr/lib64/python3.7/site-packages/gpg/core.py", line 161, in __setattr__

    super(GpgmeWrapper, self).__setattr__(key, value)

  File "/usr/lib64/python3.7/site-packages/gpg/core.py", line 885, in protocol

    errorcheck(gpgme.gpgme_engine_check_version(value))

  File "/usr/lib64/python3.7/site-packages/gpg/errors.py", line 120, in errorcheck

    raise GPGMEError(retval, extradata)

gpg.errors.GPGMEError: GPGME: Invalid crypto engine

 

  File "/usr/lib64/python3.7/site-packages/gpg/errors.py", line 120, in errorcheck

    raise GPGMEError(retval, extradata)

gpg.errors.GPGMEError: GPGME: Invalid crypto engine

 

解决办法:

在安装的时候加上--nogpgcheck

euler27:/var/lib/docker/zyh/rpm2 # yum -y install mosquitto  --nogpgcheck

 

5.7 获取kubeedge的时候,提示网址不可信

wget https://github.com/kubeedge/kubeedge/releases/download/v1.7.2/checksum_kubeedge-v1.7.2-linux-arm64.tar.gz.txt

--2021-09-10 12:50:23--  https://github.com/kubeedge/kubeedge/releases/download/v1.7.2/checksum_kubeedge-v1.7.2-linux-arm64.tar.gz.txt

Resolving proxyhk.huawei.com (proxyhk.huawei.com)... 172.18.100.92

Connecting to proxyhk.huawei.com (proxyhk.huawei.com)|172.18.100.92|:8080... connected.

ERROR: The certificate of ‘github.com’ is not trusted.

ERROR: The certificate of ‘github.com’ hasn't got a known issuer.

 

解决办法:加上--no-check-certificate选项

wget https://github.com/kubeedge/kubeedge/releases/download/v1.7.2/checksum_kubeedge-v1.7.2-linux-arm64.tar.gz.txt --no-check-certificate

 

6 附录

6.1 参考链接

https://docs.kubeedge.io/en/v1.5.0/setup/local.html

https://github.com/kubeedge/kubeedge/tree/master

https://blog.csdn.net/qq_24489251/article/details/108775479

http://xxx.com/km/blogs/details/8578357

 

订阅快讯

通过快讯订阅,您将及时收到我们的信息更新通知。