1 环境介绍
表1-1 环境版本
|
序号 |
资源项 |
资源名称 |
|
1 |
云端Master |
2288H V5 X86 |
|
2 |
边缘端 |
A500 3000 |
|
3 |
云端操作系统 |
Ubuntu 18.04.5 |
|
4 |
边缘端操作系统 |
Euler2.8 |
|
5 |
边缘端CANN软件版本 |
20.1 |
|
6 |
kubernetes |
1.17.3 |
|
7 |
KubeEdge版本 |
1.7.2 |
2 云端环境部署
2.1 在master节点安装Docker和k8S (ubuntu)
2.1.1 安装前准备
1.安装需要的包
sudo apt install apt-transport-https ca-certificates software-properties-common curl
2.添加 谷歌GPG 密钥
本地使用安全PC的谷歌浏览器(proxyhk.huawei.com:8080 代理),直接访问下面的网址，下载apt-key.gpg文件，https://packages.cloud.google.com/apt/doc/apt-key.gpg，并将apt-key.gpg文件上传到master节点的任意文件夹，执行apt-key add apt-key.gpg
注:若无法下载,也可以从(https://github.com/liaohang122/test)获取。
3.配置Source list，可以使用阿里的源
|
cat /etc/apt/sources.list deb http://mirrors.aliyun.com/ubuntu/ bionic main restricted universe multiverse deb http://mirrors.aliyun.com/ubuntu/ bionic-security main restricted universe multiverse deb http://mirrors.aliyun.com/ubuntu/ bionic-updates main restricted universe multiverse deb http://mirrors.aliyun.com/ubuntu/ bionic-proposed main restricted universe multiverse deb http://mirrors.aliyun.com/ubuntu/ bionic-backports main restricted universe multiverse deb-src http://mirrors.aliyun.com/ubuntu/ bionic main restricted universe multiverse deb-src http://mirrors.aliyun.com/ubuntu/ bionic-security main restricted universe multiverse deb-src http://mirrors.aliyun.com/ubuntu/ bionic-updates main restricted universe multiverse deb-src http://mirrors.aliyun.com/ubuntu/ bionic-proposed main restricted universe multiverse deb-src http://mirrors.aliyun.com/ubuntu/ bionic-backports main restricted universe multiverse
#deb http://repo.huaweicloud.com/ubuntu/ bionic main multiverse restricted universe #deb http://repo.huaweicloud.com/ubuntu/ bionic-backports main multiverse restricted universe #deb http://repo.huaweicloud.com/ubuntu/ bionic-proposed main multiverse restricted universe #deb http://repo.huaweicloud.com/ubuntu/ bionic-security main multiverse restricted universe #deb http://repo.huaweicloud.com/ubuntu/ bionic-updates main multiverse restricted universe #deb-src http://repo.huaweicloud.com/ubuntu/ bionic main multiverse restricted universe #deb-src http://repo.huaweicloud.com/ubuntu/ bionic-backports main multiverse restricted universe #deb-src http://repo.huaweicloud.com/ubuntu/ bionic-proposed main multiverse restricted universe #deb-src http://repo.huaweicloud.com/ubuntu/ bionic-security main multiverse restricted universe #deb-src http://repo.huaweicloud.com/ubuntu/ bionic-updates main multiverse restricted universe |
kubeEdge安装使用中科大的镜像源
echo "deb http://mirrors.ustc.edu.cn/kubernetes/apt kubernetes-xenial main" \
> /etc/apt/sources.list.d/kubernetes.list
4.配置外网代理
export http_proxy=http://username:passwd@proxyhk.huawei.com:8080
export https_proxy=http:// username:passwd @proxyhk.huawei.com:8080
export ftp_proxy=http:// username:passwd@proxyhk.huawei.com:8080
export no_proxy="10.71.xx.xx,127.0.0.1,.huawei.com,localhost,local,.local"
注意：本地节点的IP地址要配置到no_proxy中，否则后面kubeadm init的时候会出现错误。
2.1.2 安装docker 和kubeadm
apt-get update
apt-get install -y docker.io
apt-get install -y kubelet=1.21.3-00 kubeadm=1.21.3-00 kubectl=1.21.3-00 --allow-downgrades
在上述安装 kubeadm 的过程中，docker 和kubeadm、 kubelet、kubectl 这几个二进制文件都会被自动安装好，安装kubeadm的时候，最好指定版本安装，本次是以1.17.3为例。安装前可以使用下面的命令查看可以安装的版本好：
apt-cache madison kubectl| grep 1.17
安装好之后，可以通过kubeadm version 查看版本号。
设置开机自启动并启动 Docker（安装成功后默认已设置并启动，可忽略）
systemctl enable docker
systemctl start docker
2.1.3 配置daemon.json
注意：要把红色部分加入进去，否则下载镜像的时候，证书校验一般校验都无法通过。
vim /etc/docker/daemon.json
{
"registry-mirrors": [
"https://dockerhub.azk8s.cn",
"https://docker.mirrors.ustc.edu.cn",
"http://hub-mirror.c.163.com" ,
"https://k8s.gcr.io",
"https://github-releases.githubusercontent.com"
],
"insecure-registries": [
"rnd-dockerhub.huawei.com",
"docker-hub.tools.huawei.com",
"registry.me:5000",
"http://docker.mirrors.ustc.edu.cn",
"https://k8s.gcr.io",
"https://github-releases.githubusercontent.com"
],
"exec-opts": [
"native.cgroupdriver=systemd"
]
}
2.1.4 给docker配置代理
mkdir -p /etc/systemd/system/docker.service.d
vim /etc/systemd/system/docker.service.d/http-proxy.conf
[Service]
Environment="HTTP_PROXY=http://username:passwd@proxyhk.huawei.com:8080"
Environment="HTTPS_PROXY=http:// username:passwd@proxyhk.huawei.com:8080"
systemctl daemon-reload
systemctl restart docker
查看docker代理
systemctl show --property=Environment docker
查看docker配置
docker info
2.1.5 其他配置
步骤1 关闭虚拟内存和防火墙。
l 关闭虚拟内存
内存关闭
swapoff -a
修改配置：
关闭fstab swap配置，修改/etc/fstab，注释swap文件系统挂载配置。
swapoff -a
重启操作系统使配置生效
l 关闭防火墙
编辑文件/etc/sysconfig/selinux和/etc/selinux/config
修改参数SELINUX的值为disabled（SELINUX=disabled）
systemctl stop firewalld.service
systemctl disable firewalld.service
firewall-cmd –state
Ubuntu关闭防火墙命令为:
ufw disable
允许包转发
vi /etc/sysctl.d/k8s.conf 添加如下行
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
执行modprobe br_netfilter
步骤2修改主机名，防止与集群中其他机器同名。
hostnamectl set-hostname train0 train0为主机名
同时在/etc/hosts添加如下行
Source /etc/hosts
安装过程中遇到的一些问题请参考5 FAQ
2.1 Master节点配置
2.1.1 初始化master节点
执行kubeadm init ，可以指定版本 kubeadm init
kubeadm init --kubernetes-version=v1.17.3 --pod-network-cidr=192.168.0.0/16 --apiserver-advertise-address=$masterIP
masterIP：用本机IP替换。
参数中192.168.0.0/16跟后续的Pod network add-on相关，这里我们选择的是Calico，详细信息可以参见官方文档：https://kubernetes.io/docs/setup/production-environment/tools/kubeadm/create-cluster-kubeadm/
关于kubeadm init时的参数说明同样可参考上述链接。
----结束
2.1.2 配置k8s网络
步骤 1 配置k8s apiserver访问公钥。
mkdir -p $HOME/.kube
cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
chown $(id -u):$(id -g) $HOME/.kube/config
步骤 2 安装网络插件，查看node信息。
kubectl get node
输出STATUS为NotReady，原因是没有安装网络插件。
步骤 3 部署calico插件。
l X86架构
docker load -i cni.tar.gz
docker load -i kube-controllers.tar.gz
docker load -i node.tar.gz
docker load -i pod2daemon-flexvol.tar.gz
kubectl apply -f https://docs.projectcalico.org/v3.20/manifests/（手动下好再装） 此步必须
注意一下这里calico的版本号与k8s有关联关系，K8S1.22.0的版本号要配套3.20的calico.yaml
l ARM架构
待补充
kubectl apply -f https://docs.projectcalico.org/v3.20/manifests/calico.yaml（手动下好再装）
当发现所有Pod都docker已经变为Running状态，表示master节点已经安装成功。
kubectl get pods -n kube-system
这里calico.yaml需要从镜像仓下载，可能由于下载速度慢，导致查看pod时遇到ImagePullBackOff的问题，可以尝试手动拉取镜像。
docker pull calico/cni:v3.20.0
docker pull calico/node:v3.20.0
docker pull calico/kube-controllers:v3.20.0
docker pull calico/pod2daemon-flexvol:v3.20.0
如果calico还是跑不起来，可以kubectl describe 查看一下状态。
这里是因为使用kubeadm初始化的集群，出于安全考虑Pod不会被调度到Master Node上，也就是说Master Node不参与工作负载，需要解除master节点的隔离。
另外，需要检查一下calico.yaml的版本是否正确，K8S 1.17.3版本，最好配套比较新的版本，可以从
----结束
2.1.3 解除master隔离
默认情况下，集群中创建的所有资源（如Pods）并不会被部署到master节点上，但是在我们的开发或者测试环境中，经常只有一个master节点或者并不想浪费master节点的可用空间，这时可以使用如下命令解除master隔离的限制。
kubectl taint nodes --all node-role.kubernetes.io/master-
验证是否成功：
kubectl get pods -n kube-system
所有pod都应该能跑起来了，查看master节点
kubectl get node
2.2 KubeEdge安装
Kubeedge安装方法有两种，一种是下载最新的代码编译出cloudcore和edgecore，另外一种是直接下载社区上的发布版本。
2.3 方法一：采用编译方式
1）下载golang
[root@ke-cloud ~]# wget https://golang.google.cn/dl/go1.14.4.linux-arm64.tar.gz
[root@ke-cloud ~]# tar -zxvf go1.14.4.linux-arm64.tar.gz -C /usr/local
2）配置golang环境
vim /etc/profile
文件末尾添加：
# golang env
export GOROOT=/usr/local/go
export GOPATH=/data/gopath
export PATH=$PATH:$GOROOT/bin:$GOPATH/bin
source /etc/profile
mkdir -p /data/gopath && cd /data/gopath
mkdir -p src pkg bin
3）下载KubeEdge源码，并编译cloudcore、edgecore
git clone https://github.com/kubeedge/kubeedge $GOPATH/src/github.com/kubeedge/kubeedge
cd $GOPATH/src/github.com/kubeedge/kubeedge
make all WHAT=keadm
说明：编译后的二进制文件在./_output/local/bin下，单独编译cloudcore与edgecore的方式：make all WHAT=cloudcore && make all WHAT=edgecore
注意：这里编译出来的kubeadm和edgecore版本，都是x86版本，传到A500上是不能使用的，因此可以考虑在arm服务器上编译，或者直接到库上获取发布版本。
cp cloudcore /usr/local/bin
# 将edgecore拷贝至边缘端
scp edgecore root@edgeip:/usr/local/bin/
4）添加设备
kubectl apply -f $GOPATH/src/github.com/kubeedge/kubeedge/build/crds/devices/devices_v1alpha2_device.yaml
kubectl apply -f $GOPATH/src/github.com/kubeedge/kubeedge/build/crds/devices/devices_v1alpha2_devicemodel.yaml
kubectl apply -f $GOPATH/src/github.com/kubeedge/kubeedge/build/crds/reliablesyncs/cluster_objectsync_v1alpha1.yaml
kubectl apply -f $GOPATH/src/github.com/kubeedge/kubeedge/build/crds/reliablesyncs/objectsync_v1alpha1.yaml
5）创建证书文件
# 清除已有的密钥
kubectl delete secret casecret –nkubeedge
kubectl delete secret cloudcoresecret -nkubeedge [y1]
生成证书文，存放在/etc/kubeedge/目录下ca、certs，将其传到edge端相同目录（提前创建好）
mkdir -p /etc/kubeedge/config
$GOPATH/src/github.com/kubeedge/kubeedge/build/tools/certgen.sh genCertAndKey server
6）部署cloudcore服务
cd /etc/kubeedge/config （yaml必须放在此目录，否则服务起不来）
cloudcore --minconfig >cloudcore.yaml 创建配置文件
进入 cloudcore.service目录
cd $GOPATH/src/github.com/kubeedge/kubeedge/build/tools
vim cloudcore.service
# 将cloudcore的路径修改为真实路径
cp cloudcore.service /lib/systemd/system/
systemctl enable cloudcore
systemctl start cloudcore
systemctl status cloudcore
如果服务启动失败，单独执行cloudcore --config cloudcore.yaml查看具体日志
# 将edgecore.service传至边缘端
scp edgecore.service root@192.168.2.3:/lib/systemd/system/
2.4 方法二：从库上下载的方式
可以直接到发布库上获取对应架构版本的keadm，cloudcore，edgecore版本，
https://github.com/kubeedge/kubeedge/releases/tag/v1.7.2
除了不用编译，其他操作跟方法一是一致的。
3 边缘端环境部署
3.1 安装yum
参考如下链接操作即可：
Atlas500 的EulerOS安装yum （http://xxx.com/km/blogs/details/11490285）
安装完成后，需要部署epel的镜像仓位置，用你我司的镜像仓就可以了。参见附件：
修改如下两个文件，如果没有就新建文件
/etc/yum.repos.d/EulerOS.repo
|
cat EulerOS.repo [base] name=EulerOS-2.0SP8 base baseurl=http://repo.huaweicloud.com/euler/2.8/os/aarch64/ enabled=1 gpgcheck=1 gpgkey=http://repo.huaweicloud.com/euler/2.8/os/RPM-GPG-KEY-EulerOS |
epel.repo
|
[epel] name=Extra Packages for Enterprise Linux 7 - $basearch baseurl=http://mirrors.tools.huawei.com/epel/7/$basearch #metalink=https://mirrors.fedoraproject.org/#metalink?repo=epel-7&arch=$basearch&infra=$infra&content=$contentdir failovermethod=priority enabled=1 gpgcheck=1 gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-EPEL-7
[epel-debuginfo] name=Extra Packages for Enterprise Linux 7 - $basearch - Debug baseurl=https://mirrors.tools.huawei.com/epel/7/$basearch/debug #metalink=https://mirrors.fedoraproject.org/#metalink?repo=epel-debug-7&arch=$basearch&infra=$infra&content=$contentdir failovermethod=priority enabled=0 gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-EPEL-7 gpgcheck=1
[epel-source] name=Extra Packages for Enterprise Linux 7 - $basearch - Source baseurl=https://mirrors.tools.huawei.com/epel/7/SRPMS #metalink=https://mirrors.fedoraproject.org/#metalink?repo=epel-source-7&arch=$basearch&infra=$infra&content=$contentdir failovermethod=priority enabled=0 gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-EPEL-7 gpgcheck=1 |
3.2 安装Docker
Atlas500自带docker安装，无需安装
3.3 部署edgecore
1）修改主机名
主机名必须为小写字母，从arm环境获取hostnamectl工具（which hostnamectl）
hostnamectl set-hostname euler27
如果没有这个工具也可以直接修改，网上有很多介绍
|
1、 修改/etc/sysconfig/network中的hostname 2、 修改/etc/hosts文件（IP与主机名对应，DNS解析的时候有用） 3、 修改/etc/hostname |
2）部署kubeEdge镜像
把前面下载的keadm和edgecore分别解压，并把对应的执行文件放到如下目录
cp keadm /usr/bin
cp keadm /usr/local/bin
3）部署edgecore服务
mkdir -p /etc/kubeedge/config && cd /etc/kubeedge/config
edgecore --minconfig > edgecore.yaml
在cloud端执行keadm gettoken获取token
然后在边缘端使用keadm来初始，命令如下：
keadm join --cloudcore-ipport= EDGE_IP:10000 --kubeedge-version=1.7.2 --token=480cba67b95454aacface05d4f612d2c5a9748d2772356f170fcc906e7948ff0.eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJleHAiOjE2MzEzMjEwMzh9.ff5uFhhG6stg-2hqlbzW1SyCaFRJLD5xguAHKGrG-6Y
EDGE_IP就是cloud端的IP地址。
边缘节点加入后，能够在master上看到节点情况，如果状态为ready，说明加入正常
一般来说，在过程中都会出现一些问题，需要注意以下问题：
1、 需要配置proxy，proxy配置方法参考2.1.1，这样可以直接拉取镜像。
2、 缺少一些基础库，这种情况可以直接通过yum来安装，比如epel
3、 经常出现的一些问题如FAQ 5.6~8，主要还是代理和证书校验的问题，这些问题解决后，一般可以拉取成功。
3.4 安装和部署deviceplugin
Deviceplugin是昇腾提供的插件，主要用于向K8S master上报NPU相关的信息，如果没有这插件，边缘设备的NPU就无法被调度到。
3.4.1 安装deviceplugin
1、下载相关应用并制作容器镜像
边缘部署的时候需要安装plugin，步骤是先下载plugin的应用程序，制作成容器镜像，并使用K8S进行部署。由于A500是arm架构，因此要下载arm版本的程序，并在a500上制作镜像。然后通过master节点部署。
外部用户参考这个地方进行下载，需要进行权限申请，相对比较麻烦。https://www.hiascend.com/software/mindx-dl/download
将Ascend-mindxdl-device-plugin_2.0.2_linux-aarch64.zip解压A500的目录中，使用下面的命令制作容器
docker build -t ascend-k8sdeviceplugin:v2.0.2 .[y2]
制作容器的时候，容器镜像的名称，需要跟device-plugin-310-v2.0.2.yaml中保持一致，否则部署的时候会出问题
制作镜像过程如下：
docker build -t ascend-k8sdeviceplugin:v2.0.2 . （注意后面有个点点）
注意这个build操作，要在A500或者ARM环境上操作，X86的服务器上build出来，架构不一致无法使用。
>/etc/profile"echo'source/etc/profile'>＞一／.bashr. 一＞Runninginias4b737edlb Removingintermediatecontainerla84b737edlb －一》93ce78c43b07 Successfullybuilt93ce78c43b07 Successfullytaggedascend一kssdeviceplugin:vZ.0.2" style="width:432.75pt;height:189pt;visibility:visible;mso-wrap-style:square">
docker images
如果是本节点使用，这个镜像就可以使用了，如果是还有其他节点需要使用，可以使用dokcer save命令，将镜像保存出来，可以在其他环境使用
docker save -o Ascend-device-plugin_2.0.2_linux-aarch64.tar.gz ascend-k8sdeviceplugin:v2.0.2
3.4.2 部署deviceplugin
部署推理任务参考
https://support.huawei.com/enterprise/zh/doc/EDOC1100207064/3a1c6839
推理任务部署的yaml定义
由于A500的edgecore中有关于npu的上报开关，因此需要打开一下。
vi /etc/kubeedge/config/edgecore.yaml，把devicePluginEnabled这个地方改成true
systemctl restart edgecore
systemctl status edgecore
如果edgecore服务启动失败，可以执行edgecore --config edgecore.yaml查看启动日志
在cloud侧，对边缘节点打标签
参考链接中的方法，对master和edge节点打标签，https://support.huawei.com/enterprise/zh/doc/EDOC1100207064/ccf79def
|
标签序号 |
命令 |
说明 |
|
1 |
kubectl label nodes主机名称 node-role.kubernetes.io/worker=worker |
该命令为识别K8s的计算节点，其中“主机名称”为所有计算节点名。 |
|
3 |
kubectl label nodes 主机名称 accelerator=huawei-Ascend310 |
该命令为识别昇腾310 AI处理器节点，其中“主机名称”为所有推理节点名。 |
|
5 |
kubectl label nodes 主机名称 masterselector=dls-master-node |
该命令为识别MindX DL的管理节点，其中“主机名称”为管理节点名。 |
|
6 |
kubectl label nodes主机名称 workerselector=dls-worker-node |
该命令为识别MindX DL的计算节点，其中“主机名称”为所有计算节点名。 |
|
7 |
kubectl label nodes 主机名称 host-arch=huawei-x86 |
该命令为识别x86架构的节点，其中“主机名称”为所有x86架构的计算节点名。 |
|
8 |
kubectl label nodes 主机名称 host-arch=huawei-arm |
该命令为识别ARM架构的节点，其中“主机名称”为所有ARM架构的计算节点名。 |
对于A500，需要修改device-plugin-310-v2.0.2.yaml中如下红色的部分，把hiai-driver的路径修改正确，并上传到cloud侧的任何目录
|
volumes: - name: device-plugin hostPath: path: /var/lib/kubelet/device-plugins - name: hiai-driver hostPath: path: /home/data/miniD/driver - name: log-path hostPath: path: /var/log/mindx-dl/devicePlugin type: Directory - name: localtime |
在cloud侧执行命令，部署deviceplugin
kubectl apply -f device-plugin-310-v2.0.2.yaml
然后再检查边缘侧npu资源能否获取到，在Cloud端执行
kubectl get node
kubectl describe node euler27
4 推理任务下发
4.1 环境准备
安装驱动、固件
按照CANN用户指南手动制作docker镜像，如果有现成的，可以直接导入镜像。
完成后使用docker images查看是否存在
4.2 使用yaml跑通推理任务
编写yaml
apiVersion: batch/v1
kind: Job
metadata:
name: ke-infer
#namespace: kube-system
spec:
template:
spec:
nodeSelector:
accelerator: huawei-Ascend310
containers:
- image: ubuntu-a500:v1
imagePullPolicy: IfNotPresent
name: ubuntu-a500
command:
- "/bin/bash"
- "-c"
- "cd /home/test; cd out; ./main"
#args: [ "while true; do sleep 30000; done;" ]
resources:
resources:
requests:
huawei.com/Ascend310: 1
limits:
huawei.com/Ascend310: 1
volumeMounts:
- name: ascend-dirver
mountPath: /home/data/miniD/driver
- name: slog
mountPath: /var/log/npu/conf/slog/
- name: test
mountPath: /home/test
- name: npu-smi
mountPath: /usr/local/bin/npu-smi
- name: timezone
mountPath: /etc/timezone
- name: localtime
mountPath: /etc/localtime
volumes:
- name: ascend-dirver
hostPath:
path: /home/data/miniD/driver
- name: slog
hostPath:
path: /var/log/npu/conf/slog/
- name: test
hostPath:
path: /etc/kubeedge/acl_resnet50_sample/
- name: npu-smi
hostPath:
path: /usr/local/bin/npu-smi
- name: timezone
hostPath:
path: /etc/timezone
- name: localtime
hostPath:
path: /etc/localtime
restartPolicy: OnFailure
启动任务，cloud端执行
kubectl apply -f infer.yaml
查看pod
4.3 结果观察
边缘端查看container id，使用docker ps -a
观察推理输出：docker logs -f d44c4be8a32d
4.4 删除推理任务
kubectl delete -f infer.yaml
5 FAQ
5.1 kubeadm init拉取镜像失败，提示证书校验失败
现象：
解决办法：
在配置的时候要把https://k8s.gcr.io加入到免认证的网站列表，否则就需要去配置证书，我们下载的时候可以配置诚免校验。参考： http://xxx.com/km/blogs/details/6314139
cat daemon.json
{
"registry-mirrors": [
"https://docker.mirrors.ustc.edu.cn",
"http://hub-mirror.c.163.com",
],
"insecure-registries": [
"rnd-dockerhub.huawei.com",
"docker-hub.tools.huawei.com",
"registry.me:5000",
"http://docker.mirrors.ustc.edu.cn" ,
5.2 kubeadm init拉取镜像失败，提示超时
kubeadm init --kubernetes-version=1.17.3 --apiserver-advertise-address=10.71.233.24 --pod-network-cidr=192.168.0.0/16 的时候提示超时
解决办法：
export no_proxy="10.71.xx.xx,127.0.0.1,.huawei.com,localhost,local,.local"
注意：本地节点的IP地址要配置到no_proxy中，否则后面kubeadm init的时候会出现错误。
5.3 calico一直有两个是pending状态
解决办法：
calico.yaml的版本不对，要更新到320版本以上
5.4 编译keadm的时候，提示go语言版本不对，但是实际已经安装了最新版本的go
解决办法：主要原因是usr/bin目录下的文件链接没修改过来，还一直链接到旧版本。
root@ubuntu:/usr/bin# ls -ll |grep go
-rwxr-xr-x 1 root root 5730672 Feb 12 2021 aarch64-linux-gnu-ld.gold
lrwxrwxrwx 1 root root 21 Feb 28 2018 go -> ../lib/go-1.10/bin/go
-rwxr-xr-x 2 root root 3454104 Aug 5 05:18 gofmt
lrwxrwxrwx 1 root root 24 Feb 28 2018 gofmt~ -> ../lib/go-1.10/bin/gofmt
lrwxrwxrwx 1 root root 21 Feb 12 2021 gold -> x86_64-linux-gnu-gold
lrwxrwxrwx 1 root root 24 Feb 12 2021 ld.gold -> x86_64-linux-gnu-ld.gold
lrwxrwxrwx 1 root root 24 Feb 12 2021 x86_64-linux-gnu-gold -> x86_64-linux-gnu-ld.gold
-rwxr-xr-x 1 root root 3111952 Feb 12 2021 x86_64-linux-gnu-ld.gold
把之前的链接删掉，然后重新用下面的命令就好了。
ln -s /usr/local/go/bin/* /usr/bin/
5.5 keadm join的时候提示Failed to synchronize cache for repo 'base'
keadm join --cloudcore-ipport=<ip:port address> --edgenode-name=<unique string as edge identifier>
- For this command --cloudcore-ipport flag is a required option
- This command will download and install the default version of pre-requisites and KubeEdge
keadm join --cloudcore-ipport=10.20.30.40:10000 --edgenode-name=testing123 --kubeedge-version=1.5.0
Flags:
--certPath string The certPath used by edgecore, the default value is /etc/kubeedge/certs (default "/etc/kubeedge/certs")
-s, --certport string The port where to apply for the edge certificate
--cgroupdriver string CGroupDriver that uses to manipulate cgroups on the host (cgroupfs or systemd), the default value is cgroupfs
-e, --cloudcore-ipport string IP:Port address of KubeEdge CloudCore
-i, --edgenode-name string KubeEdge Node unique identification string, If flag not used then the command will generate a unique id on its own
-h, --help help for join
--kubeedge-version string Use this key to download and use the required KubeEdge version
-p, --remote-runtime-endpoint string KubeEdge Edge Node RemoteRuntimeEndpoint string, If flag not set, it will use unix:///var/run/dockershim.sock
-r, --runtimetype string Container runtime type
--tarballpath string Use this key to set the temp directory path for KubeEdge tarball, if not exist, download it
-t, --token string Used for edge to apply for the certificate
F0910 11:57:18.129816 31335 keadm.go:27] failed to exec 'bash -c yum -y install mosquitto', err: Failed to synchronize cache for repo 'base', ignoring this repo.
Failed to synchronize cache for repo 'epel', ignoring this repo.
Error: Unable to find a match
DNS
配置一下下面两个路由:
cat /etc/hosts
127.0.0.1 euler27 localhost localhost.localdomain localhost4 localhost4.localdomain4
::1 euler27 localhost localhost.localdomain localhost6 localhost6.localdomain6
172.18.100.92 proxyhk.huawei.com
7.223.219.40 mirrors.tools.huawei.com
5.6 安装mosquitto提示校验失败
yum -y install mosquitto
Extra Packages for Enterprise Linux 7 - aarch64
…
EulerOS-2.0SP8 base 7.8 kB/s | 1.7 kB 00:00
The downloaded packages were saved in cache until the next successful transaction.
You can remove cached packages by executing 'dnf clean packages'.
Traceback (most recent call last):
File "/usr/bin/yum", line 58, in <module>
main.user_main(sys.argv[1:], exit_code=True)
File "/usr/lib/python3.7/site-packages/dnf/cli/main.py", line 179, in user_main
errcode = main(args)
File "/usr/lib/python3.7/site-packages/dnf/cli/main.py", line 64, in main
return _main(base, args, cli_class, option_parser_class)
File "/usr/lib/python3.7/site-packages/dnf/cli/main.py", line 99, in _main
return cli_run(cli, base)
File "/usr/lib/python3.7/site-packages/dnf/cli/main.py", line 123, in cli_run
ret = resolving(cli, base)
File "/usr/lib/python3.7/site-packages/dnf/cli/main.py", line 154, in resolving
base.do_transaction(display=displays)
File "/usr/lib/python3.7/site-packages/dnf/cli/cli.py", line 227, in do_transaction
self.gpgsigcheck(install_pkgs)
File "/usr/lib/python3.7/site-packages/dnf/cli/cli.py", line 279, in gpgsigcheck
self._get_key_for_package(po, fn)
File "/usr/lib/python3.7/site-packages/dnf/base.py", line 2265, in _get_key_for_package
keys = dnf.crypto.retrieve(keyurl, repo)
File "/usr/lib/python3.7/site-packages/dnf/crypto.py", line 177, in retrieve
keyinfos = rawkey2infos(handle)
File "/usr/lib/python3.7/site-packages/dnf/crypto.py", line 158, in rawkey2infos
with pubring_dir(pb_dir), Context() as ctx:
File "/usr/lib64/python3.7/site-packages/gpg/core.py", line 206, in __init__
self.protocol = protocol
File "/usr/lib64/python3.7/site-packages/gpg/core.py", line 161, in __setattr__
super(GpgmeWrapper, self).__setattr__(key, value)
File "/usr/lib64/python3.7/site-packages/gpg/core.py", line 885, in protocol
errorcheck(gpgme.gpgme_engine_check_version(value))
File "/usr/lib64/python3.7/site-packages/gpg/errors.py", line 120, in errorcheck
raise GPGMEError(retval, extradata)
gpg.errors.GPGMEError: GPGME: Invalid crypto engine
File "/usr/lib64/python3.7/site-packages/gpg/errors.py", line 120, in errorcheck
raise GPGMEError(retval, extradata)
gpg.errors.GPGMEError: GPGME: Invalid crypto engine
解决办法：
在安装的时候加上--nogpgcheck
euler27:/var/lib/docker/zyh/rpm2 # yum -y install mosquitto --nogpgcheck
5.7 获取kubeedge的时候，提示网址不可信
--2021-09-10 12:50:23-- https://github.com/kubeedge/kubeedge/releases/download/v1.7.2/checksum_kubeedge-v1.7.2-linux-arm64.tar.gz.txt
Resolving proxyhk.huawei.com (proxyhk.huawei.com)... 172.18.100.92
Connecting to proxyhk.huawei.com (proxyhk.huawei.com)|172.18.100.92|:8080... connected.
ERROR: The certificate of ‘github.com’ is not trusted.
ERROR: The certificate of ‘github.com’ hasn't got a known issuer.
解决办法：加上--no-check-certificate选项
wget https://github.com/kubeedge/kubeedge/releases/download/v1.7.2/checksum_kubeedge-v1.7.2-linux-arm64.tar.gz.txt --no-check-certificate
6 附录
6.1 参考链接
https://docs.kubeedge.io/en/v1.5.0/setup/local.html
https://github.com/kubeedge/kubeedge/tree/master
https://blog.csdn.net/qq_24489251/article/details/108775479
http://xxx.com/km/blogs/details/8578357
