1 环境介绍
表1-1 环境版本
序号 |
资源项 |
资源名称 |
1 |
云端Master |
2288H V5 X86 |
2 |
边缘端 |
A500 3000 |
3 |
云端操作系统 |
Ubuntu 18.04.5 |
4 |
边缘端操作系统 |
Euler2.8 |
5 |
边缘端CANN软件版本 |
20.1 |
6 |
kubernetes |
1.17.3 |
7 |
KubeEdge版本 |
1.7.2 |
2 云端环境部署
2.1 在master节点安装Docker和k8S (ubuntu)
2.1.1 安装前准备
1.安装需要的包
sudo apt install apt-transport-https ca-certificates software-properties-common curl
2.添加 谷歌GPG 密钥
本地使用安全PC的谷歌浏览器(proxyhk.huawei.com:8080 代理),直接访问下面的网址,下载apt-key.gpg文件,https://packages.cloud.google.com/apt/doc/apt-key.gpg,并将apt-key.gpg文件上传到master节点的任意文件夹,执行apt-key add apt-key.gpg
注:若无法下载,也可以从(https://github.com/liaohang122/test)获取。
3.配置Source list,可以使用阿里的源
cat /etc/apt/sources.list deb http://mirrors.aliyun.com/ubuntu/ bionic main restricted universe multiverse deb http://mirrors.aliyun.com/ubuntu/ bionic-security main restricted universe multiverse deb http://mirrors.aliyun.com/ubuntu/ bionic-updates main restricted universe multiverse deb http://mirrors.aliyun.com/ubuntu/ bionic-proposed main restricted universe multiverse deb http://mirrors.aliyun.com/ubuntu/ bionic-backports main restricted universe multiverse deb-src http://mirrors.aliyun.com/ubuntu/ bionic main restricted universe multiverse deb-src http://mirrors.aliyun.com/ubuntu/ bionic-security main restricted universe multiverse deb-src http://mirrors.aliyun.com/ubuntu/ bionic-updates main restricted universe multiverse deb-src http://mirrors.aliyun.com/ubuntu/ bionic-proposed main restricted universe multiverse deb-src http://mirrors.aliyun.com/ubuntu/ bionic-backports main restricted universe multiverse
#deb http://repo.huaweicloud.com/ubuntu/ bionic main multiverse restricted universe #deb http://repo.huaweicloud.com/ubuntu/ bionic-backports main multiverse restricted universe #deb http://repo.huaweicloud.com/ubuntu/ bionic-proposed main multiverse restricted universe #deb http://repo.huaweicloud.com/ubuntu/ bionic-security main multiverse restricted universe #deb http://repo.huaweicloud.com/ubuntu/ bionic-updates main multiverse restricted universe #deb-src http://repo.huaweicloud.com/ubuntu/ bionic main multiverse restricted universe #deb-src http://repo.huaweicloud.com/ubuntu/ bionic-backports main multiverse restricted universe #deb-src http://repo.huaweicloud.com/ubuntu/ bionic-proposed main multiverse restricted universe #deb-src http://repo.huaweicloud.com/ubuntu/ bionic-security main multiverse restricted universe #deb-src http://repo.huaweicloud.com/ubuntu/ bionic-updates main multiverse restricted universe |
kubeEdge安装使用中科大的镜像源
echo "deb http://mirrors.ustc.edu.cn/kubernetes/apt kubernetes-xenial main" \
> /etc/apt/sources.list.d/kubernetes.list
4.配置外网代理
export http_proxy=http://username:passwd@proxyhk.huawei.com:8080
export https_proxy=http:// username:passwd @proxyhk.huawei.com:8080
export ftp_proxy=http:// username:passwd@proxyhk.huawei.com:8080
export no_proxy="10.71.xx.xx,127.0.0.1,.huawei.com,localhost,local,.local"
注意:本地节点的IP地址要配置到no_proxy中,否则后面kubeadm init的时候会出现错误。
2.1.2 安装docker 和kubeadm
apt-get update
apt-get install -y docker.io
apt-get install -y kubelet=1.21.3-00 kubeadm=1.21.3-00 kubectl=1.21.3-00 --allow-downgrades
在上述安装 kubeadm 的过程中,docker 和kubeadm、 kubelet、kubectl 这几个二进制文件都会被自动安装好,安装kubeadm的时候,最好指定版本安装,本次是以1.17.3为例。安装前可以使用下面的命令查看可以安装的版本好:
apt-cache madison kubectl| grep 1.17
安装好之后,可以通过kubeadm version 查看版本号。
设置开机自启动并启动 Docker(安装成功后默认已设置并启动,可忽略)
systemctl enable docker
systemctl start docker
2.1.3 配置daemon.json
注意:要把红色部分加入进去,否则下载镜像的时候,证书校验一般校验都无法通过。
vim /etc/docker/daemon.json
{
"registry-mirrors": [
"https://dockerhub.azk8s.cn",
"https://docker.mirrors.ustc.edu.cn",
"http://hub-mirror.c.163.com" ,
"https://k8s.gcr.io",
"https://github-releases.githubusercontent.com"
],
"insecure-registries": [
"rnd-dockerhub.huawei.com",
"docker-hub.tools.huawei.com",
"registry.me:5000",
"http://docker.mirrors.ustc.edu.cn",
"https://k8s.gcr.io",
"https://github-releases.githubusercontent.com"
],
"exec-opts": [
"native.cgroupdriver=systemd"
]
}
2.1.4 给docker配置代理
mkdir -p /etc/systemd/system/docker.service.d
vim /etc/systemd/system/docker.service.d/http-proxy.conf
[Service]
Environment="HTTP_PROXY=http://username:passwd@proxyhk.huawei.com:8080"
Environment="HTTPS_PROXY=http:// username:passwd@proxyhk.huawei.com:8080"
systemctl daemon-reload
systemctl restart docker
查看docker代理
systemctl show --property=Environment docker
查看docker配置
docker info
2.1.5 其他配置
步骤1 关闭虚拟内存和防火墙。
l 关闭虚拟内存
内存关闭
swapoff -a
修改配置:
关闭fstab swap配置,修改/etc/fstab,注释swap文件系统挂载配置。
swapoff -a
重启操作系统使配置生效
l 关闭防火墙
编辑文件/etc/sysconfig/selinux和/etc/selinux/config
修改参数SELINUX的值为disabled(SELINUX=disabled)
systemctl stop firewalld.service
systemctl disable firewalld.service
firewall-cmd –state
Ubuntu关闭防火墙命令为:
ufw disable
允许包转发
vi /etc/sysctl.d/k8s.conf 添加如下行
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
执行modprobe br_netfilter
步骤2修改主机名,防止与集群中其他机器同名。
hostnamectl set-hostname train0 train0为主机名
同时在/etc/hosts添加如下行
Source /etc/hosts
安装过程中遇到的一些问题请参考5 FAQ
2.1 Master节点配置
2.1.1 初始化master节点
执行kubeadm init ,可以指定版本 kubeadm init
kubeadm init --kubernetes-version=v1.17.3 --pod-network-cidr=192.168.0.0/16 --apiserver-advertise-address=$masterIP
masterIP:用本机IP替换。
参数中192.168.0.0/16跟后续的Pod network add-on相关,这里我们选择的是Calico,详细信息可以参见官方文档:https://kubernetes.io/docs/setup/production-environment/tools/kubeadm/create-cluster-kubeadm/
关于kubeadm init时的参数说明同样可参考上述链接。
----结束
2.1.2 配置k8s网络
步骤 1 配置k8s apiserver访问公钥。
mkdir -p $HOME/.kube
cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
chown $(id -u):$(id -g) $HOME/.kube/config
步骤 2 安装网络插件,查看node信息。
kubectl get node
输出STATUS为NotReady,原因是没有安装网络插件。
步骤 3 部署calico插件。
l X86架构
docker load -i cni.tar.gz
docker load -i kube-controllers.tar.gz
docker load -i node.tar.gz
docker load -i pod2daemon-flexvol.tar.gz
kubectl apply -f https://docs.projectcalico.org/v3.20/manifests/(手动下好再装) 此步必须
注意一下这里calico的版本号与k8s有关联关系,K8S1.22.0的版本号要配套3.20的calico.yaml
l ARM架构
待补充
kubectl apply -f https://docs.projectcalico.org/v3.20/manifests/calico.yaml(手动下好再装)
当发现所有Pod都docker已经变为Running状态,表示master节点已经安装成功。
kubectl get pods -n kube-system
这里calico.yaml需要从镜像仓下载,可能由于下载速度慢,导致查看pod时遇到ImagePullBackOff的问题,可以尝试手动拉取镜像。
docker pull calico/cni:v3.20.0
docker pull calico/node:v3.20.0
docker pull calico/kube-controllers:v3.20.0
docker pull calico/pod2daemon-flexvol:v3.20.0
如果calico还是跑不起来,可以kubectl describe 查看一下状态。
这里是因为使用kubeadm初始化的集群,出于安全考虑Pod不会被调度到Master Node上,也就是说Master Node不参与工作负载,需要解除master节点的隔离。
另外,需要检查一下calico.yaml的版本是否正确,K8S 1.17.3版本,最好配套比较新的版本,可以从
----结束
2.1.3 解除master隔离
默认情况下,集群中创建的所有资源(如Pods)并不会被部署到master节点上,但是在我们的开发或者测试环境中,经常只有一个master节点或者并不想浪费master节点的可用空间,这时可以使用如下命令解除master隔离的限制。
kubectl taint nodes --all node-role.kubernetes.io/master-
验证是否成功:
kubectl get pods -n kube-system
所有pod都应该能跑起来了,查看master节点
kubectl get node
2.2 KubeEdge安装
Kubeedge安装方法有两种,一种是下载最新的代码编译出cloudcore和edgecore,另外一种是直接下载社区上的发布版本。
2.3 方法一:采用编译方式
1)下载golang
[root@ke-cloud ~]# wget https://golang.google.cn/dl/go1.14.4.linux-arm64.tar.gz
[root@ke-cloud ~]# tar -zxvf go1.14.4.linux-arm64.tar.gz -C /usr/local
2)配置golang环境
vim /etc/profile
文件末尾添加:
# golang env
export GOROOT=/usr/local/go
export GOPATH=/data/gopath
export PATH=$PATH:$GOROOT/bin:$GOPATH/bin
source /etc/profile
mkdir -p /data/gopath && cd /data/gopath
mkdir -p src pkg bin
3)下载KubeEdge源码,并编译cloudcore、edgecore
git clone https://github.com/kubeedge/kubeedge $GOPATH/src/github.com/kubeedge/kubeedge
cd $GOPATH/src/github.com/kubeedge/kubeedge
make all WHAT=keadm
说明:编译后的二进制文件在./_output/local/bin下,单独编译cloudcore与edgecore的方式:make all WHAT=cloudcore && make all WHAT=edgecore
注意:这里编译出来的kubeadm和edgecore版本,都是x86版本,传到A500上是不能使用的,因此可以考虑在arm服务器上编译,或者直接到库上获取发布版本。
cp cloudcore /usr/local/bin
# 将edgecore拷贝至边缘端
scp edgecore root@edgeip:/usr/local/bin/
4)添加设备
kubectl apply -f $GOPATH/src/github.com/kubeedge/kubeedge/build/crds/devices/devices_v1alpha2_device.yaml
kubectl apply -f $GOPATH/src/github.com/kubeedge/kubeedge/build/crds/devices/devices_v1alpha2_devicemodel.yaml
kubectl apply -f $GOPATH/src/github.com/kubeedge/kubeedge/build/crds/reliablesyncs/cluster_objectsync_v1alpha1.yaml
kubectl apply -f $GOPATH/src/github.com/kubeedge/kubeedge/build/crds/reliablesyncs/objectsync_v1alpha1.yaml
5)创建证书文件
# 清除已有的密钥
kubectl delete secret casecret –nkubeedge
kubectl delete secret cloudcoresecret -nkubeedge [y1]
生成证书文,存放在/etc/kubeedge/目录下ca、certs,将其传到edge端相同目录(提前创建好)
mkdir -p /etc/kubeedge/config
$GOPATH/src/github.com/kubeedge/kubeedge/build/tools/certgen.sh genCertAndKey server
6)部署cloudcore服务
cd /etc/kubeedge/config (yaml必须放在此目录,否则服务起不来)
cloudcore --minconfig >cloudcore.yaml 创建配置文件
进入 cloudcore.service目录
cd $GOPATH/src/github.com/kubeedge/kubeedge/build/tools
vim cloudcore.service
# 将cloudcore的路径修改为真实路径
cp cloudcore.service /lib/systemd/system/
systemctl enable cloudcore
systemctl start cloudcore
systemctl status cloudcore
如果服务启动失败,单独执行cloudcore --config cloudcore.yaml查看具体日志
# 将edgecore.service传至边缘端
scp edgecore.service root@192.168.2.3:/lib/systemd/system/
2.4 方法二:从库上下载的方式
可以直接到发布库上获取对应架构版本的keadm,cloudcore,edgecore版本,
https://github.com/kubeedge/kubeedge/releases/tag/v1.7.2
除了不用编译,其他操作跟方法一是一致的。
3 边缘端环境部署
3.1 安装yum
参考如下链接操作即可:
Atlas500 的EulerOS安装yum (http://xxx.com/km/blogs/details/11490285)
安装完成后,需要部署epel的镜像仓位置,用你我司的镜像仓就可以了。参见附件:
修改如下两个文件,如果没有就新建文件
/etc/yum.repos.d/EulerOS.repo
cat EulerOS.repo [base] name=EulerOS-2.0SP8 base baseurl=http://repo.huaweicloud.com/euler/2.8/os/aarch64/ enabled=1 gpgcheck=1 gpgkey=http://repo.huaweicloud.com/euler/2.8/os/RPM-GPG-KEY-EulerOS |
epel.repo
[epel] name=Extra Packages for Enterprise Linux 7 - $basearch baseurl=http://mirrors.tools.huawei.com/epel/7/$basearch #metalink=https://mirrors.fedoraproject.org/#metalink?repo=epel-7&arch=$basearch&infra=$infra&content=$contentdir failovermethod=priority enabled=1 gpgcheck=1 gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-EPEL-7
[epel-debuginfo] name=Extra Packages for Enterprise Linux 7 - $basearch - Debug baseurl=https://mirrors.tools.huawei.com/epel/7/$basearch/debug #metalink=https://mirrors.fedoraproject.org/#metalink?repo=epel-debug-7&arch=$basearch&infra=$infra&content=$contentdir failovermethod=priority enabled=0 gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-EPEL-7 gpgcheck=1
[epel-source] name=Extra Packages for Enterprise Linux 7 - $basearch - Source baseurl=https://mirrors.tools.huawei.com/epel/7/SRPMS #metalink=https://mirrors.fedoraproject.org/#metalink?repo=epel-source-7&arch=$basearch&infra=$infra&content=$contentdir failovermethod=priority enabled=0 gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-EPEL-7 gpgcheck=1 |
3.2 安装Docker
Atlas500自带docker安装,无需安装
3.3 部署edgecore
1)修改主机名
主机名必须为小写字母,从arm环境获取hostnamectl工具(which hostnamectl)
hostnamectl set-hostname euler27
如果没有这个工具也可以直接修改,网上有很多介绍
1、 修改/etc/sysconfig/network中的hostname 2、 修改/etc/hosts文件(IP与主机名对应,DNS解析的时候有用) 3、 修改/etc/hostname |
2)部署kubeEdge镜像
把前面下载的keadm和edgecore分别解压,并把对应的执行文件放到如下目录
cp keadm /usr/bin
cp keadm /usr/local/bin
3)部署edgecore服务
mkdir -p /etc/kubeedge/config && cd /etc/kubeedge/config
edgecore --minconfig > edgecore.yaml
在cloud端执行keadm gettoken获取token
然后在边缘端使用keadm来初始,命令如下:
keadm join --cloudcore-ipport= EDGE_IP:10000 --kubeedge-version=1.7.2 --token=480cba67b95454aacface05d4f612d2c5a9748d2772356f170fcc906e7948ff0.eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJleHAiOjE2MzEzMjEwMzh9.ff5uFhhG6stg-2hqlbzW1SyCaFRJLD5xguAHKGrG-6Y
EDGE_IP就是cloud端的IP地址。
边缘节点加入后,能够在master上看到节点情况,如果状态为ready,说明加入正常
一般来说,在过程中都会出现一些问题,需要注意以下问题:
1、 需要配置proxy,proxy配置方法参考2.1.1,这样可以直接拉取镜像。
2、 缺少一些基础库,这种情况可以直接通过yum来安装,比如epel
3、 经常出现的一些问题如FAQ 5.6~8,主要还是代理和证书校验的问题,这些问题解决后,一般可以拉取成功。
3.4 安装和部署deviceplugin
Deviceplugin是昇腾提供的插件,主要用于向K8S master上报NPU相关的信息,如果没有这插件,边缘设备的NPU就无法被调度到。
3.4.1 安装deviceplugin
1、下载相关应用并制作容器镜像
边缘部署的时候需要安装plugin,步骤是先下载plugin的应用程序,制作成容器镜像,并使用K8S进行部署。由于A500是arm架构,因此要下载arm版本的程序,并在a500上制作镜像。然后通过master节点部署。
外部用户参考这个地方进行下载,需要进行权限申请,相对比较麻烦。https://www.hiascend.com/software/mindx-dl/download
将Ascend-mindxdl-device-plugin_2.0.2_linux-aarch64.zip解压A500的目录中,使用下面的命令制作容器
docker build -t ascend-k8sdeviceplugin:v2.0.2 .[y2]
制作容器的时候,容器镜像的名称,需要跟device-plugin-310-v2.0.2.yaml中保持一致,否则部署的时候会出问题
制作镜像过程如下:
docker build -t ascend-k8sdeviceplugin:v2.0.2 . (注意后面有个点点)
注意这个build操作,要在A500或者ARM环境上操作,X86的服务器上build出来,架构不一致无法使用。
>/etc/profile"echo'source/etc/profile'>>一/.bashr. 一>Runninginias4b737edlb Removingintermediatecontainerla84b737edlb -一》93ce78c43b07 Successfullybuilt93ce78c43b07 Successfullytaggedascend一kssdeviceplugin:vZ.0.2" style="width:432.75pt;height:189pt;visibility:visible;mso-wrap-style:square">
docker images
如果是本节点使用,这个镜像就可以使用了,如果是还有其他节点需要使用,可以使用dokcer save命令,将镜像保存出来,可以在其他环境使用
docker save -o Ascend-device-plugin_2.0.2_linux-aarch64.tar.gz ascend-k8sdeviceplugin:v2.0.2
3.4.2 部署deviceplugin
部署推理任务参考
https://support.huawei.com/enterprise/zh/doc/EDOC1100207064/3a1c6839
推理任务部署的yaml定义
由于A500的edgecore中有关于npu的上报开关,因此需要打开一下。
vi /etc/kubeedge/config/edgecore.yaml,把devicePluginEnabled这个地方改成true
systemctl restart edgecore
systemctl status edgecore
如果edgecore服务启动失败,可以执行edgecore --config edgecore.yaml查看启动日志
在cloud侧,对边缘节点打标签
参考链接中的方法,对master和edge节点打标签,https://support.huawei.com/enterprise/zh/doc/EDOC1100207064/ccf79def
标签序号 |
命令 |
说明 |
1 |
kubectl label nodes主机名称 node-role.kubernetes.io/worker=worker |
该命令为识别K8s的计算节点,其中“主机名称”为所有计算节点名。 |
3 |
kubectl label nodes 主机名称 accelerator=huawei-Ascend310 |
该命令为识别昇腾310 AI处理器节点,其中“主机名称”为所有推理节点名。 |
5 |
kubectl label nodes 主机名称 masterselector=dls-master-node |
该命令为识别MindX DL的管理节点,其中“主机名称”为管理节点名。 |
6 |
kubectl label nodes主机名称 workerselector=dls-worker-node |
该命令为识别MindX DL的计算节点,其中“主机名称”为所有计算节点名。 |
7 |
kubectl label nodes 主机名称 host-arch=huawei-x86 |
该命令为识别x86架构的节点,其中“主机名称”为所有x86架构的计算节点名。 |
8 |
kubectl label nodes 主机名称 host-arch=huawei-arm |
该命令为识别ARM架构的节点,其中“主机名称”为所有ARM架构的计算节点名。 |
对于A500,需要修改device-plugin-310-v2.0.2.yaml中如下红色的部分,把hiai-driver的路径修改正确,并上传到cloud侧的任何目录
volumes: - name: device-plugin hostPath: path: /var/lib/kubelet/device-plugins - name: hiai-driver hostPath: path: /home/data/miniD/driver - name: log-path hostPath: path: /var/log/mindx-dl/devicePlugin type: Directory - name: localtime |
在cloud侧执行命令,部署deviceplugin
kubectl apply -f device-plugin-310-v2.0.2.yaml
然后再检查边缘侧npu资源能否获取到,在Cloud端执行
kubectl get node
kubectl describe node euler27
4 推理任务下发
4.1 环境准备
安装驱动、固件
按照CANN用户指南手动制作docker镜像,如果有现成的,可以直接导入镜像。
完成后使用docker images查看是否存在
4.2 使用yaml跑通推理任务
编写yaml
apiVersion: batch/v1
kind: Job
metadata:
name: ke-infer
#namespace: kube-system
spec:
template:
spec:
nodeSelector:
accelerator: huawei-Ascend310
containers:
- image: ubuntu-a500:v1
imagePullPolicy: IfNotPresent
name: ubuntu-a500
command:
- "/bin/bash"
- "-c"
- "cd /home/test; cd out; ./main"
#args: [ "while true; do sleep 30000; done;" ]
resources:
resources:
requests:
huawei.com/Ascend310: 1
limits:
huawei.com/Ascend310: 1
volumeMounts:
- name: ascend-dirver
mountPath: /home/data/miniD/driver
- name: slog
mountPath: /var/log/npu/conf/slog/
- name: test
mountPath: /home/test
- name: npu-smi
mountPath: /usr/local/bin/npu-smi
- name: timezone
mountPath: /etc/timezone
- name: localtime
mountPath: /etc/localtime
volumes:
- name: ascend-dirver
hostPath:
path: /home/data/miniD/driver
- name: slog
hostPath:
path: /var/log/npu/conf/slog/
- name: test
hostPath:
path: /etc/kubeedge/acl_resnet50_sample/
- name: npu-smi
hostPath:
path: /usr/local/bin/npu-smi
- name: timezone
hostPath:
path: /etc/timezone
- name: localtime
hostPath:
path: /etc/localtime
restartPolicy: OnFailure
启动任务,cloud端执行
kubectl apply -f infer.yaml
查看pod
4.3 结果观察
边缘端查看container id,使用docker ps -a
观察推理输出:docker logs -f d44c4be8a32d
4.4 删除推理任务
kubectl delete -f infer.yaml
5 FAQ
5.1 kubeadm init拉取镜像失败,提示证书校验失败
现象:
解决办法:
在配置的时候要把https://k8s.gcr.io加入到免认证的网站列表,否则就需要去配置证书,我们下载的时候可以配置诚免校验。参考: http://xxx.com/km/blogs/details/6314139
cat daemon.json
{
"registry-mirrors": [
"https://docker.mirrors.ustc.edu.cn",
"http://hub-mirror.c.163.com",
],
"insecure-registries": [
"rnd-dockerhub.huawei.com",
"docker-hub.tools.huawei.com",
"registry.me:5000",
"http://docker.mirrors.ustc.edu.cn" ,
5.2 kubeadm init拉取镜像失败,提示超时
kubeadm init --kubernetes-version=1.17.3 --apiserver-advertise-address=10.71.233.24 --pod-network-cidr=192.168.0.0/16 的时候提示超时
解决办法:
export no_proxy="10.71.xx.xx,127.0.0.1,.huawei.com,localhost,local,.local"
注意:本地节点的IP地址要配置到no_proxy中,否则后面kubeadm init的时候会出现错误。
5.3 calico一直有两个是pending状态
解决办法:
calico.yaml的版本不对,要更新到320版本以上
5.4 编译keadm的时候,提示go语言版本不对,但是实际已经安装了最新版本的go
解决办法:主要原因是usr/bin目录下的文件链接没修改过来,还一直链接到旧版本。
root@ubuntu:/usr/bin# ls -ll |grep go
-rwxr-xr-x 1 root root 5730672 Feb 12 2021 aarch64-linux-gnu-ld.gold
lrwxrwxrwx 1 root root 21 Feb 28 2018 go -> ../lib/go-1.10/bin/go
-rwxr-xr-x 2 root root 3454104 Aug 5 05:18 gofmt
lrwxrwxrwx 1 root root 24 Feb 28 2018 gofmt~ -> ../lib/go-1.10/bin/gofmt
lrwxrwxrwx 1 root root 21 Feb 12 2021 gold -> x86_64-linux-gnu-gold
lrwxrwxrwx 1 root root 24 Feb 12 2021 ld.gold -> x86_64-linux-gnu-ld.gold
lrwxrwxrwx 1 root root 24 Feb 12 2021 x86_64-linux-gnu-gold -> x86_64-linux-gnu-ld.gold
-rwxr-xr-x 1 root root 3111952 Feb 12 2021 x86_64-linux-gnu-ld.gold
把之前的链接删掉,然后重新用下面的命令就好了。
ln -s /usr/local/go/bin/* /usr/bin/
5.5 keadm join的时候提示Failed to synchronize cache for repo 'base'
keadm join --cloudcore-ipport=<ip:port address> --edgenode-name=<unique string as edge identifier>
- For this command --cloudcore-ipport flag is a required option
- This command will download and install the default version of pre-requisites and KubeEdge
keadm join --cloudcore-ipport=10.20.30.40:10000 --edgenode-name=testing123 --kubeedge-version=1.5.0
Flags:
--certPath string The certPath used by edgecore, the default value is /etc/kubeedge/certs (default "/etc/kubeedge/certs")
-s, --certport string The port where to apply for the edge certificate
--cgroupdriver string CGroupDriver that uses to manipulate cgroups on the host (cgroupfs or systemd), the default value is cgroupfs
-e, --cloudcore-ipport string IP:Port address of KubeEdge CloudCore
-i, --edgenode-name string KubeEdge Node unique identification string, If flag not used then the command will generate a unique id on its own
-h, --help help for join
--kubeedge-version string Use this key to download and use the required KubeEdge version
-p, --remote-runtime-endpoint string KubeEdge Edge Node RemoteRuntimeEndpoint string, If flag not set, it will use unix:///var/run/dockershim.sock
-r, --runtimetype string Container runtime type
--tarballpath string Use this key to set the temp directory path for KubeEdge tarball, if not exist, download it
-t, --token string Used for edge to apply for the certificate
F0910 11:57:18.129816 31335 keadm.go:27] failed to exec 'bash -c yum -y install mosquitto', err: Failed to synchronize cache for repo 'base', ignoring this repo.
Failed to synchronize cache for repo 'epel', ignoring this repo.
Error: Unable to find a match
DNS
配置一下下面两个路由:
cat /etc/hosts
127.0.0.1 euler27 localhost localhost.localdomain localhost4 localhost4.localdomain4
::1 euler27 localhost localhost.localdomain localhost6 localhost6.localdomain6
172.18.100.92 proxyhk.huawei.com
7.223.219.40 mirrors.tools.huawei.com
5.6 安装mosquitto提示校验失败
yum -y install mosquitto
Extra Packages for Enterprise Linux 7 - aarch64
…
EulerOS-2.0SP8 base 7.8 kB/s | 1.7 kB 00:00
The downloaded packages were saved in cache until the next successful transaction.
You can remove cached packages by executing 'dnf clean packages'.
Traceback (most recent call last):
File "/usr/bin/yum", line 58, in <module>
main.user_main(sys.argv[1:], exit_code=True)
File "/usr/lib/python3.7/site-packages/dnf/cli/main.py", line 179, in user_main
errcode = main(args)
File "/usr/lib/python3.7/site-packages/dnf/cli/main.py", line 64, in main
return _main(base, args, cli_class, option_parser_class)
File "/usr/lib/python3.7/site-packages/dnf/cli/main.py", line 99, in _main
return cli_run(cli, base)
File "/usr/lib/python3.7/site-packages/dnf/cli/main.py", line 123, in cli_run
ret = resolving(cli, base)
File "/usr/lib/python3.7/site-packages/dnf/cli/main.py", line 154, in resolving
base.do_transaction(display=displays)
File "/usr/lib/python3.7/site-packages/dnf/cli/cli.py", line 227, in do_transaction
self.gpgsigcheck(install_pkgs)
File "/usr/lib/python3.7/site-packages/dnf/cli/cli.py", line 279, in gpgsigcheck
self._get_key_for_package(po, fn)
File "/usr/lib/python3.7/site-packages/dnf/base.py", line 2265, in _get_key_for_package
keys = dnf.crypto.retrieve(keyurl, repo)
File "/usr/lib/python3.7/site-packages/dnf/crypto.py", line 177, in retrieve
keyinfos = rawkey2infos(handle)
File "/usr/lib/python3.7/site-packages/dnf/crypto.py", line 158, in rawkey2infos
with pubring_dir(pb_dir), Context() as ctx:
File "/usr/lib64/python3.7/site-packages/gpg/core.py", line 206, in __init__
self.protocol = protocol
File "/usr/lib64/python3.7/site-packages/gpg/core.py", line 161, in __setattr__
super(GpgmeWrapper, self).__setattr__(key, value)
File "/usr/lib64/python3.7/site-packages/gpg/core.py", line 885, in protocol
errorcheck(gpgme.gpgme_engine_check_version(value))
File "/usr/lib64/python3.7/site-packages/gpg/errors.py", line 120, in errorcheck
raise GPGMEError(retval, extradata)
gpg.errors.GPGMEError: GPGME: Invalid crypto engine
File "/usr/lib64/python3.7/site-packages/gpg/errors.py", line 120, in errorcheck
raise GPGMEError(retval, extradata)
gpg.errors.GPGMEError: GPGME: Invalid crypto engine
解决办法:
在安装的时候加上--nogpgcheck
euler27:/var/lib/docker/zyh/rpm2 # yum -y install mosquitto --nogpgcheck
5.7 获取kubeedge的时候,提示网址不可信
--2021-09-10 12:50:23-- https://github.com/kubeedge/kubeedge/releases/download/v1.7.2/checksum_kubeedge-v1.7.2-linux-arm64.tar.gz.txt
Resolving proxyhk.huawei.com (proxyhk.huawei.com)... 172.18.100.92
Connecting to proxyhk.huawei.com (proxyhk.huawei.com)|172.18.100.92|:8080... connected.
ERROR: The certificate of ‘github.com’ is not trusted.
ERROR: The certificate of ‘github.com’ hasn't got a known issuer.
解决办法:加上--no-check-certificate选项
wget https://github.com/kubeedge/kubeedge/releases/download/v1.7.2/checksum_kubeedge-v1.7.2-linux-arm64.tar.gz.txt --no-check-certificate
6 附录
6.1 参考链接
https://docs.kubeedge.io/en/v1.5.0/setup/local.html
https://github.com/kubeedge/kubeedge/tree/master
https://blog.csdn.net/qq_24489251/article/details/108775479
http://xxx.com/km/blogs/details/8578357