ironic-2

ironic调研（二）目标ironic采用pxe_impitooldriver管理真实裸机步骤前提：已经按照ironic调研（一）使用devstack进行过一次部署1.清理之前安装./unstack.sh2.更改local.conf配置，增加以下选项：说明：是基于ironic调研（一）中local.conf配置修改OFFLINE=TrueIRONIC_DEPLOY_DRIVER=pxe_ipmitoolQ_USE_PROVIDER_NETWORKING=TrueQ_L3_ENABLED=FalsePHYSICAL_NETWORK=ph1PROVIDER_NETWORK_TYPE=flatOVS_PHYSICAL_BRIDGE=br-ph#enp7s0f1是第二块网卡，和裸机网卡处于同一交换机上（处于同一广播域）PUBLIC_INTERFACE=enp7s0f1IRONIC_HW_NODE_RAM=5120IRONIC_HW_NODE_CPU=4注释掉选项：注释之前：enable_serviceq-l3注释之后：#enable_serviceq-l33.设置网络ipaddradd10.1.0.1/24devenp7s0f1说明：devstack脚本会建立bridgebr-ph,并把enp7s0f1挂到br-ph上，ip也会移到br-ph上。可以发现10.1.0.1是fixediprange并且是网关，由于在使用ironic的情况下，裸机相当与虚拟机，所分到的ip也是从fixedip中拿到的。4.添加裸机信息mkdir/opt/stack/data/ironic#按照ipmi_addressmac_addressipmi_useripmi_passwd格式echo172.16.128.236c:92:bf:0d:20:a8adminadmin/opt/stack/data/ironic/hardware_info注意：1.如果裸机有多块网卡，mac地址对应的网卡一定要和enp7s0f1处于同一广播域下，否者之后裸机启动时，pxe找不到dhcp服务2.可以通过ps-ef|grepdns命令查看dhcp是否启动，dnsmasq会在第一次有执行novaboot之后启动5.重新创建deploykernel和deployramdiskramdisk-image-create--offlineubuntudeploy-ironic-o/home/stack/devstack/files/ir-deploy-pxe_impitool6.执行stack.sh脚本./stack.shrunlog2&1&部署完成之后ovs-vsctlshow如下：7.创建裸机系统镜像disk-image-createubuntubaremetaldhcp-all-interfaceslocal-config-oubuntu--offline执行完之后会有ubuntu.vmlinuz，ubuntu.initrd，ubuntu.qcow2三个文件上传到glance中：glanceimage-create--namemy-kernel--is-publicTrue--disk-formatakiubuntu.vmlinuzglanceimage-create--namemy-image.initrd--is-publicTrue--disk-formatariubuntu.initrdglanceimage-create--namemy-image--is-publicTrue--disk-formatqcow2--container-formatbare--propertykernel_id=$MY_VMLINUZ_UUID--propertyramdisk_id=$MY_INITRD_UUIDubuntu.qcow28.启动裸机novaboot--imagebuntuimageuuid--flavorbaremetaidtest启动流程1.novaboot命令启动2.RESTAPI请求ironic-api3.ironic-apirpc请求ironic-conductor，conductor从glance拉取deploy-kernel,deploy-ramdisk,已及镜像的ramdisk,kernel,qcow2放到tftpserver下通知neutron设置dhcp服务，根据之前设置的mac地址4.conductor执行ipmi命令启动裸机5.裸机启动后，进行pxe启动，找dhcp服务，dnsmsq根据3步中设置的mac地址匹配，分配ip，和给出tftp地址6.裸机根据tftp地址下载deploy-kernel,deploy-ramdisk启动，并下载景象文件7.裸机重启，下载景象的ramdisk和kerneldisk启动8.完成启动，进入登陆界面过程截图1.加载deploykernel和deployramdisk景象通过tcpdum-vvv-n-ibr-phport69查看请求通过iftop-ibr-ph查看流量2.加载镜像kernel和ramdisk3.login其他1.webconsoleIPMISOL(Serial-over-LAN)+shellinabox使用方式：1.设置端口#端口自己设定，用来做webconsole的端口ironicnode-update47dcc977-a93f-4134-a36c-44a6484765a2adddriver_info/ipmi_terminal_port=6232.验证console可以用ironicnode-validate47dcc977-a93f-4134-a36c-44a6484765a23.安装shellinabox#如果找不到包，先安装yuminstallepel-releaseyuminstallshellinabox4.enableconsole#可以通过lsof-i:623查看是否启动成功，623是第一步设置的portIronicnode-set-console-mode47dcc977-a93f-4134-a36c-44a6484765a2true5.getconsoleironicnode-get-console47dcc977-a93f-4134-a36c-44a6484765a26.设置防火墙，打开端口iptables-tfilter-Anova-api-INPUT-d10.16.128.104/32-ptcp-mtcp--dport623-jACCEPT7.打开浏览器，访问10.16.128.104:623说明：ironic通过执行命令：shellinaboxd-t-p623--background=/tmp/47dcc977-a93f-4134-a36c-44a6484765a2.pid-s/:1000:1000:HOME:ipmitool–H172.16.128.23-Ilanplus-Uadmin-f/tmp/47dcc977-a93f-4134-a36c-44a6484765a2.pw-vsolactivate实现webconsole。其他方案:目前ironic实现了此方案的console访问。其实可以通过下载jviewer.jnlp来访问console，不过接口需要自己实现。2.裸机磁盘情况当引导镜像load完之后，会启动裸机iscsiserver，ironic-conductor通过挂载iscsi磁盘，然后dd镜像到裸机上。从conductor机器上可以看到ps-ef|grepiscsi命令完成裸机系统安装后，磁盘没有被格式化，通过fdisk-l和du-h查看到：问题1.从启动，到裸机安装完成，整个过程耗时在1个小时，原因发现在加载deploykernel、deployramdisk，镜像kernel和ramdisk时非常耗时，通过iftop发现，速度在200Kb左右，下载qcow2镜像时速度在2Mb左右，导致整个过程耗时很大2.裸机在每次启动时，都会重新下载镜像kernel和ramdisk，这导致裸机启动也很慢3.启动完成后，能够ping通裸机，可以ssh通，但无法使用密钥登陆进去问题3解决镜像做的有问题，做一下修改：cd/usr/share/diskimage-builder/elements/local-config/install.dtouch63-conf-userchmod75563-conf-usercatEOF63-conf-user#!/bin/bash#adduserandchangepasswd#youcanchangethescriptset-euset-opipefailecho-e123456\n123456|passwdrootuseraddlyz-s/bin/bash-d/home/lyz-p123456echo-e123456\n123456|passwdlyzecholyzALL=(ALL)NOPASSWD:ALL/etc/sudoers#enablesshusepasswdinput/bin/sed-is/PasswordAuthenticationno/PasswordAuthenticationyes//etc/ssh/sshd_configEOF#重新创建镜像disk-image-createubuntubaremetaldhcp-all-interfaceslocal-config--offline-oimage#镜像重新upload到glance中#省略，具体查看前面：7.创建裸机系统镜像