使用QEMU搭建ARM64实验环境

Posted 2021-05-20 宋宝华

1.开场白

环境：

处理器架构：arm64

内核源码：linux-5.9.2

ubuntu版本：20.04.1

代码阅读工具：vim+ctags+cscope

对于Ｌinux爱好者，你是否也有这样的困扰，为了学习Ｌinux而去购买昂贵的开发版，这大可不必，QEMU模拟器几乎可以满足你的需求，足够你去学习Linux，它能够模拟x86, arm, riscv等各种处理器架构，本文将向你呈现的不是QEMU/虚拟化的原理解读，而是如何搭建一个用于学习linux的QEMU环境，当然对于Ｌinux内核的学习这已经足够了。

注：这篇文章是之前写的，当时最新内核版本是linux-5.9.２，不想做重复工作，现在基本上都使用linux-5.11内核讲解代码，但是qemu环境搭建基本一致，且本文暂不涉及虚拟化讲解。

2.交叉编译工具链的安装

工欲善其事必先利其器，搭建ＱＥＭＵ的模拟环境首先需要下载安装对应架构的交叉编译工具链(这里是arm64架构): 注：有时候需要安装一些依赖，根据提示安装即可！

$ sudo apt-get install gcc-aarch64-linux-gnu `

安装完成之后查看版本说明安装完成：

$ aarch64-linux-gnu-gcc -v
Using built-in specs.
COLLECT_GCC=aarch64-linux-gnu-gcc
COLLECT_LTO_WRAPPER=/usr/lib/gcc-cross/aarch64-linux-gnu/5/lto-wrapper
Target: aarch64-linux-gnu
Configured with: ../src/configure -v --with-pkgversion='Ubuntu/Linaro 5.5.0-12ubuntu1' --with-bugurl=file:///usr/share/doc/gcc-5/README.Bugs --enable-languages=c,ada,c++,go,d,fortran,objc,obj-c++ --prefix=/usr --program-suffix=-5 --enable-shared --enable-linker-build-id --libexecdir=/usr/lib --without-included-gettext --enable-threads=posix --libdir=/usr/lib --enable-nls --with-sysroot=/ --enable-clocale=gnu --enable-libstdcxx-debug --enable-libstdcxx-time=yes --with-default-libstdcxx-abi=new --enable-gnu-unique-object --disable-libquadmath --enable-plugin --enable-default-pie --with-system-zlib --enable-multiarch --enable-fix-cortex-a53-843419 --disable-werror --enable-checking=release --build=x86_64-linux-gnu --host=x86_64-linux-gnu --target=aarch64-linux-gnu --program-prefix=aarch64-linux-gnu- --includedir=/usr/aarch64-linux-gnu/include
Thread model: posix
gcc version 5.5.0 20171010 (Ubuntu/Linaro 5.5.0-12ubuntu1) 

3.QEMU的安装

下面安装我们的QEMU，当然我们可以下载QEMU的源码通过编译的方式安装，但这里我们是直接apt-get的这种方式安装：

$ sudo apt-get install qemu-system-arm

安装完成之后同样查看版本号：

$ qemu-system-aarch64 --version
QEMU emulator version 4.2.0
Copyright (c) 2003-2019 Fabrice Bellard and the QEMU Project developers

说明安装成功！

4．根文件系统制作

这一步我们将要完成的是最小的根文件系统，虽然是最小的根文件系统，但是我们还是希望能够运行动态编译的应用程序，具体的制作过程如下：

１）首先准备下载一份Busybox源码：Busybox的官方源码下载路径为：

http://busybox.net/downloads/

这里我们使用的是busybox-1.28.1：

2）解压源码

tar xvf busybox-1.28.1.tar.bz2

3）进入源码目录

cd busybox-1.28.1

4)指定工具链

export ARCH=arm64
export CROSS_COMPILE=aarch64-linux-gnu-

5)配置

make menuconfig 1 静态编译：

Settings --->
 [*] Build static binary (no shared libs)   

6)编译安装

make
make install

7)完善其他目录结构 上面我们编译安装完成之后会在busybox源码目录的_install目录下生成必要的一些文件：

$ ls
bin  linuxrc  sbin  usr

可以看到都是一些命令相关的文件已经作为init进程的linuxrc，缺少其他的一些配置文件等目录，所以需要进一步完善。

我们来创建其他需要的目录：

mkdir dev etc lib sys proc tmp var home root mnt  

我们主要需要更新etc、dev和lib目录：

１）对于etc目录的更新：

添加profile文件：

#!/bin/sh
export HOSTNAME=liebao
export USER=root
export HOME=/home
export PS1="[$USER@$HOSTNAME \\W]\\# "
PATH=/bin:/sbin:/usr/bin:/usr/sbin
LD_LIBRARY_PATH=/lib:/usr/lib:$LD_LIBRARY_PATH
export PATH LD_LIBRARY_PATH

可以看到我们自定义了命令提示符，cd进入了我们制定的家目录homes,导出了环境变量。

添加inittab文件：

::sysinit:/etc/init.d/rcS
::respawn:-/bin/sh
::askfirst:-/bin/sh
::ctrlaltdel:/bin/umount -a -r

这个是init进程解析的配置文件，通过这个配置文件决定执行哪个进程，何时执行。

添加fstab文件：

#device  mount-point    type     options   dump   fsck order
proc /proc proc defaults 0 0
tmpfs /tmp tmpfs defaults 0 0
sysfs /sys sysfs defaults 0 0
tmpfs /dev tmpfs defaults 0 0
debugfs /sys/kernel/debug debugfs defaults 0 0
kmod_mount /mnt 9p trans=virtio 0 0

指定挂载的文件系统。

创建init.d目录：

mkdir  init.d

init.d下添加rcS文件：

 mkdir -p /sys
mkdir -p /tmp
mkdir -p /proc
mkdir -p /mnt
/bin/mount -a
mkdir -p /dev/pts
mount -t devpts devpts /dev/pts
echo /sbin/mdev > /proc/sys/kernel/hotplug
mdev -s

到此我们etc下的文件都制作好了,目录结构如下：

$ tree
.
├── fstab
├── init.d
│   └── rcS
├── inittab
└── profile

1 directory, 4 files

２）制作dev下必要文件：

cd dev/
sudo mknod console c 5 1

1. 制作lib下必要文件：为了支持动态编译的应用程序的执行，根文件系统需要支持动态库，所以我们添加arm64相关的动态库文件到lib下：

cd lib
cp /usr/aarch64-linux-gnu/lib/*.so* -a .

对库文件进行瘦身（去除符号表和调试信息）,使得库文件变小：

aarch64-linux-gnu-strip *

至此，我们的最小的根文件系统已经全部制作完成！

5．内核源码的编译

１）下载最新的Ｌiunx内核源码：

官网下载最新的Ｌinux-5.9.２内核：http://www.kernel.org/pub/linux/kernel/

２）解压

tar xvf linux-5.9.2.tar.xz

３）放置根文件系统到源码目录：

cd linux-5.9.2
cp  ../../busybox-1.31.1/_install  _install_arm64 -a

４）配置

添加hotplug支持：

diff --git a/arch/arm64/configs/defconfig b/arch/arm64/configs/defconfig
index 6d04b9577..f89143b69 100644
--- a/arch/arm64/configs/defconfig
+++ b/arch/arm64/configs/defconfig
@@ -1043,3 +1043,6 @@ CONFIG_DEBUG_KERNEL=y

 #CONFIG_DEBUG_PREEMPT is not set
 #CONFIG_FTRACE is not set
 CONFIG_MEMTEST=y
+
+CONFIG_UEVENT_HELPER=y
+CONFIG_UEVENT_HELPER_PATH="/sbin/hotplug"

添加initramfs的支持：

diff --git a/arch/arm64/configs/defconfig b/arch/arm64/configs/defconfig
index f89143b69..caa7a34bf 100644
--- a/arch/arm64/configs/defconfig
+++ b/arch/arm64/configs/defconfig
@@ -1046,3 +1046,5 @@ CONFIG_MEMTEST=y
 
 CONFIG_UEVENT_HELPER=y
 CONFIG_UEVENT_HELPER_PATH="/sbin/hotplug"
+
+CONFIG_INITRAMFS_SOURCE="_install_arm64"

４）编译

现在进行漫长的编译过程，编译的快慢取决于电脑的性能：

export ARCH=arm64
export CROSS_COMPILE=aarch64-linux-gnu-
make defconfig
make all -j8 

6.开始体验

１）创建共享目录

$ mkdir kmodules

用于主机和qemu运行的系统进行共享文件。

２）运行ｑｅｍｕ模拟器：

qemu-system-aarch64 -machine virt -cpu cortex-a57 -machine type=virt \\
 -m 1024 -smp 4 -kernel arch/arm64/boot/Image --append "rdinit=/linuxrc root=/dev/vda rw console=ttyAMA0 loglevel=8"  -nographic \\
 --fsdev local,id=kmod_dev,path=$PWD/kmodules,security_model=none \\
 -device virtio-9p-device,fsdev=kmod_dev,mount_tag=kmod_mount

其中：-cpu指定了模拟的cpu为 cortex-a57，-m 1024 指定内存大小为１Ｇ, -smp 4指定模拟的系统为４核处理器 ，-kernel指定启动的内核镜像， --append指定传递的命令行参数，后面的选项指定共享目录已经使用的９P协议。

运行起来之后就进入了跟文件系统：

Please press Enter to activate this console. 
[root@liebao ]# 
[root@liebao ]# 
[root@liebao ]# 
[root@liebao ]# uname -a
Linux (none) 5.9.2-gacff57f0a #1 SMP PREEMPT Sat Oct 31 11:03:25 CST 2020 aarch64 GNU/Linux

可以看到内核版本是我们编译的新的Ｌinux-5.9.２内核，到处我们成功搭建了ＱＥＭＵ环境来运行我们的新内核。

３）使用模拟磁盘

上面我们使用initramfs的方式将我们的根文件系统的目录直接打包到内核源码，成为了内核的一部分，当然这个时候可以操作文件，但是文件都是在内存中，系统重启就会丢失，所以下面我们使用模拟磁盘的方式来挂载根文件系统。

制作磁盘文件：

dd if=/dev/zero of=rootfs_ext4.img bs=1M count=8192
mkfs.ext4 rootfs_ext4.img
mkdir -p tmpfs
mount -t ext4 rootfs_ext4.img tmpfs/ -o loop
cp -af _install_arm64/* tmpfs/
umount tmpfs
rm -rf tmpfs
chmod 777 rootfs_ext4.img

执行qemu命令：

qemu-system-aarch64 -machine virt -cpu cortex-a57 -machine type=virt \\
          -m 1024 -smp 4 -kernel arch/arm64/boot/Image --append "noinitrd root=/dev/vda rw console=ttyAMA0 loglevel=8"  -nographic \\
-driver if=none,file=rootfs_ext4.img,id=hd0 \\
          -device virtio-blk-device,drive=hd0 \\
          --fsdev local,id=kmod_dev,path=$PWD/kmodules,security_model=none \\
          -device virtio-9p-device,fsdev=kmod_dev,mount_tag=kmod_mount

我们可以发现，传递给内核的命令行参数变化了，添加了noinitrd选项，这样就会挂载我们自己的模拟磁盘。

同样能进入到最小文件系统，但是这次我们查看：

[root@liebao ]# df -mh
Filesystem                Size      Used Available Use% Mounted on
/dev/root                 7.8G    148.5M      7.3G   2% /
devtmpfs                468.4M         0    468.4M   0% /dev
tmpfs                   489.8M         0    489.8M   0% /tmp
kmod_mount              901.1G    672.5G    182.8G  79% /mnt

可以看到大小为８Ｇ的磁盘可以我们使用，而且文件的操作重启之后不会丢失！！！

４）共享文件

前面已经支持了主机和ｑｅｍｕ上的系统共享目录，这个目录就是kmodules目录：通过mount可以查看被挂载到了ｑｅｍｕ上的系统的/mnt目录下

在主机的内核源码目录的kmodules目录中ｅｃｈｏ一个文件：

$ echo "Hello QEMU" > test.txt

然后进入到我们启动ｑｅｍｕ的内核根文件系统的/mnt目录：

[root@liebao ]# cd /mnt/
[root@liebao mnt]# ls
[root@liebao mnt]# ls
test.txt
[root@liebao mnt]# 
[root@liebao mnt]# cat test.txt 
Hello QEMU

可以看到我们之前写的文件，共享目录ＯＫ!

5）测试 －>应用测试：我们来写一个简单的hello world应用程序，体验一下在ＱＥＭＵ中的系统执行：源码如下：

#include <stdio.h>
  
  int main(int argc, char **argv)
  {
  
          printf("Hello World, QEMU!!!\\n");
              
          return 0;
  }

然后使用交叉编译工具链动态编译：

$ aarch64-linux-gnu-gcc test.c -o test

拷贝到共享目录下：

cp test ../../kmodules/

在ＱEMU系统中，进入/mnt目录下执行：

[root@liebao mnt]# ./test
Hello World, QEMU!!!

可以发现被成功执行了，说明模拟出来的系统可以运行应用程序，而且可以使用动态链接库！！！

->内核模块测试：下面写一个简单的内核模块：

Ｍakefile文件：

export ARCH=arm64
export CROSS_COMPILE=aarch64-linux-gnu-

KERNEL_DIR ?=  /home/hanch/study/kernel/linux-5.9.2
obj-m := module_test.o

modules:
 $(MAKE) -C $(KERNEL_DIR) M=$(PWD) modules

clean:
 $(MAKE) -C $(KERNEL_DIR) M=$(PWD) clean

install:
 cp *.ko $(KERNEL_DIR)/kmodules

内核模块文件module_test.c：

#include <linux/init.h>
#include <linux/module.h>
 #include <linux/kernel.h>
  
  static int __init module_test_init(void)
  {
          printk("module_test_init\\n");
          return 0;
  }    
  
  static void __exit module_test_exit(void)
  {
          printk("module_test_exit\\n");
  }
  
  
  module_init(module_test_init);
  module_exit(module_test_exit);
  MODULE_LICENSE("GPL");

编译拷贝：

$ make modules 
make -C /home/hanch/study/kernel/linux-5.9.2 M=/home/hanch/study/kernel/linux-5.9.2/mydriver/module_eg modules
make[1]: 进入目录“/home/hanch/study/kernel/linux-5.9.2”
  CC [M]  /home/hanch/study/kernel/linux-5.9.2/mydriver/module_eg/module_test.o
  MODPOST /home/hanch/study/kernel/linux-5.9.2/mydriver/module_eg/Module.symvers
  CC [M]  /home/hanch/study/kernel/linux-5.9.2/mydriver/module_eg/module_test.mod.o
  LD [M]  /home/hanch/study/kernel/linux-5.9.2/mydriver/module_eg/module_test.ko
make[1]: 离开目录“/home/hanch/study/kernel/linux-5.9.2”

$ make install 
cp *.ko /home/hanch/study/kernel/linux-5.9.2/kmodules

到QEMU的内核系统中，进入/mnt目录下：执行模块的插入/移除:

[root@liebao mnt]# insmod module_test.ko 
[ 1406.614976] module_test_init
[root@liebao mnt]# lsmod 
module_test 16384 0 - Live 0xffff800008d40000 (O)
[root@liebao mnt]# rmmod module_test
[ 1424.748114] module_test_exit

内核模块也正常运行！！！

文章到这里关于ＱＥＭＵ体验最新的Ｌinux内核已经完成了，当然ＱＥＭＵ有多功能在此不在描述，目前配置的ＱＥＭＵ环境已经足够内核的学习和实际，只有大量的内核源代码＋在一种体系架构的处理器上实际内核才能真正的去理解内核的实现机理，才能更好去使用内核。