• Ubuntu 16.04 下，gstreamer 1.12 已經安裝在/opt/目錄下。

• Ubuntu 18.04下， gstreamer 1.12 已經安裝到系統中。

/usr/local/bin/h264dec.sh 測試硬件H264解碼。

/usr/local/bin/h264enc.sh 測試硬件H264編碼。

用戶可以參照這兩個腳本，配置自己的gstreamer應用。

• Ubunut 系統下， mpp 相關dev包都已經安裝到系統中。

  /opt/mpp/下分別是mpp 編解碼的相關demo 和 源文件。

系統自帶的音頻文件在 /usr/share/sound/alsa/ 目錄中，播放前請先查看聲卡設備：

然后指定聲卡播放音頻，其中聲卡 card0 的設備0對應的是耳機口，card1 的設備0對應的是 HDMI。一般播放音頻命令是 aplay -Dhw:0,0 Fornt_Center.wav，但系統自帶的音頻文件是單聲道的，所以為了防止播放失敗，可以按照下面的命令進行播放：

在圖形界面中，播放準備好的音頻文件，然后點擊聲音圖標，打開 Sound Setting，選擇到 Configuration 。可以看到兩個聲卡設備，例如設置為 HDMI 輸出音頻，則把 HDMI 的聲卡設備選擇為 Output，另一個聲卡設置為 Off。（如果 HDMI 無聲或者聲音小，可以試試按 HDMI 屏上的物理按鍵調高音量）

在 Ubuntu 系統中，執行：

在內核目錄下，打開內核配置選項菜單：

進入內核配置菜單后依次選擇：Device Drivers -> USB Support -> USB Gadget Support。

在 USB Gadget Driver 選項中選擇到 USB functions configurable through configfs。

同時再選擇上 Function filesystem (FunctionFS) 。

接著在 kernel 目錄下編譯內核：

編譯完成后將內核燒錄到開發板中,燒錄過程請參考維基教程：升級固件中的分區鏡像燒寫部分。

安裝了 ADB 后，用 Micro USB OTG 線連接開發板和 PC 機。然后通過命令 adb devices 查看是否有設備連接:

從返回的信息可以看到已經查找到了設備，表明設備已經成功連接。

設備連接成功后，輸入命令 adb shell 即可進入命令行模式：

此狀態下是看不到命令行當前的路徑，同時 Tab 鍵補全功能失效，需要進入一個用戶中才可以正常操作。

用戶也可以使用命令 adb shell /bin/bash，也可以進入正常的命令行模式。

可以輸入 adb help 查看命令行幫助信息,注意并不是所有命令都可以使用，幫助信息只做參考。

以 ttyS4 為例，查看串口波特率命令：

設置波特率命令：

在做環回收發測試的時候回顯功能會影響到我們的測試結果，所以在環回測試或者其他特殊情況下需要關閉回顯。以下是關閉回顯的命令：

在實際應用中實際發送數據和我們希望發送的數據可能存在差別，例如多了回車或者其他特殊字符。利用 stty 可以把發送接收設置成 raw 模式確保發送接收的是原始數據，以下是設置命令：

串口有 2 種工作模式分別是中斷模式和 DMA 模式。

不管是中斷模式還有 DMA 模式都無法保證數據傳輸萬無一失，因為長時間傳輸大量數據的時候 DDR、CPU 變頻或者占用率過高都可能導致上層處理數據不及時導致丟包，這個時候就需要是用流控了。流控分兩種，一種是軟件流控另一種為硬件流控，下面只介紹硬件流控的使用。

以 rk3399-firefly-aiojd4.dts 為例，這些都是攝像頭需要打開的配置。由于內核已經添加了雙 MIPI 攝像頭的支持，所以這里配置了兩個攝像頭，如果只使用一個攝像只需要打開其中一個攝像頭就可以了。

注意： 如果使用的是 core-3399 核心板加上 DIY 底板，可能需要修改相應的 GPIO 屬性。

在運行腳本之前先確認一下 OV13850 設備是否注冊成功，下面是成功的內核日志：

在 /dev 下應該生成相關設備文件：

注意： 同理，如果只使用一個攝像頭，只需要注冊一個攝像頭設備就可以了。

在官方提供的 Ubuntu 系統中已經添加了攝像頭測試腳本 /usr/local/bin/dual-camera-rkisp.sh，其內容為：

運行腳本即可，結果如圖所示：

在內核目錄下，打開內核配置選項菜單：

進入內核配置菜單后依次選擇：Device Drivers -> USB Support -> USB Gadget Support。

將 USB Gadget Driver 設置成編譯成模塊，然后可以在下邊找到 Ethernet Gadget (with CDC Ethernet support) 選項，同樣選擇編譯成模塊。同時要選擇上 RNDIS support。

接著在 kernel 目錄下編譯內核：

編譯完成后將內核燒錄到開發板中,燒錄過程請參考維基教程：升級固件中的分區鏡像燒寫部分。然后將內核目錄下生成的下列模塊復制到開發板中：

• drivers/usb/gadget/function/u_ether.ko

• drivers/usb/gadget/function/usb_f_ecm_subset.ko

• drivers/usb/gadget/function/usb_f_ecm.ko

• drivers/usb/gadget/function/usb_f_rndis.ko

• drivers/usb/gadget/function/usb_f_eem.ko

• drivers/usb/gadget/legacy/g_ether.ko

• drivers/usb/gadget/libcomposite.ko

然后在開發板上，依次加載上述模塊：

注意： 要先加載 libcomposite.ko 和 u_ether.ko，后面的模塊才可以加載進去。

用數據線連接 PC 機和開發板的 OTG 接口，在 PC 機中執行 lsusb 命令可以查看到 USB 以太網設備，即說明連接成功。

輸出信息中 ID 0525:a4a2 Netchip Technology, Inc. Linux-USB Ethernet/RNDIS Gadget 即為 USB 網卡設備。

開發板插入網線，使開發板可以連接外網。

• 在開發板中 IP 的設置：

輸入執行 ifconfig -a 命令，可以查看到以下信息：

然后給 usb0 網卡自定義一個適當的 IP：

注意要設置 usb0 的 IP 和有線網卡 eth0 的 IP 不在同一網段！！

• 在 PC 機中 IP 的設置：

設置完開發板和 PC 機的 IP 后，互相是可以 ping 通的，PC 機也可以用 ssh 命令登錄到開發板。

在開發板上：首先打開 IPv4 的轉發功能：

如果希望每次重啟開發板后都自動打開轉發功能，請直接修改 /etc/sysctl.conf 文件的 net.ipv4.ip_forward 值為1。修改文件參數后要執行 sysctl -p 命令重新載入 /etc/sysctl.conf 文件，使 IPv4 轉發功能生效。

添加規則進行流量轉發：

現在 PC 主機就可以訪問網絡了。如果 PC 機可以 ping 通開發板的 usb0 和 eth0，但是無法上外網，則需要修改 PC 機的 DNS，在 /etc/resolv.conf 中做以下添加：

配置過程中要注意以下幾點：

• 對應好上述步驟中自己設備上的各個 IP 地址,注意開發板上的 USB 虛擬網卡 IP 和有線網絡 IP 不在同一網段;

• PC 機虛擬 USB 網卡的網關要設置為開發板虛擬 USB 網卡的 IP 地址;

• 開發板上的虛擬網卡 IP 地址、IP 轉發功能、流量轉發規則等設置會在設備重啟后恢復，用戶可以自行查找資料如何開機自動設置這些配置。

在 PC 機上插入 SD 卡，用 gdisk 工具分出一個裝載根文件系統的分區：

把新創建的分區進行格式化。

格式化完成后，使用 dd 命令，將制作好的根文件系統燒寫到 SD 卡剛新建的分區中。（根文件系統的制作可以參考Ubuntu 根文件系統的制作）

首先要修改設備樹文件，打開對應的 dts 文件，在根節點下重寫 chosen 節點下的 bootargs 參數的 root 值為寫入了根文件系統的 SD 卡分區的 unique GUID：

修改完成后編譯并燒錄至開發板中。

SD 卡的根文件系統燒錄完成后，插入開發板的 TF 卡槽中，開機即可進入到 SD 的根文件系統中。

注意事項：

• 在操作前請注意備份 U 盤或者 SD 卡內的重要文件，避免丟失；

• 操作時請確認自己的 SD 卡對應的設備名；

• dts 文件中 root 參數的值使用的是 unique GUID，記下前12位即可。用戶也可以根據 gdisk 的幫助信息自行修改這個值。

1、在服務器上部署 TFTP 服務：

安裝 TFTP 服務：

創建 /tftpboot 目錄并賦予權限：

然后修改 TFTP 服務器的配置文件 /etc/default/tftpd-hpa，修改內容為：

退出修改后重啟 TFTP 服務器：

在 /tftpboot 目錄中創建一個文件，測試 TFTP 服務是否可用：

查看 /tmp 目錄中的文件，如果看到了 test 文件表示 TFTP 服務器是可用的。

2、在服務器上部署 NFS 服務：

安裝 NFS 服務器：

創建共享目錄：

然后將制作好的根文件系統復制到 /nfs/rootfs 目錄中。（根文件系統的制作可以參考：Ubuntu 根文件系統的制作）

接著配置 NFS，在 /etc/exports 中添加共享目錄位置：

共享的目錄根據用戶實際情況設置，其中的”*”代表的是所有用戶可訪問。

重啟 NFS 服務器：

本地掛載共享目錄，測試 NFS 服務器是否可用：

在 /mnt 目錄下查看到了與 /nfs/rootfs 一致的內容，則說明 NFS 服務器部署成功。然后可以解除掛載：

如果要做到掛載網絡根文件系統，需要在內核中做相關配置，并在 dts 中修改相關掛載根文件系統的配置。

首先進行內核配置，在內核目錄中執行 make menuconfig，選擇相關配置：

修改 rk3399-firefly.dts 配置，在 dts 文件中修改 chosen 節點下的 bootargs 參數，選擇使用 NFS 掛載遠程根文件系統，內容如下。

編譯內核：

編譯完成后，將編譯好的內核文件 boot.img 和 rk3399-firefly.dtb 文件復制到 /tftpboot 目錄中：

詳細說明可以參考內核目錄中的 kernel/Documentation/filesystems/nfs/nfsroot.txt

請先確保目標機網線已插入，接入到服務器的局域網內。

目標機啟動進入 U-Boot 命令行模式，設置以下參數：

在開機內核日志中可見：

說明已經掛載上了網絡根文件系統。

注意事項

• 確保 TFTP 服務器、NFS 服務器可用;

• 確保目標機先插入網線后在開機，且和服務器在同一局域網內，如果是直連目標機和服務器，請使用交叉網線;

• 內核配置中，Root file system on NFS 依賴于 IP: kernel level autoconfiguration 選項，請先選擇 IP: kernel level autoconfiguration，之后才可以找到 Root file system on NFS 選項;

• 在 U-Boot 命令行中，請確認 boot.img 燒錄地址和 dtb 文件燒錄地址。（提示：boot.img 的文件結構中，開頭有2k的頭文件，然后才是 kernel。所以在 TFTP 下載內核到目標機時，要下載到對應 kernel 地址減去0x0800的地址上）;

• 在設置掛載遠程根文件系統時，nfsroot=192.168.31.106:/nfs/rootfs,v3 中的 v3 代表 NFS 版本信息，請添加上以避免出現掛載不成功的問題。

操作中需要升級內核和 U-Boot，事先已經準備好了修改好的相關文件：uboot.img 、trust.img 、boot.img 。

deb 是 Debian Linux 的軟件包格式，打包最關鍵的是在 DEBIAN 目錄下創建一個 control 文件。首先創建 deb 工作目錄，然后在 deb 目錄中創建相應的目錄和文件：

DEBIAN 目錄下存放的文件是 deb 包安裝的控制文件以及相應的腳本文件。

在 DEBIAN 目錄下創建控制文件 control 和腳本文件 postinst。

control 文件內容如下,用于記錄軟件標識，版本號，平臺，依賴信息等數據。

postinst 文件內容如下,就是將需要更新的內核和 U-Boot 文件用 dd 命令寫進對應分區的腳本：

說明：postinst 腳本，是在解包數據后運行的腳本，對應的還有:

• preinst：在解包數據前運行的腳本;

• prerm：卸載時，在刪除文件之前運行的腳本;

• postrm：在刪除文件之后運行的腳本;

其他相關知識點用戶可以自行了解。這里只用到了 preinst 腳本。

以下是創建好的目錄樹：

進入 deb 目錄，用 dpkg 命令生成 deb 包：

生成 deb 包時，一般按照這種規范進行命名：package_version-reversion_arch.deb 。

首先安裝需要的包：

然后用 GnuPG 工具生成一個 GPG 密匙，執行命令后請根據提示操作：

執行 sudo gpg --list-keys 可以查看剛剛生成的密匙信息:

接下來創建包倉庫，首先創建目錄:

把前面生成的密匙導出到倉庫文件夾，請用戶對應好自己創建的用戶名和郵箱地址。

在 conf 目錄下創建 distributions 文件，其內容如下：

建立倉庫樹：

將第2步做好的 deb 包加入到倉庫中：

可以查看庫中添加的文件：

你的包已經加入了倉庫，如果要移除它的話采用如下命令:

安裝 nginx 服務器：

修改nginx的配置文件 /etc/nginx/sites-available/default 為：

重啟 nginx 服務器：

在客戶端開發板中，首先要添加本地包倉庫的源，在目錄 /etc/apt/sources.list.d 下添加一個新的配置文件 bionic.list，內容如下：

IP 地址是服務器地址, bionic 是倉庫發布代碼名， main 是組件名。

從服務器中獲取并添加 GPG 密匙：

更新后即可安裝自定義軟件源里的 firefly-firmware_1.0_arm64 包：

可以看到安裝過程中執行了 deb 包中的 poinst 腳本。安裝完成后，重啟開發板，更新完成。

在 /usr/share 目錄中還可以看到 kernel 和 uboot 目錄，分別存放了 boot.img，uboot.img 和 trust.img 。

注意事項

• 在制作 deb 包中，與 DEBIAN 同級的目錄視為根目錄，即放在與 DEBIAN 同目錄下的文件，在客戶端安裝 deb 包后，可以在客戶端的根目錄下找到；

• deb 包中的文件和腳本，用戶要根據自己的實際情況做調整；

• 每次在倉庫中修改了配置文件后，都要重新導入倉庫目錄樹 ；

• nginx 服務器配置中，root 參數配置的是倉庫的地址，請用戶根據自己的實際情況修改；

• 客戶端添加的新下載源的文件時，注意核對正確的服務器地址，包倉庫代碼名和組件名。注意客戶端要連通服務器；

• 客戶端要用 apt-key add 命令添加 GPG 密匙之后，才可以獲取本地的倉庫的信息。

• 兩塊 Firefly-RK3399 開發板；

• 路由器、網線；

• PC 機。

將兩塊開發板和 PC 機都連接到同一個局域網內。連接好后對應的 IP 地址別是：

• PC 機：192.168.1.100

• 開發板 A：192.168.1.101

• 開發板 B：192.168.1.102

使用腳本安裝 Docker ：

為了可以使當前普通用戶可以執行 docker 相關命令，需要將當前用戶添加到 dokcer 用戶組中：

啟動 Docker 后臺服務：

新建一個 Dockerfile_distcc.x86_64 文件。其文件內容如下：

生成 Docker 鏡像：

可以用命令 docker images 查看生成的 Docker 鏡像：

用新建的鏡像啟動 Docker 容器，在主機網絡的 3632 TCP 端口提供 distcc 服務：

用命令 docker ps 可以查看正在運行中的容器：

Firefly-RK3399 內核默認是不支持 Docker 的，需要進行相關內核的配置。可以在 Firefly Github 中查看修改后的 /kernel/arch/arm64/configs/firefly_linux_defconfig 文件。

修改好后編譯內核并更新到所有用到的開發板。

內核更新完成后，在開發板上使用腳本安裝 Docker ：

將當前用戶添加到 dokcer 用戶組中：

啟動 Docker 后臺服務：

新建 Dockerfile_distcc.arm64 文件，內容如下：

生成 Docker 鏡像：

用新建的鏡像啟動 Docker 容器，在主機網絡的 3632 TCP 端口提供 distcc 服務：

用 docker save 命令導出新建的鏡像：

將生成的 distcc_server.tar 文件復制到另一塊開發板上，然后導入鏡像：

導入鏡像后，在這個開發板上也有了 distcc_server:arm64 鏡像，然后可以運行一個容器：

提示： 用戶如果注冊了 Docker Hub 帳號，可以用 docker push 推送鏡像到遠程倉庫，在另一開發板上用 docker pull 拉取遠程倉庫的鏡像。用戶可以自行了解相關操作。

到這里，三個機器都部署了分布式編譯環境。可以選擇任意一臺機器作為客戶端，剩下兩個機器作為服務器。這里選擇其中一個開發板作為客戶端。

在客戶端中創建 Dockerfile_compile.arm64 文件，生成一個編譯內核的 Docker 鏡像，文件內容如下：

然后生成鏡像：

在啟動容器前先將內核文件拉到客戶端中。然后創建 /etc/distcc/hosts 文件，其內容是列舉出所有提供 distcc 服務的機器的 IP 地址。內容如下：

為了測試結果更準確，先清除客戶端開發板上的緩存：

用 compile:arm64 鏡像啟動一個 Docker 容器，同時將主機當前內核目錄掛載到容器中的 /mnt 目錄，將主機的 /etc/distcc/hosts 文件掛載到容器的 /etc/distcc/hosts 中，并用參數 -it 以交互模式啟動容器：

進入到容器中的 /mnt 目錄，然后開始用 distcc 編譯內核，加入 time 命令可以查看編譯命令執行耗時，CC 參數指明用 distcc 進行編譯：

注意： 如果用 PC 機作為客戶端，則需要用以下命令進行編譯：

編譯過程中，可以在用于編譯的容器內新的窗口中用命令 distccmon-text 1 查看編譯情況：

最后編譯命令完成后可以看到編譯所用時間：

下邊是單獨使用一塊開發板進行內核編譯所耗費的時間:

對比可見，用采用 distcc 實現的分布式編譯可以有效提高編譯速度。

注意：

• 平臺不同，所需的編譯器也不同。如在 x86_64 平臺上，需要安裝對應的交叉編譯工具 gcc-aarch64-linux-gnu。在 arm64 平臺則只需要安裝 gcc 編譯工具即可。用戶需要根據實際情況在對應的 Dockerfile 文件里指定安裝正確的工具。

• 如果用 PC 機做客戶端，則在用于編譯的容器中編譯內核的時候，要用參數 CC="distcc aarch64-linux-gnu-gcc" 指明用 aarch64-linux-gnu-gcc 交叉編譯工具編譯。