ARM クロス開発ツールのパッケージが用意されていますので、それをセットアップします。

user1@xubuntu64:~$ sudo apt install crossbuild-essential-armhf
パッケージリストを読み込んでいます... 完了
依存関係ツリーを作成しています                
状態情報を読み取っています... 完了
以下の追加パッケージがインストールされます:
  binutils-arm-linux-gnueabihf cpp-5-arm-linux-gnueabihf cpp-arm-linux-gnueabihf dpkg-cross
  g++-5-arm-linux-gnueabihf g++-arm-linux-gnueabihf gcc-5-arm-linux-gnueabihf gcc-5-arm-linux-gnueabihf-base
  gcc-5-cross-base gcc-arm-linux-gnueabihf libasan2-armhf-cross libatomic1-armhf-cross libc6-armhf-cross
  libc6-dev-armhf-cross libconfig-auto-perl libconfig-inifiles-perl libdebian-dpkgcross-perl
  libfile-homedir-perl libfile-which-perl libgcc-5-dev-armhf-cross libgcc1-armhf-cross libgomp1-armhf-cross
  libstdc++-5-dev-armhf-cross libstdc++6-armhf-cross libubsan0-armhf-cross libxml-libxml-perl
  libxml-namespacesupport-perl libxml-sax-base-perl libxml-sax-expat-perl libxml-sax-perl libxml-simple-perl
  libyaml-perl linux-libc-dev-armhf-cross
提案パッケージ:
  binutils-doc gcc-5-locales cpp-doc binutils-multiarch g++-5-multilib-arm-linux-gnueabihf gcc-5-doc
  libstdc++6-5-dbg-armhf-cross gcc-5-multilib-arm-linux-gnueabihf libgcc1-dbg-armhf-cross
  libgomp1-dbg-armhf-cross libitm1-dbg-armhf-cross libatomic1-dbg-armhf-cross libasan2-dbg-armhf-cross
  liblsan0-dbg-armhf-cross libtsan0-dbg-armhf-cross libubsan0-dbg-armhf-cross libcilkrts5-dbg-armhf-cross
  libmpx0-dbg-armhf-cross libquadmath0-dbg-armhf-cross autoconf automake libtool flex bison
  gdb-arm-linux-gnueabihf gcc-doc libyaml-shell-perl
以下のパッケージが新たにインストールされます:
  binutils-arm-linux-gnueabihf cpp-5-arm-linux-gnueabihf cpp-arm-linux-gnueabihf crossbuild-essential-armhf
  dpkg-cross g++-5-arm-linux-gnueabihf g++-arm-linux-gnueabihf gcc-5-arm-linux-gnueabihf
  gcc-5-arm-linux-gnueabihf-base gcc-5-cross-base gcc-arm-linux-gnueabihf libasan2-armhf-cross
  libatomic1-armhf-cross libc6-armhf-cross libc6-dev-armhf-cross libconfig-auto-perl libconfig-inifiles-perl
  libdebian-dpkgcross-perl libfile-homedir-perl libfile-which-perl libgcc-5-dev-armhf-cross
  libgcc1-armhf-cross libgomp1-armhf-cross libstdc++-5-dev-armhf-cross libstdc++6-armhf-cross
  libubsan0-armhf-cross libxml-libxml-perl libxml-namespacesupport-perl libxml-sax-base-perl
  libxml-sax-expat-perl libxml-sax-perl libxml-simple-perl libyaml-perl linux-libc-dev-armhf-cross
アップグレード: 0 個、新規インストール: 34 個、削除: 0 個、保留: 0 個。
27.7 MB のアーカイブを取得する必要があります。
この操作後に追加で 96.9 MB のディスク容量が消費されます。
続行しますか? [Y/n] 

ARM 用 GCC の起動を確認してみます。

user1@xubuntu64:~$ arm-linux-gnueabihf-gcc -v
Using built-in specs.
COLLECT_GCC=arm-linux-gnueabihf-gcc
COLLECT_LTO_WRAPPER=/usr/lib/gcc-cross/arm-linux-gnueabihf/5/lto-wrapper
Target: arm-linux-gnueabihf
Configured with: ../src/configure -v --with-pkgversion='Ubuntu/Linaro 5.4.0-6ubuntu1~16.04.4' --with-bugurl=file:///usr/share/doc/gcc-5/README.Bugs --enable-languages=c,ada,c++,java,go,d,fortran,objc,obj-c++ --prefix=/usr --program-suffix=-5 --enable-shared --enable-linker-build-id --libexecdir=/usr/lib --without-included-gettext --enable-threads=posix --libdir=/usr/lib --enable-nls --with-sysroot=/ --enable-clocale=gnu --enable-libstdcxx-debug --enable-libstdcxx-time=yes --with-default-libstdcxx-abi=new --enable-gnu-unique-object --disable-libitm --disable-libquadmath --enable-plugin --with-system-zlib --disable-browser-plugin --enable-java-awt=gtk --enable-gtk-cairo --with-java-home=/usr/lib/jvm/java-1.5.0-gcj-5-armhf-cross/jre --enable-java-home --with-jvm-root-dir=/usr/lib/jvm/java-1.5.0-gcj-5-armhf-cross --with-jvm-jar-dir=/usr/lib/jvm-exports/java-1.5.0-gcj-5-armhf-cross --with-arch-directory=arm --with-ecj-jar=/usr/share/java/eclipse-ecj.jar --disable-libgcj --enable-objc-gc --enable-multiarch --enable-multilib --disable-sjlj-exceptions --with-arch=armv7-a --with-fpu=vfpv3-d16 --with-float=hard --with-mode=thumb --disable-werror --enable-multilib --enable-checking=release --build=x86_64-linux-gnu --host=x86_64-linux-gnu --target=arm-linux-gnueabihf --program-prefix=arm-linux-gnueabihf- --includedir=/usr/arm-linux-gnueabihf/include
Thread model: posix
gcc version 5.4.0 20160609 (Ubuntu/Linaro 5.4.0-6ubuntu1~16.04.4) 
user1@xubuntu64:~$