基于本地centos构建gdal2.4.4镜像

Posted surpassLiang

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了基于本地centos构建gdal2.4.4镜像相关的知识,希望对你有一定的参考价值。

1.前言

基于基础镜像构建gdal环境一般特别大,一般少则1.6G,多则2G甚至更大,这对于镜像的迁移造成了极大的不便。究其原因在于容器中有大量的源码文件以及编译中间过程文件,还要大量编译需要的yum库。本文主要通过在centos系统上先构建基础gdal环境,然后将编译好的二进制文件以及动态库拷贝出来。通过DockerFile或者操作容器的方式构建进行。通过这样的方式,镜像700M左右(基础镜像200M+gdal500M)。当然文章末尾还提供压缩的方式导出镜像(大小约250M左右)。

2. 编译环境

2.1 操作系统

[root@surpass ~]# cat /etc/redhat-release
CentOS Linux release 7.9.2009 (Core)

2.2 gdal以及插件及版本

序号软件名称版本号
1antapache-ant-1.10.12
2gdalgdal-2.4.4
3geosgeos-3.7.3
4hdf4hdf-4.2.13
5hdf5hdf5-1.10.5
6jpegsrcjpegsrc.v8c
7netcdfnetcdf-c-4.4.1.1
8pcrepcre-8.45
9projproj-6.0.0
10swigswig-2.0.9
11jdkjdk-8u361-linux-x64

这里我已经准备好,如果自己下载麻烦,可以直接用的准备好的。gdal2.4.4源码编译及相关插件

3.环境准备

3.1 拷贝文件

当然,第一步还是先将文件拷贝到centos系统中。

[root@surpass gdal]# ll
总用量 200516
-rw-r--r--. 1 root root   5424638 34 21:20 apache-ant-1.10.12-bin.tar.bz2
-rw-r--r--. 1 root root  14748072 34 21:20 gdal-2.4.4.tar.gz
-rw-r--r--. 1 root root   2000211 34 21:20 geos-3.7.3.tar.bz2
-rw-r--r--. 1 root root   4418314 34 21:20 hdf-4.2.13.tar.gz
-rw-r--r--. 1 root root  12030972 34 21:20 hdf5-1.10.5.tar.gz
-rw-r--r--. 1 root root 138762230 34 21:20 jdk-8u361-linux-x64.tar.gz
-rw-r--r--. 1 root root    956918 34 21:20 jpegsrc.v8c.tar.gz
-rw-r--r--. 1 root root  17670828 34 21:20 netcdf-c-4.4.1.1.tar.gz
-rw-r--r--. 1 root root   1578809 34 21:20 pcre-8.45.tar.bz2
-rw-r--r--. 1 root root   2405217 34 21:20 proj-6.0.0.tar.gz
-rw-r--r--. 1 root root   5307341 34 21:20 swig-2.0.9.tar.gz

3.2 安装依赖环境

yum -y groupinstall "Development tools"
yum -y install gcc-c++
yum -y install zlib-devel
yum -y install sqlite-devel
yum -y install bzip2

3.3 查看四个文件夹的内容

查看下面四个文件夹,是否为空的,如果不为空,要记下里面的文件,我这里是空的。

[root@surpass local]# ll /usr/local/bin/
总用量 0
[root@surpass local]# ll /usr/local/lib
总用量 0
[root@surpass local]# ll /usr/local/include/
总用量 0
[root@surpass local]# ll /usr/local/share/
总用量 0
drwxr-xr-x.  2 root root   6 411 2018 applications
drwxr-xr-x.  2 root root   6 411 2018 info
drwxr-xr-x. 21 root root 243 427 2022 man

4. 安装依赖文件

4.1 Proj安装

tar -zxvf proj-6.0.0.tar.gz
cd proj-6.0.0
./configure
make
make install
# 验证是否安装成功
proj —help

此时,proj文件编译的位置如下:

  • 可执行文件
    [root@surpass bin]# ll /usr/local/bin/
    总用量 2096
    -rwxr-xr-x. 1 root root  192008 34 21:42 cct
    -rwxr-xr-x. 1 root root  192544 34 21:42 cs2cs
    -rwxr-xr-x. 1 root root  279296 34 21:42 geod
    -rwxr-xr-x. 1 root root  222448 34 21:42 gie
    lrwxrwxrwx. 1 root root       4 34 21:42 invgeod -> geod
    lrwxrwxrwx. 1 root root       4 34 21:42 invproj -> proj
    -rwxr-xr-x. 1 root root  172400 34 21:42 proj
    -rwxr-xr-x. 1 root root 1070520 34 21:42 projinfo
    
  • 动态库
    [root@surpass bin]# ll /usr/local/lib
    总用量 114204
    -rw-r--r--. 1 root root 85747468 34 21:42 libproj.a
    -rwxr-xr-x. 1 root root      940 34 21:42 libproj.la
    lrwxrwxrwx. 1 root root       17 34 21:42 libproj.so -> libproj.so.15.0.0
    lrwxrwxrwx. 1 root root       17 34 21:42 libproj.so.15 -> libproj.so.15.0.0
    -rwxr-xr-x. 1 root root 31187152 34 21:42 libproj.so.15.0.0
    drwxr-xr-x. 2 root root       21 34 21:42 pkgconfig
    
  • 共享文件
    [root@surpass proj]# ll /usr/local/share/proj/
    总用量 6180
    -rw-r--r--. 1 root root    1183 34 21:42 CH
    -rw-r--r--. 1 root root     728 34 21:42 GL27
    -rw-r--r--. 1 root root    2099 34 21:42 ITRF2000
    -rw-r--r--. 1 root root    3660 34 21:42 ITRF2008
    -rw-r--r--. 1 root root    3498 34 21:42 ITRF2014
    -rw-r--r--. 1 root root   19535 34 21:42 nad27
    -rw-r--r--. 1 root root   16593 34 21:42 nad83
    -rw-r--r--. 1 root root    6385 34 21:42 nad.lst
    -rw-r--r--. 1 root root     232 34 21:42 null
    -rw-r--r--. 1 root root    3915 34 21:42 other.extra
    -rw-r--r--. 1 root root 6242304 34 21:42 proj.db
    -rw-r--r--. 1 root root    7079 34 21:42 world
    
  • 文件头
    [root@surpass include]# ll /usr/local/include/
    总用量 184
    -rw-r--r--. 1 root root 44277 34 21:42 geodesic.h
    -rw-r--r--. 1 root root  2960 34 21:42 org_proj4_PJ.h
    drwxr-xr-x. 2 root root   179 34 21:42 proj
    -rw-r--r--. 1 root root  8346 34 21:42 proj_api.h
    -rw-r--r--. 1 root root 23206 34 21:42 proj_constants.h
    -rw-r--r--. 1 root root 34185 34 21:42 proj_experimental.h
    -rw-r--r--. 1 root root 42507 34 21:42 proj.h
    -rw-r--r--. 1 root root 19796 34 21:42 proj_symbol_rename.h
    

后面编译的软件基本在这几个文件夹,如有特殊会单独说明。

4.2 安装java环境

4.2.1 解压压缩包

tar -zxvf jdk-8u361-linux-x64.tar.gz -C /usr/local/

4.2.2 编辑环境变量

# 编译/etc/profile
export JAVA_HOME=/usr/local/jdk1.8.0_361
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

4.2.3 配置文件生效

source /etc/profile

4.2.4 验证java环境有效性

[root@surpass jdk1.8.0_361]# java -version
java version "1.8.0_361"
Java(TM) SE Runtime Environment (build 1.8.0_361-b09)
Java HotSpot(TM) 64-Bit Server VM (build 25.361-b09, mixed mode)

4.3 安装ant

4.3.1 解压压缩包

# 注意这里的参数是-j,不是-z.
tar -jxvf apache-ant-1.10.12-bin.tar.bz2 -C /usr/local/

4.3.2 配置环境变量

vim /etc/profile
export ANT_HOME=/usr/local/apache-ant-1.10.12
export PATH=$PATH:$ANT_HOME/bin

4.3.3 配置文件生效

source /etc/profile

4.3.4 验证ant环境有效性

[root@surpass apache-ant-1.10.12]# ant -version
Apache Ant(TM) version 1.10.12 compiled on October 13 2021

4.4. 安装pcre

tar -jxvf pcre-8.45.tar.bz2
cd pcre-8.45
./configure --enable-utf8
make
make install 
# 验证是否安装成功
[root@surpass bin]# geod
Rel. 6.0.0, March 1st, 2019

4.5 安装swig

tar -zxf swig-2.0.9.tar.gz 
cd swig-2.0.9/
./configure
make
make install
[root@surpass swig-2.0.9]# swig -version
SWIG Version 2.0.9
Compiled with g++ [x86_64-unknown-linux-gnu]
Configured options: +pcre
Please see http://www.swig.org for reporting bugs and further information

4.6 安装geos

tar -jxvf geos-3.7.3.tar.bz2
cd geos-3.7.3
make 
make install
ldconfig

4.7 安装jpeg

4.7.1 编译插件

tar -zxvf jpegsrc.v8c.tar.gz
cd jpeg-8c/
./configure --prefix=/opt/jpeg
make 
make install

4.7.2 查看编译成果

[root@surpass jpeg]# ll /opt/jpeg/
总用量 0
drwxr-xr-x. 2 root root  80 34 22:22 bin
drwxr-xr-x. 2 root root  74 34 22:22 include
drwxr-xr-x. 2 root root 103 34 22:22 lib
drwxr-xr-x. 3 root root  17 34 22:22 share

4.8 安装hdf5

4.8.1 编译插件

tar -zxvf hdf5-1.10.5.tar.gz
cd hdf5-1.10.5
export F9X=ifort
./configure --prefix=/opt/hdf5 --with-hdf4=/opt/hdf4 --with-jpeg=/opt/jpeg --enable-java --enable-cxx
make 
make install

4.8.2 查看编译成果

[root@surpass hdf5]# ll /opt/hdf5/
总用量 12
drwxr-xr-x. 2 root root 4096 34 22:32 bin
drwxr-xr-x. 2 root root 4096 34 22:32 include
drwxr-xr-x. 2 root root 4096 34 22:32 lib
drwxr-xr-x. 3 root root   27 34 22:32 share

4.9 安装hdf4

4.9.1 编译插件

tar -zxvf hdf-4.2.13.tar.gz
cd hdf-4.2.13
./configure --prefix=/opt/hdf4 --enable-netcdf --enable-jpeg --with-jpeg=/opt/jpeg --enable-hdf5 --with-hdf5=/opt/hdf5 --enable-shared --disable-fortran --enable-java
make 
make install

4.9.2 查看编译成果

[root@surpass hdf-4.2.13]# ll /opt/hdf4
总用量 12
drwxr-xr-x. 2 root root 4096 34 22:36 bin
drwxr-xr-x. 2 root root 4096 34 22:36 include
drwxr-xr-x. 2 root root 4096 34 22:36 lib
drwxr-xr-x. 4 root root   38 34 22:36 share

4.10 安装netcdf

4.10.1 编译插件

tar -zxvf netcdf-c-4.4.1.1.tar.gz
cd netcdf-c-4.4.1.1
CPPFLAGS="-l/opt/hdf4/include -l/opt/hdf5/include -l/opt/jpeg/include"
LDFLAGS="-l/opt/hdf4/lib -l/opt/hdf5/lib -l/opt/jpeg/lib"
./configure --prefix=/opt/netcdf --enable-hdf5 --with-hdf5=/opt/hdf5 --enable-hdf4 --with-hdf4=/opt/hdf4 --enable-jpeg --with-jpeg=/opt/jpeg --disable-netcdf-4
make
make install

4.10.2 查看编译成果

[root@surpass opt]# ll /opt/netcdf/
总用量 0
drwxr-xr-x. 2 root root  78 34 22:40 bin
drwxr-xr-x. 2 root root  63 34 22:40 include
drwxr-xr-x. 3 root root 158 34 22:40 lib
drwxr-xr-x. 3 root root  17 34 22:40 share

5. 安装gdal

5.1 编译软件

经过一系列的插件,终于可以编译gdal了。

tar -zxvf gdal-2.4.4.tar.gz
cd gdal-2.4.4
./configure --prefix=/opt/netcdf --enable-hdf5 --with-hdf5=/opt/hdf5 --enable-hdf4 --with-hdf4=/opt/hdf4 --enable-jpeg --with-jpeg=/opt/jpeg --disable-netcdf-4
make
make install

5.2 修改配置文件

vim /etc/profile
export PATH=$PATH:/opt/hdf4/include:/opt/hdf4/bin:/opt/hdf5/include:/opt/hdf5/bin:/opt/netcdf/include:/opt/netcdf/bin:/opt/gdal/include:/opt/gdal/bin
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/opt/hdf4/lib:/opt/hdf5/lib:/opt/netcdf/lib:/opt/gdal/lib
source  /etc/profile
[root@surpass gdal-2.4.4]# gdalinfo --version
GDAL 2.4.4, released 2020/01/08

6. 后期数据准备

6.1 删除中间编译数据

/usr/local/opt/hdf4/opt/hdf5/opt/jpeg/opt/netcdf的lib下的所有以ala结尾的文件删除。

6.2 拷贝文件

/opt/hdf4/opt/hdf5/opt/jpeg/opt/netcdf下的binincludelibshare分别复制到/usr/local下相对应的文件夹下。

6.3 压缩导出

/usr/local下的binincludelibshare赋值出来打成压缩包。如果想直接用,可以看到这里:gdal2.4.4编译的动态库

7. 打开镜像

7.1 下载centos镜像

docker pull centos
[root@surpass gdal_lib]# docker images
REPOSITORY                         TAG                 IMAGE ID            CREATED             SIZE
centos                             7.9                 eeb6ee3f44bd        17 months ago       204 MB

7.2 打开镜像

  • 打开镜像容器
    docker run --rm -it centos:7.9 bash
    
  • 将本地文件拷贝容器里
    [root@surpass gdal_lib]# docker cp bin/ d21d5b03fbb4:/usr/local
    [root@surpass gdal_lib]# docker cp include/ d21d5b03fbb4:/usr/local
    [root@surpass gdal_lib]# docker cp lib/ d21d5b03fbb4:/usr/local
    [root@surpass gdal_lib]# docker cp share/ d21d5b03fbb4:/usr/local
    
  • 加载动态库
    /etc/ld.so.conf.d,创建文件gdal.conf,加入如下代码:
    /usr/local/lib
    
  • 加载动态库
    ldconfig
    

7.3 提交镜像

docker commit -m="gdal_java" -a="surpassliang" d21d5b03fbb4 gdal2.4.4_java:v0.1
[root@surpass gdal_lib]# docker images
REPOSITORY                         TAG                 IMAGE ID            CREATED             SIZE
gdal2.4.4_java                     v0.1                5895879a8d11        27 seconds ago      759 MB

8. 导出镜像

# 导出镜像
docker save gdal_java:v0.2 | gzip > gdal_java_v0.2.tar.gz
# 导入镜像
gunzip -c gdal_java_v0.2.tar.gz | docker load

docker社区的geodata/gdal镜像dockerfile分析

对应从事遥感与地理信息的同仁来说,gdal应该是所有工具中使用频度最高的库了,那么在docker中使用gdal时,面临的第一步就是构建gdal基础镜像,社区中引用最多的就是geodata提供的gdal基础镜像包,封装的gdal最新版本是2.3.0dev。

geodata/gdal的docker在github上的地址如下:

https://github.com/geo-data/gdal-docker

根据该库的提交记录,其生成gdal镜像的方法经历了多次更新:

1 最初按照gdal官网步骤自行编译;

2 基于makefile采用make系统编译;

3 基于gdal的travel ci 脚本进行编译。

dockerfile内容如下:

##
# geodata/gdal
#
# This creates an Ubuntu derived base image that installs the latest GDAL
# subversion checkout compiled with a broad range of drivers.  The build process
# is based on that defined in
# <https://github.com/OSGeo/gdal/blob/trunk/.travis.yml>
#

# Ubuntu 14.04 Trusty Tahyr
FROM ubuntu:trusty

MAINTAINER Homme Zwaagstra <hrz@geodata.soton.ac.uk>

# Install the application.
ADD . /usr/local/src/gdal-docker/
RUN /usr/local/src/gdal-docker/build.sh

# Externally accessible data is by default put in /data
WORKDIR /data
VOLUME ["/data"]

# Output version and capabilities by default.
CMD gdalinfo --version && gdalinfo --formats && ogrinfo --formats

基于ubuntu:trusty基础镜像,复制镜像构建相关内容到镜像的/usr/local/src/gdal-docker目录,利用build.sh脚本执行构建操作。

build.sh内容如下:

#!/bin/sh

##
# Install GDAL from within a docker container
#
# This script is designed to be run from within a docker container in order to
# install GDAL. It delegates to `before_install.sh` and `install.sh` which are
# patched from the Travis CI configuration in the GDAL repository.
#

set -e

DIR=$(dirname "$(readlink -f "$0")")
GDAL_VERSION=$(cat ${DIR}/gdal-checkout.txt)

export DEBIAN_FRONTEND=noninteractive

# Set the locale. Required for subversion to work on the repository.
update-locale LANG="C.UTF-8"
dpkg-reconfigure locales
. /etc/default/locale
export LANG

# Instell prerequisites.
apt-get update -y
apt-get install -y         software-properties-common         wget         unzip         subversion         ccache         clang-3.5         patch         python-dev         ant

# Everything happens under here.
cd /tmp

# Get GDAL.
svn checkout --quiet "http://svn.osgeo.org/gdal/${GDAL_VERSION}/" /tmp/gdal/

# Install GDAL.
cd /tmp/gdal

# Apply our build patches.
patch ./gdal/ci/travis/trusty_clang/before_install.sh ${DIR}/before_install.sh.patch
patch ./gdal/ci/travis/trusty_clang/install.sh ${DIR}/install.sh.patch

# Do the build.
. ./gdal/ci/travis/trusty_clang/before_install.sh
. ./gdal/ci/travis/trusty_clang/install.sh

# Clean up.
apt-get autoremove -y
apt-get clean
rm -rf /var/lib/apt/lists/partial/* /tmp/* /var/tmp/*

设置GDAL_VERSION(从gdal-checkout.txt读取,为trunk,表示从svn主干分支下载源代码),下载gdal源代码到/tmp/gdal目录,下载编译器clang和python环境,对gdal的trusty_clang的travis安装脚本打补丁(通过修改后调用diff工具生成patch),安装gdal,清理临时文件。

以上是关于基于本地centos构建gdal2.4.4镜像的主要内容,如果未能解决你的问题,请参考以下文章

基于 Docker 快速搭建 Oracle 开发环境

docker构建tomcat镜像

基于 CentOS-Stream9 构建官方CoreOS COSA 镜像并构建 CoreOS

基于 CentOS-Stream9 构建官方CoreOS COSA 镜像并构建 CoreOS

利用Dockerfile构建一个基于CentOS 7镜像

使用Docker构建基于centos7镜像的python环境