苹果 m1 芯片下运行 flink 程序使用 rocksdb 状态后端兼容性问题

Posted 做人要厚道2013

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了苹果 m1 芯片下运行 flink 程序使用 rocksdb 状态后端兼容性问题相关的知识,希望对你有一定的参考价值。

flink 的版本 1.13.6 的 rocksdb 连接器不支持apple 的 m1 芯片,主要是 so 文件不兼容 m1 芯片。在 idea 运行的时候会报错:incompatible architecture (have (x86_64), need (arm64e)))

可以在 pom.xml文件中添加如下依赖解决:(注意下面3 个依赖的顺序不能调整)

<dependency>
    <groupId>org.apache.flink</groupId>
    <artifactId>flink-statebackend-rocksdb_2.12</artifactId>
    <version>1.13.6</version>
    <exclusions>
        <exclusion>
            <groupId>com.ververica</groupId>
            <artifactId>frocksdbjni</artifactId>
        </exclusion>
    </exclusions>
</dependency>

<dependency>
    <groupId>org.rocksdb</groupId>
    <artifactId>rocksdbjni</artifactId>
    <version>7.7.3</version>
    <scope>provided</scope>
</dependency>

<dependency>
   <groupId>com.ververica</groupId>
   <artifactId>frocksdbjni</artifactId>
   <version>6.20.3-ververica-1.0</version>
</dependency>

以上是关于苹果 m1 芯片下运行 flink 程序使用 rocksdb 状态后端兼容性问题的主要内容,如果未能解决你的问题,请参考以下文章

开发者曝苹果M1芯片有漏洞 不改设计就无法消除

苹果自研M1,取代intel芯片?国内“黑苹果”产业遭受重击

MacOS(M1芯片 arm架构)下如何安装tensorflow

在苹果 M1 上运行 Linux 虚拟机变得容易了

无法在苹果 m1 芯片中的颤振项目上执行 pod 安装

使用了12个月的苹果M1芯片,我发现了它的「致命」弱点