为什么GOPROXY对Golang开发如此重要

Posted 2020-12-07 jfrogjiewa

 

引言

从Go 1.13开始，Go Module作为Golang中的标准包管理器，在安装时自动启用，并附带一个默认的GOPROXY。

但是对于其他的GOPROXY选项，比如JFrog

GoCenter，以及你自己的Go Module包，你需要在公众视野中保持安全，你应该选择什么样的配置? 你怎样才能不让你的公共和私人资源成为一个纠缠的结?

先让我们来看看GOPROXY是干什么的，以及如何为一个快速、可靠和安全的系统设置一个GOPROXY。

 

什么是GOPROXY?

GOPROXY控制Go Module下载的来源，有助于确保构建的确定性和安全性。（传送门：大家可以在JFrog公众号里搜索 Go Module， 前文介绍里Go Module 带来的收益以及如快速转型Go Module）

GOPROXY时代之前，在Golang开发时，模块依赖关系直接从VCS系统中的源存储库下载，如GitHub、Bitbucket、Bazaar、Mercurial或SVN。来自第三方的依赖项通常从公共源repos下载。私有依赖项必须在存储它们以下载模块源文件的VCS系统中进行身份验证。

虽然上面的工作流得到了广泛的应用，但是它缺乏确定性和安全性构建，以及开发过程的两个基本需求:不变性和可用性。模块可以被作者删除，也可以编辑修改当前被发布的版本。虽然这些场景被认为是不好的实践，但它们确实经常发生，如下图：

 

 

 

 

使用GOPROXY

为您的Golang开发或CI环境设置GOPROXY，将Go Module下载请求重定向到GOPROXY 指向的缓存库。

使用GOPROXY进行模块依赖关系的管理的有助于开发构建不变性需求。通过从GOPROXY的缓存中返回模块包，它能够为用户请求的某模块版本提供相同的返回（Go module模块代码），即使模块最近在VCS repo中被不正确地修改过，从而保证多次构建结果一致。

另外GOPROXY的缓存还有助于确保模块始终可用，即使VCS repo中的原始模块已被销毁。

使用GOPROXY有不同的方法，这取决于你想使用的go模块依赖的来源，通常有公共的GOPROXY，私有Go Module，以及私有的GOPROXY

 

公共GOPROXY

公共GOPROXY是一个集中式的存储库，全球各地的Golang开发者都可以使用它。它缓存了大量开源的Go模块，这些模块可以从第三方公开访问的VCS项目存储库中获得。大多数此类GOPROXY，比如JFrog GoCenter，Goproxy.cn都是免费提供给Golang开发者社区的。此类GOPROXY 的架构拓扑如下图，提供了Go Module 的一致性以及可用性能力：

 

 

要使用公共GOPROXY，将Golang环境变量设置为其URL:

$ export GOPROXY=https://gocenter.io  

以上设置将所有模块下载请求重定向到GoCenter。从公共GOPROXY下载要比直接从VCS下载快得多。

除了完成下载之外，一个公共的GOPROXY还可以为GoLang开发者提供关于它所拥有的模块的更详细的信息。JFrog GoCenter提供了丰富的UI，支持搜索和访问模块的安全信息(如cve)、非安全元数据(如Star数量，下载统计数据以及License信息)和gosumdb支持。这些元数据有助于用户在选择开源Go模块时做出更好的决策。

 

 

私有Go Module

通常，GoLang项目会同时使用开源和私有模块。一些用户使用GOPRIVATE环境变量来指定一个必须绕过GOPROXY和GOSUMDB的路径列表，并直接从VCS repos下载私有模块。例如，您可能希望使用GoCenter检索所有开源模块，但只从公司的服务器请求私有模块。如下图：

 

 

 

要使用GoCenter公共GOPROXY和私有模块，请设置Golang环境变量:

$ export GOPROXY=https://gocenter.io,direct

$ export GOPRIVATE=*.internal.mycompany.com

这种对GOPRIVATE的使用也确保了你对这些私有模块的使用不会因为请求到一个开放网络上的公共GOPROXY &

checksum数据库服务器而“泄露”。另一种替代方法是使用GONOSUMDB变量，该变量包含对私有go模块的引用。虽然这种配置使Go客户端能够同时解析公共模块和私有模块依赖，但它并不强制私有模块的不可变性或可用性要求。

 

私有GOPROXY

私有GOPROXY是一种在您自己的基础设施上存储公共和私有Go模块的工具。

公共模块通过在二进制存储库管理器(如JFrog

Artifactory)中代理一个公共GOPROXY缓存到企业内部网络。

私有模块也可以从VCS repos缓存到改存储库中。通过这种方式，可以保证公共和私有Go模块的不变性和可用性。

在Artifactory中，您可以通过设置GoCenter的远程存储库（remote reposiroty），以及指向私有GitHub 仓库(用于私有模块)的远程Go模块存储库，以及本地Go模块存储库，将上述三个仓库组合到一个虚拟存储库中，作为用户统一单元进行访问，如下图:

 

 

在Artifactory中设置名为“go”的虚拟存储库的GOPROXY:

$ export GOPROXY="https://:@my.artifactory.server/artifactory/api/go/go

$ export GONOSUMDB="github.com/mycompany/*,github.com/mypersonal/*"

因为您的私有VCS repos中的模块在sum.golang.org的公共校验和数据库中没有条目，所以它们必须被排除在go客户端的检查之外。将GONOSUMDB设置为您的私有VCS repos可以实现这一点，并将防止这些私有模块的go get命令由于校验和不匹配而失败。

在这个配置中，您可以确保对私有模块的引用不会“泄漏”，同时还确保了公共模块和私有模块的不可变性和可用性。

 

总结：打破断结

正如您所看到的，使用私有GOPROXY提供了最确定、最可靠和最安全的功能。

您还可以通过您的私有GOPROXY到您的构建工具的网络接近度来加速模块依赖关系的解析。JFrog Artifactory可以安装在您最需要它的地方:本地数据中心部署或云中，或公共云提供商的SaaS版本。

这些好处不仅仅局限于Golang开发。大多数技术公司使用不止一种语言和多个包管理器。例如，如果代码是用Golang编写的，那么npm可能用于UI,

Docker可能用于分发交付，Helm可能用于在k8上部署应用程序。

通过支持超过27种包类型，Artifactory可以为所有应用程序提供确定性、稳定和安全的软件开发过程。

更多精彩内容可以专注我们的在线课堂

微信搜索公众号：jfrogchina 获取课程通知