如何从 BigQuery JavaScript UDF 为字符串化几何集合中的每个要素创建几何？

Posted 2023-04-13

【中文标题】如何从 BigQuery JavaScript UDF 为字符串化几何集合中的每个要素创建几何？

【英文标题】：How to create a geometry for each feature in a stringified geometry collection from a BigQuery JavaScript UDF?

【发布时间】：2020-10-17 19:26:30

【问题描述】：

我是 UDF 函数的新手，我创建了一个 BigQuery UDF，它采用多边形几何并用它创建点。我正在尝试绘制点密度图（将多边形+人口数转换为点）。我改编了this blog post 的代码。因为 bigQuery 没有记录变量的方法，所以我一直在测试 in this codepen。

我正处于该功能似乎正常工作的地步。输出是点的几何集合。它在 bigquery 文档中说 st_geogfromgeojson 可以接受几何集合。

我的 UDF 返回一个字符串化的几何集合。

但我不知道为什么st_geogfromgeojson 不起作用。我不知道我是否只是没有取消嵌套或什么。

CREATE TEMP FUNCTION myFunc(feature string, ethnicity_column FLOAT64, year INT64)
  RETURNS string
  LANGUAGE js
  OPTIONS (
    library=["https://storage.googleapis.com.../d3.js","https://storage.googleapis.com/.../turf.min.js","https://storage.googleapis.com/.../wellknown.js"]
  )
  AS
    """
          
        if (feature === undefined || feature === null) return;
       
        
        var feature_parsed = wellknown.parse(feature)
       
        const bounds = turf.bbox(feature_parsed);
        
        const populationData = Math.round(ethnicity_column / 10);
        if (!populationData) return;
       
         const x_min = bounds[0];
         const y_min = bounds[1];
         const x_max = bounds[2];
         const y_max = bounds[3];
  
        let hits = 0;
        let count = 0;
        const limit = populationData * 10; // limit test to 10x the population.
        let points = [];
        while (hits < populationData - 1 && count < limit) 
          const lat = y_min + Math.random() * (y_max - y_min);
          const lng = x_min + Math.random() * (x_max - x_min);
          const randomPoint = turf.point([lng, lat]);
          if (turf.booleanPointInPolygon(randomPoint, feature_parsed)) 
            points.push(randomPoint);
            hits++;
          
          count++;
        
        return JSON.stringify((turf.geometryCollection(points)));
        
       // return JSON.stringify(points)

    """;


SELECT ST_GEOGFROMGEOJSON(JSON_EXTRACT((myFunc(st_astext(geom), white_pop, 2018)),'$')) FROM `myteam.kyle_data.blockgroups_with_acs` 

但我总是遇到随机错误，比如我没有正确使用函数

我愿意接受所有建议。为简单起见，我返回一个字符串，但也许我需要使用 STRUCT。也许我应该从创建积分中删除草皮？我一定在这里遗漏了什么。

【问题讨论】：

你能发布 SELECT (myFunc(st_astext(geom), white_pop, 2018)) FROM myteam.kyle_data.blockgroups_with_acs 的输出吗？

没问题："type":"Feature","properties":,"geometry":"type":"GeometryCollection","geometries":["type":"Feature","properties":,"geometry":"type":"Point","coordinates":[-122.54238874622482,48.90183791377525],"type":"Feature","properties":,"geometry":"type":"Point","coordinates":[-122.53394002893639,48.869685080847184],"type":"Feature","properties":,"geometry":

这有点奇怪。在顶部你有 GeometryCollection 的 Feature，这很好。但是 GeometryCollection 的几何字段包含特征，它应该包含根据 GeoJson RFC 的几何。我认为 BigQuery 错误来自 GeometryCollection 中的嵌套功能。

@MichaelEntin 是的，我很困惑。通过这样做，我学到了很多关于 bigQuery udfs 的知识，但是是的……不知道该尝试什么。我可以简单地避免所有这些并只返回所示的点数组吗？ codepen.io/kpennell/pen/WNxwzxo?editors=0010 然后只是从特征中解析出几何图形？似乎草皮在这里做错了什么。也许我应该删除它。

【参考方案1】：

GeoJson 有两种不同的集合类型：

一个是GeometryCollection - 这是一个描述几何集合的几何，例如点和多边形的联合将是一个 GeometryCollection。 另一个是FeatureCollection - 特征集合、具有各种属性的对象，包括geometry（可以是几何集合或任何其他几何）和其他用户定义的属性。

turf.geometryCollection 似乎返回 Feature: https://www.npmjs.com/package/turf-geometrycollection（这就是它也接受 properties 参数的原因）。

ST_GEOGFROMGEOJSON构造一个几何体，它支持GeometryCollection，但不支持FeatureCollection或turf返回的单数Feature。

您可以从该功能中提取geometry，并将其传递给ST_GEOGFROMGEOJSON。我认为只使用 JSON 选择器 $.geometry 而不是 $ 就足够了。

【讨论】：

感谢您的回复。核心问题似乎是草皮说它返回一个 GeometryCollection，而它实际上是一个 FeatureCollection。 ST_GEOGFROMGEOJSON(JSON_EXTRACT((myFunc(st_astext(geom), white_pop, 2018)),'$.geometry')) 仍然得到 ST_GeogFromGeoJSON failed: GeoJSON reader accepts Geometry objects, not Feature or FeatureCollection objects 所以听起来我需要调试草皮或弄清楚如何从这个事实上的特征集合中获取几何图形

从描述中，我希望 turf 返回一个 Feature，而不是 FeatureCollection。 Feature 通常看起来像 type: feature, geometry: ... , properties ，其中 geometry 属性的内容是 GeoJson（本例中为 GeometryCollection）。

仍然坚持这一点，但你的建议很有帮助@MichaelEntin

【参考方案2】：

解决它的两件事：

返回 array<String> 而不是字符串 在select 中交叉加入 UNNEST

CREATE TEMP FUNCTION myFunc(feature string, ethnicity_column FLOAT64)
  RETURNS array<String>
  LANGUAGE js
  OPTIONS (
    library=["https://storage.googleapis.com/../d3.js","https://storage.googleapis.com/.../turf.min.js","https://storage.googleapis.com/.../wellknown.js"]
  )
  AS
    """
        geopath = d3.geoPath()
        if (feature === undefined || feature === null) return;
        var feature_parsed = wellknown.parse(feature)
        const bounds = turf.bbox(feature_parsed);
        const populationData = Math.round(ethnicity_column / 10);
        if (!populationData) return;
         const x_min = bounds[0];
         const y_min = bounds[1];
         const x_max = bounds[2];
         const y_max = bounds[3];
        let hits = 0;
        let count = 0;
        const limit = populationData; // limit test to 10x the population.
        let points = [];
        while (hits < populationData - 1 && count < limit) 
          const lat = y_min + Math.random() * (y_max - y_min);
          const lng = x_min + Math.random() * (x_max - x_min);
          const randomPoint = turf.point([lng, lat]);
          if (turf.booleanPointInPolygon(randomPoint, feature_parsed)) 
            points.push('POINT ('+lng+' '+lat+')');
            hits++;
          
          count++;
        
        return points;
    """;
SELECT st_geogfromtext(points) as the_geom,  'white' as ethnicity  from (SELECT (myFunc(st_astext(geom), white_pop)) as points FROM `tableonmybq`) CROSS JOIN UNNEST(points) as points