如何使用 pyspark 从 aws 胶水的时间戳中提取年份

Posted 2023-04-15

【中文标题】如何使用 pyspark 从 aws 胶水的时间戳中提取年份

【英文标题】：How to extract Year from timestamp in aws glue using pyspark

【发布时间】：2018-09-05 15:15:04

【问题描述】：

我需要从时间戳中获取年份，同时在 aws 胶水中转换我的原始数据。以下是我正在尝试但没有工作的内容。

import sys
from awsglue.transforms import *
from awsglue.utils import getResolvedOptions
from pyspark.context import SparkContext
from awsglue.context import GlueContext
from awsglue.job import Job
from pyspark.sql.functions import *

## @params: [JOB_NAME]
args = getResolvedOptions(sys.argv, ['JOB_NAME'])

sc = SparkContext()
glueContext = GlueContext(sc)
spark = glueContext.spark_session
job = Job(glueContext)
job.init(args['JOB_NAME'], args)

datasource0 = glueContext.create_dynamic_frame.from_catalog(database = "default", table_name = "xxx", transformation_ctx = "datasource0")
def AddDateYearForPartition(rec):
  rec["year"] = year(rec.date_entered);
  return rec

mapped_dyF =  Map.apply(frame = datasource0, f = AddDateYearForPartition)

【参考方案1】：

据我所知，您需要先将数据源转换为数据框，我会这样做：

spark_df = dropnullfields0.toDF()
spark_df = spark_df.withColumn('year', year(spark_df.sessionstarttime).cast("string"))

【参考方案2】：

这是 Scala 中的代码（如果有人需要的话）：

import org.apache.spark.sql.functions._

val sourceDf = datasource0.toDF
val resultDf = sourceDf.withColumn("year", year(col("date_entered")))
val resultDyf = DynamicFrame(resultDf, glueContext)