我有一个日期pyspark数据框,其中的字符串列格式为MM-dd-yyyy,并且我尝试将其转换为日期列。

我尝试了:

df.select(to_date(df.STRING_COLUMN).alias('new_date')).show()

,我得到了一串空值。有人可以帮忙吗?

评论

除非您使用TimeSeriesRDD插件之一(请参阅Spark 2016会议以进行一些讨论,否则我知道有两个,但两个都仍在开发中),否则没有很多出色的时间序列工具。因此,如果您的目标是非常多的groupBy类型或重采样操作,则几乎没有理由麻烦将字符串转换为datetime对象。只需在字符串列上执行它们即可。

分析将使用很少甚至没有的组来进行,而是对病历进行纵向研究。因此,能够操作日期很重要

为什么从date_format()PySpark函数获得空结果的可能重复项?

#1 楼

更新(1/10/2018):
对于Spark 2.2+,最好的方法可能是使用to_dateto_timestamp函数,它们都支持format参数。来自文档:
 >>> from pyspark.sql.functions import to_timestamp
>>> df = spark.createDataFrame([('1997-02-28 10:30:00',)], ['t'])
>>> df.select(to_timestamp(df.t, 'yyyy-MM-dd HH:mm:ss').alias('dt')).collect()
[Row(dt=datetime.datetime(1997, 2, 28, 10, 30))]
 

原始答案(对于Spark <2.2)
有可能(更好?)在没有udf的情况下执行此操作:
 from pyspark.sql.functions import unix_timestamp, from_unixtime

df = spark.createDataFrame(
    [("11/25/1991",), ("11/24/1991",), ("11/30/1991",)], 
    ['date_str']
)

df2 = df.select(
    'date_str', 
    from_unixtime(unix_timestamp('date_str', 'MM/dd/yyy')).alias('date')
)

print(df2)
#DataFrame[date_str: string, date: timestamp]

df2.show(truncate=False)
#+----------+-------------------+
#|date_str  |date               |
#+----------+-------------------+
#|11/25/1991|1991-11-25 00:00:00|
#|11/24/1991|1991-11-24 00:00:00|
#|11/30/1991|1991-11-30 00:00:00|
#+----------+-------------------+
 


评论


这是正确的答案。为此使用udf将破坏您的性能。

– gberger
17-10-5在17:01

从pyspark.sql.functions导入from_unixtime,unix_timestamp

– Quetzalcoatl
17年12月15日在1:57

请注意,您可以在此处找到Java日期格式参考:docs.oracle.com/javase/6/docs/api/java/text/…

– RobinL
18年1月12日在9:31

还要注意,带有format参数的to_date()是spark 2.2+。 to_date在2.2之前存在,但format选项不存在

– RobinL
18年1月12日在15:11

#2 楼

 from datetime import datetime
from pyspark.sql.functions import col, udf
from pyspark.sql.types import DateType



# Creation of a dummy dataframe:
df1 = sqlContext.createDataFrame([("11/25/1991","11/24/1991","11/30/1991"), 
                            ("11/25/1391","11/24/1992","11/30/1992")], schema=['first', 'second', 'third'])

# Setting an user define function:
# This function converts the string cell into a date:
func =  udf (lambda x: datetime.strptime(x, '%m/%d/%Y'), DateType())

df = df1.withColumn('test', func(col('first')))

df.show()

df.printSchema()
 


这是输出:

+----------+----------+----------+----------+
|     first|    second|     third|      test|
+----------+----------+----------+----------+
|11/25/1991|11/24/1991|11/30/1991|1991-01-25|
|11/25/1391|11/24/1992|11/30/1992|1391-01-17|
+----------+----------+----------+----------+

root
 |-- first: string (nullable = true)
 |-- second: string (nullable = true)
 |-- third: string (nullable = true)
 |-- test: date (nullable = true)


评论


这里不需要udf,但是用于处理此问题的内置功能非常糟糕。这也是我现在要做的。

–杰夫
16年6月28日在16:49

为什么日期在测试列中与第一列不匹配?是的,它现在是日期类型,但日期和月份不匹配。有什么原因吗?

–混蛋
16年6月28日在17:00

测试给出了错误的日期值。这不是正确的答案。

– Shehryar
17年4月6日在1:29

使用UDF的任何解决方案都不能解决问题,只能解决。我不认为,通过组合PSF和.transform()本身,您无法完成许多用例。

– sumon c
4月22日17:19

#3 楼

strptime()方法对我不起作用。我得到了另一个更清洁的解决方案,使用强制转换:

from pyspark.sql.types import DateType
spark_df1 = spark_df.withColumn("record_date",spark_df['order_submitted_date'].cast(DateType()))
#below is the result
spark_df1.select('order_submitted_date','record_date').show(10,False)

+---------------------+-----------+
|order_submitted_date |record_date|
+---------------------+-----------+
|2015-08-19 12:54:16.0|2015-08-19 |
|2016-04-14 13:55:50.0|2016-04-14 |
|2013-10-11 18:23:36.0|2013-10-11 |
|2015-08-19 20:18:55.0|2015-08-19 |
|2015-08-20 12:07:40.0|2015-08-20 |
|2013-10-11 21:24:12.0|2013-10-11 |
|2013-10-11 23:29:28.0|2013-10-11 |
|2015-08-20 16:59:35.0|2015-08-20 |
|2015-08-20 17:32:03.0|2015-08-20 |
|2016-04-13 16:56:21.0|2016-04-13 |


评论


谢谢,这种方法对我有用!如果有人想将像2008-08-01T14:45:37Z这样的字符串转换为时间戳而不是日期,则df = df.withColumn(“ CreationDate”,df ['CreationDate']。cast(TimestampType()))有效好...(Spark 2.2.0)

–加拉夫
17年11月8日在9:22



我在AWS Glue pyspark的许多尝试过的选项中尝试过,就像魅力一样!

–阿比
19年5月22日在19:53

#4 楼

在接受的答案更新中,您没有看到to_date函数的示例,因此使用该函数的另一个解决方案是:

from pyspark.sql import functions as F

df = df.withColumn(
            'new_date',
                F.to_date(
                    F.unix_timestamp('STRINGCOLUMN', 'MM-dd-yyyy').cast('timestamp')))


评论


做一个简单的to_date()不起作用,这是正确的答案

–ski_squaw
19年4月7日在22:18

#5 楼

可能没有那么多答案,所以想分享可以帮助某人的代码

from pyspark.sql import SparkSession
from pyspark.sql.functions import to_date

spark = SparkSession.builder.appName("Python Spark SQL basic example")\
    .config("spark.some.config.option", "some-value").getOrCreate()


df = spark.createDataFrame([('2019-06-22',)], ['t'])
df1 = df.select(to_date(df.t, 'yyyy-MM-dd').alias('dt'))
print df1
print df1.show()


输出

DataFrame[dt: date]
+----------+
|        dt|
+----------+
|2019-06-22|
+----------+


如果您要转换日期时间,则将上述代码转换为日期,然后使用to_timestamp。
如果您有任何疑问,请通知我。

#6 楼

试试这个:

df = spark.createDataFrame([('2018-07-27 10:30:00',)], ['Date_col'])
df.select(from_unixtime(unix_timestamp(df.Date_col, 'yyyy-MM-dd HH:mm:ss')).alias('dt_col'))
df.show()
+-------------------+  
|           Date_col|  
+-------------------+  
|2018-07-27 10:30:00|  
+-------------------+  


评论


您可能会考虑根据已经提供和接受的内容详细阐述您的答案。

–chb
18年8月22日在7:35