pyspark dataframe 去重__pyspark

相关文章推荐

越狱的凉面 · python通过接口导出数据到excel· 4 月前 ·

悲伤的电影票 · AMD锐龙7 ...· 4 月前 ·

阳刚的骆驼 · Tandem Lessons for ...· 5 月前 ·

满身肌肉的风衣 · 山东省国家保密局· 1 年前 ·

坏坏的香槟 · java解析CSV文件三种方法(openCS ...· 1 年前 ·

pyspark dataframe 去重

两种去重，一种是整行每一项完全相同去除重复行，另一种是某一列相同去除重复行。

整行去重

dataframe1 = dataframe1.distinct()

某一列或者多列相同的去除重复

df = df.select("course_id", "user_id", "course_name")
# 单列为标准
df1 = df.distinct.dropDuplicates(subset=[c for c in df.columns if c in ["course_id"]])
# 多列为标准
df2 = df.distinct.dropDuplicates(subset=[c for c in df.columns if c in ["course_id", "course_name"]])

推荐文章

越狱的凉面 · python通过接口导出数据到excel

4 月前

悲伤的电影票 · AMD锐龙7 7840u相当于英特尔什么cpu；英特尔同级处理器全面对比分析报告！|大A评测

4 月前

阳刚的骆驼 · Tandem Lessons for the Unprecedented 21^(st) Century = 面對未知21世紀的串聯學習與永續教學｜Airiti Library 華藝線上圖書館

5 月前

满身肌肉的风衣 · 山东省国家保密局

1 年前

坏坏的香槟 · java解析CSV文件三种方法(openCSV) - ah_lydms - 博客园

1 年前