6.4 查找并移除重复记录

6.4.1 问题

你想查找和（或）移除向量或列表里重复的条目。

6.4.2 方案

6.4.2.1 向量

  1. # 生成一个向量
  2. set.seed(158)
  3. x <- round(rnorm(20, 10, 5))
  4. x
  5. #>  [1] 14 11  8  4 12  5 10 10  3  3 11  6  0 16  8 10  8
  6. #> [18]  5  6  6
  8. # 对于每一个元素：它是否重复（第一个值不算）
  9. duplicated(x)
  10. #>  [1] FALSE FALSE FALSE FALSE FALSE FALSE FALSE  TRUE
  11. #>  [9] FALSE  TRUE  TRUE FALSE FALSE FALSE  TRUE  TRUE
  12. #> [17]  TRUE  TRUE  TRUE  TRUE
  14. # 重复条目的值 注意“6”出现了三次，所以它有两个
  15. x[duplicated(x)]
  16. #> [1] 10  3 11  8 10  8  5  6  6
  18. # 重复的条目无需重复出现
  19. unique(x[duplicated(x)])
  20. #> [1] 10  3 11  8  5  6
  22. # 移除重复数据，下面两种方法效果一样:
  23. unique(x)
  24. #>  [1] 14 11  8  4 12  5 10  3  6  0 16
  25. x[!duplicated(x)]
  26. #>  [1] 14 11  8  4 12  5 10  3  6  0 16

6.4.2.2 列表

  1. # 一个样本列表:
  2. df <- read.table(header = TRUE, text = "
  3.  label value
  4.    A     4
  5.    B     3
  6.    C     6
  7.    B     3
  8.    B     1
  9.    A     2
  10.    A     4
  11.    A     4
  12. ")
  15. # 每一行是否有重复？
  16. duplicated(df)
  17. #> [1] FALSE FALSE FALSE  TRUE FALSE FALSE  TRUE  TRUE
  19. # 显示重复的条目
  20. df[duplicated(df), ]
  21. #>   label value
  22. #> 4     B     3
  23. #> 7     A     4
  24. #> 8     A     4
  26. # 显示没有重复的条目 (行名可能不同，但值相同)
  27. unique(df[duplicated(df), ])
  28. #>   label value
  29. #> 4     B     3
  30. #> 7     A     4
  32. # 移除重复的数据，下面两种方法效果一样:
  33. unique(df)
  34. #>   label value
  35. #> 1     A     4
  36. #> 2     B     3
  37. #> 3     C     6
  38. #> 5     B     1
  39. #> 6     A     2
  40. df[!duplicated(df), ]
  41. #>   label value
  42. #> 1     A     4
  43. #> 2     B     3
  44. #> 3     C     6
  45. #> 5     B     1
  46. #> 6     A     2