1. 数据清洗

读取清洗的效率还是挺快的

  1. package main
  3. import (
  4.     "bufio"
  5.     "fmt"
  6.     "io"
  7.     "os"
  8.     "strings"
  10.     "github.com/axgle/mahonia"
  11. )
  13. func main() {
  14.     // 1.打开文件
  15.     file, _ := os.Open("./kaifang.txt")
  16.     defer file.Close()
  17.     // 创建优质文件
  18.     goodFile, _ := os.OpenFile("./kaifang_good.txt", os.O_CREATE|os.O_WRONLY|os.O_APPEND, 0666)
  19.     defer goodFile.Close()
  20.     // 创建劣质文件
  21.     badFile, _ := os.OpenFile("./kaifang_bad.txt", os.O_CREATE|os.O_WRONLY|os.O_APPEND, 0666)
  22.     defer badFile.Close()
  23.     // 2.缓冲读取
  24.     reader := bufio.NewReader(file)
  25.     for {
  26.         lineBytes, _, err := reader.ReadLine()
  27.         if err == io.EOF {
  28.             break
  29.         }
  30.         gbkStr := string(lineBytes)
  31.         lineStr := ConvertEncoding(gbkStr, "GBK")
  32.         // 3.根据行数据，取身份证
  33.         fields := strings.Split(lineStr, ",")
  34.         // 判断长度大于等于2，下标1的位置长度=18
  35.         if len(fields) >= 2 && len(fields[1]) == 18 {
  36.             goodFile.WriteString(lineStr + "\n")
  37.             fmt.Println("Good:", lineStr)
  38.         } else {
  39.             badFile.WriteString(lineStr + "\n")
  40.             fmt.Println("Bad:", lineStr)
  41.         }
  42.     }
  43. }
  45. func ConvertEncoding(srcStr string, encoding string) (dstStr string) {
  46.     // 创建编码处理器
  47.     enc := mahonia.NewDecoder(encoding)
  48.     // 编码器处理字符串为utf8的字符串
  49.     utfStr := enc.ConvertString(srcStr)
  50.     dstStr = utfStr
  51.     return
  52. }