1. 省份划分

根据身份证号的前2位把数据划分到不同的省份文件里面

  1. package main
  3. import (
  4.     "bufio"
  5.     "fmt"
  6.     "io"
  7.     "os"
  8.     "strings"
  9.     "sync"
  10. )
  12. // 按照34个省划分数据
  13. // 1.创建34个省份，创建34个数据管道
  14. // 2.读优质数据，写入对应省份管道
  15. // 3.把省份管道写道对应文件，开34个协程
  17. // 抽象出一个省份对象
  18. type Province struct {
  19.     // Id 身份证前2位
  20.     Id string
  21.     // 省份名
  22.     Name string
  23.     // 该省对应的文件，例如 北京.txt
  24.     File *os.File
  25.     // 本省文件的数据管道
  26.     chanData chan string
  27. }
  29. // 声明等待组
  30. var wg sync.WaitGroup
  32. func main() {
  33.     // 声明个map，存放所有省市的
  34.     pMap := make(map[string]*Province)
  35.     ps := []string{"北京市11", "天津市12", "河北省13",
  36.         "山西省14", "内蒙古自治区15", "辽宁省21", "吉林省22",
  37.         "黑龙江省23", "上海市31", "江苏省32", "浙江省33", "安徽省34",
  38.         "福建省35", "江西省36", "山东省37", "河南省41", "湖北省42",
  39.         "湖南省43", "广东省44", "广西壮族自治区45", "海南省46",
  40.         "重庆市50", "四川省51", "贵州省52", "云南省53", "西藏自治区54",
  41.         "陕西省61", "甘肃省62", "青海省63", "宁夏回族自治区64", "新疆维吾尔自治区65",
  42.         "香港特别行政区81", "澳门特别行政区82", "台湾省83"}
  43.     // 遍历所有省市，创建实例，省份管道创建
  44.     for _, p := range ps {
  45.         name := p[:len(p)-2]
  46.         id := p[len(p)-2:]
  47.         // 创建对象
  48.         province := Province{Id: id, Name: name}
  49.         // 添加进map
  50.         pMap[id] = &province
  51.         // 为当前省份开一个文件
  52.         file, _ := os.OpenFile("./"+province.Name+".txt", os.O_CREATE|os.O_WRONLY|os.O_APPEND, 0666)
  53.         province.File = file
  54.         defer file.Close()
  55.         // 创建当前省份管道
  56.         province.chanData = make(chan string, 1024)
  57.         fmt.Println(name, "管道已创建")
  58.     }
  59.     // 遍历34个省份，开34个对应文件写数据
  60.     for _, province := range pMap {
  61.         wg.Add(1)
  62.         // 写入数据，这里是map中的地址
  63.         go writeFile(province)
  64.     }
  65.     // 读优质文件，写入对应的省份管道
  66.     file, _ := os.Open("./kaifang_good.txt")
  67.     defer file.Close()
  68.     // 缓冲读取
  69.     reader := bufio.NewReader(file)
  70.     // 逐行读
  71.     for {
  72.         lineBytes, _, err := reader.ReadLine()
  73.         if err == io.EOF {
  74.             for _, province := range pMap {
  75.                 close(province.chanData)
  76.                 fmt.Println(province.Name, "管道已经关闭")
  77.             }
  78.             break
  79.         }
  80.         // 转str，转utf
  81.         lineStr := string(lineBytes)
  82.         // 逗号切分
  83.         fieldsSlice := strings.Split(lineStr, ",")
  84.         id := fieldsSlice[1][0:2]
  85.         // 对号入座，写入对应管道
  86.         if provice, ok := pMap[id]; ok {
  87.             provice.chanData <- (lineStr + "\n")
  88.         } else {
  89.             fmt.Println("未知的省", id)
  90.         }
  91.     }
  92.     wg.Wait()
  93. }
  95. // 向文件写数据
  96. func writeFile(province *Province) {
  97.     for lineStr := range province.chanData {
  98.         province.File.WriteString(lineStr)
  99.         fmt.Print(province.Name, "写入", lineStr)
  100.     }
  101.     wg.Done()
  102. }