为什么要学习爬虫

学习目的以及需求

  1. 需求来自于:抓取的某个网站或者某个应用的内容,提取有用的价值

实现手段

  1. 模拟用户在浏览器或者应用(app)上的操作,实现自动化的程序

爬虫应用场景(利用爬虫能做什么?)

  • 大家最熟悉的应用场景

抢票神器(360抢票器)

360抢票器

投票神器(微信朋友圈投票)

投票神器

投票神器

1、各种热门公司招聘中的职位数及月薪分布

职位

2、对某个App的下载量跟踪

为什么要学习爬虫 - 图5

3、 饮食地图

为什么要学习爬虫 - 图6

还可以把男的排除掉,只看女的:

为什么要学习爬虫 - 图7

4、 票房预测

为什么要学习爬虫 - 图8

总结

  • 抢票神器
  • 投票神器
  • 预测(股市预测、票房预测)
  • 国民情感分析
  • 社交关系网络

    六度分隔(Six Degrees of Separation)现象(又称为“小世界现象”small world phenomenon),可通俗地阐述为:“你和任何一个陌生人之间所间隔的人不会超过六个,也就是说,最多通过六个人你就能够认识任何一个陌生人。”

    一家德国报纸接受了一项挑战,要帮法兰克福的一位土耳其烤肉店老板,找到他和他最喜欢的影星马龙·白兰度(电影《教父1》主演)的关联。结果经过几个月,报社的员工发现,这两个人只经过不超过六个人的私交,就建立了人脉关系。原来烤肉店老板是伊拉克移民,有个朋友住在加州,刚好这个朋友的同事,是电影《这个男人有点色》的制作人的女儿在女生联谊会的结拜姐妹的男朋友,而马龙·白兰度主演了这部片子。

  • 政府部门舆情监控

    • 预警负面舆情,及时发现和处理企业的负面信息

    • 保持对事态的第一时间获知权,加强监测力度。

    • 舆论危机涉及的政府相关部门保持紧密沟通。

    “郭美美微博炫富”事件概况。2011年6月21日,新浪微博用户“郭美美Baby”备受网友关注,这个自爆“住大别墅,开玛莎拉蒂”的20岁女孩,而认证身份却是“中国红十字会商业总经理”,网友对其真实身份也猜测万分,更有网友认为她是中国红十字会副会长郭长江的女儿,由此引发网友对中国红十字会的热议

    负面舆情最大的危害就是对公司形象,舆情口碑造成不良影响,而其直接后果就是公司销售和竞争力的下降,严重者就像三鹿公司一样,直接导致一个品牌的消亡

    以上海为例,无论在涉日舆情、地铁调价,还是普陀城管打人等“网络热点舆情”处理上,各部门协同作战、相互配合、共同商议,判断危机走向,对预案进行适当修正和调整,以符合实际所需是危机应对的重要措。