最近我开始重新学习Python爬虫课程,就觉得之前自己掌握得不太好,一开始的爬虫比较简单,到后面就会发现越来越难,比如要学习高级编程的正则表达式,太多的各种符号,其实比较常用的就是几个,Ex:(.*?),可是要真真学得好的话,一定要全部都会要使用,这样哪怕那天真的是需要用到也能应付得来。 我现在也还没完全掌握起来,还是必须要多复习回去。之后还会学到Scrapy框架,App爬取,以及抓包工具等的使用,其实一个星期上3天的课程,其实也并不多,1天也就2小时,后面还得自己跟着练习,只听课往往还是不够,别以为自己听了课就会…

10月 14, 2020 0条评论 618点热度 3人点赞 YY部落站(Admin) 阅读全文

我们知道,Youtube平台上的视频是非常丰富的,Youtube有许多的教学视频,很多视频都是我们想要下载下来,保存在电脑上。因此,我就在思考,Youtube的视频要怎样爬取呢?我分析了很久,成功取到了Youtube上的视频连接位置,而要彻底的使用编程把视频抓取下来,实在是难度太大了,毕竟Youtube平台也不是吃素的,抓到的视频不是没有声音的,不然就是没有影像或者是不完整,唉,真不容易,因此我在网络上发现了别人团队已经有写好的库,直接使用API来调用即可,那么也不需要费太多的力气需爬取哈~Python的好处就是如…

10月 10, 2020 0条评论 499点热度 0人点赞 YY部落站(Admin) 阅读全文

现今我生活在大数据时代的社会中,许多数据都是在我们日常生活中产生的,这些数据都非常的珍贵,而今天我来分享之前使用Python来爬取的天气数据,而我为什么会使用Beautiful Soup来爬取天气数据呢?因为这数据是在一个表格当中,而Beautiful Soup专为HTML或XML文件中提取数据而生。

9月 29, 2020 0条评论 399点热度 0人点赞 YY部落站(Admin) 阅读全文

每次我们都要上购物网站去找我们想要买的东西,然而想要快速的知道那些商品的价格的最低价钱,市价上卖出的价格又是多少?那些是比较可靠的商店?品质比较好的?那么我们就要使用爬虫来获取这些数据,再进行数据分析,那么今天使用了Selenium框架来简单的爬取在Shopee上的一些商品的基本信息,Ex:商品名称,商品价格,出货地点以及商品的链接。

9月 25, 2020 0条评论 751点热度 3人点赞 YY部落站(Admin) 阅读全文

一般上我们会在网页要登录的时候,会要求要输入图形验证码,而这些验证码则会阻碍我们进行爬虫,因此我们能够使用一种能将图片的文字翻译出来。而能够将图片从中翻译出来的文字,我们称为光学文字识别(Optical Character Recognition),简写为OCR。

7月 11, 2020 1条评论 708点热度 3人点赞 YY部落站(Admin) 阅读全文
1234512