每次我们都要上购物网站去找我们想要买的东西,然而想要快速的知道那些商品的价格的最低价钱,市价上卖出的价格又是多少?那些是比较可靠的商店?品质比较好的?那么我们就要使用爬虫来获取这些数据,再进行数据分析,那么今天使用了Selenium框架来简单的爬取在Shopee上的一些商品的基本信息,Ex:商品名称,商品价格,出货地点以及商品的链接。

9月 25, 2020 0条评论 1152点热度 3人点赞 YY部落站(Admin) 阅读全文

1.1 学习urllib.requests模块 Requests的底层原理是urllib,不管在Python2/Python3,都是通用,方法一样。 Requests简单易用,而在早期的Python2的urllib相对来说比较麻烦,但是老师说就算不会用,也要看懂urllib,因为很多遗留下来的项目很多都是使用urllib底层原理实现的Requests。 Python 2 版本:urllib2、urllib Python 3 版本:把urllib和urllib2合并,urlib.requests Requests库的…

4月 30, 2020 0条评论 457点热度 0人点赞 YY部落站(Admin) 阅读全文

2.1 HTTP请求 HTTP分别为GET和POST请求,GET是从服务器上获取数据,POST是向服务器传送数据。 GET:查询参数都会显示在URL上,例子:https://www.yybloger.com/?s=python POST:查询参数和需要提交的数据都会隐藏在表单里,不会显示出来,例子:网页的登入页面 2.2 URL组成部分 URL(Uniform Resource Locator)也称统一资源定位符 主机名也就是网站名,一个域名(Domain Name)可以有很多个子域名。 一般网站的端口号默认为HT…

4月 29, 2020 0条评论 748点热度 0人点赞 YY部落站(Admin) 阅读全文

爬虫就是代替人去模拟浏览器进网页操作,爬虫我们也叫做蜘蛛(Spider)按照一定的规则,自动抓取一些互联网的信息,只要浏览器能做的事情,那么爬虫也能做。

4月 27, 2020 0条评论 885点热度 2人点赞 YY部落站(Admin) 阅读全文

之前答应了某某人要帮他写个下载电影/音频的代码,因此MCO期间写了一小程序,在这里呢,我使用了Python编程爬取了Jxxxx平台上的高质量的中文排行榜歌曲,那么这类的爬虫抓取资源算是犯法吗?其实,爬虫并不算犯法,只看使用爬虫的工程师是否做违反的事,如果说犯法,那么知名的谷歌、百度等各大搜索引擎网站都不就犯法了嘛!爬虫就是抓取浏览器上能访问,做得到的事情而已。

4月 16, 2020 0条评论 1018点热度 1人点赞 YY部落站(Admin) 阅读全文