1.1 学习urllib.requests模块 Requests的底层原理是urllib,不管在Python2/Python3,都是通用,方法一样。 Requests简单易用,而在早期的Python2的urllib相对来说比较麻烦,但是老师说就算不会用,也要看懂urllib,因为很多遗留下来的项目很多都是使用urllib底层原理实现的Requests。 Python 2 版本:urllib2、urllib Python 3 版本:把urllib和urllib2合并,urlib.requests Requests库的…

2020年04月30日 0条评论 168点热度 0人点赞 阅读全文

2.1 HTTP请求 HTTP分别为GET和POST请求,GET是从服务器上获取数据,POST是向服务器传送数据。 GET:查询参数都会显示在URL上,例子:https://www.yybloger.com/?s=python POST:查询参数和需要提交的数据都会隐藏在表单里,不会显示出来,例子:网页的登入页面 2.2 URL组成部分 URL(Uniform Resource Locator)也称统一资源定位符 主机名也就是网站名,一个域名(Domain Name)可以有很多个子域名。 一般网站的端口号默认为HT…

2020年04月29日 0条评论 206点热度 0人点赞 阅读全文

爬虫就是代替人去模拟浏览器进网页操作,爬虫我们也叫做蜘蛛(Spider)按照一定的规则,自动抓取一些互联网的信息,只要浏览器能做的事情,那么爬虫也能做。

2020年04月27日 0条评论 228点热度 2人点赞 阅读全文

之前答应了某某人要帮他写个下载电影/音频的代码,因此MCO期间写了一小程序,在这里呢,我使用了Python编程爬取了Jxxxx平台上的高质量的中文排行榜歌曲,那么这类的爬虫抓取资源算是犯法吗?其实,爬虫并不算犯法,只看使用爬虫的工程师是否做违反的事,如果说犯法,那么知名的谷歌、百度等各大搜索引擎网站都不就犯法了嘛!爬虫就是抓取浏览器上能访问,做得到的事情而已。

2020年04月16日 0条评论 236点热度 0人点赞 阅读全文