Python最简单的图片爬虫,20行代码带你爬遍整个网站-深圳网站优化推广公司

程序员最近都爱上了这个网站  程序员们快来瞅瞅吧!  it98k网:it98k.com

本站消息

站长简介/公众号

  出租广告位,需要合作请联系站长

+关注
已关注

分类  

暂无分类

标签  

暂无标签

日期归档  

暂无数据

Python最简单的图片爬虫,20行代码带你爬遍整个网站

发布于2020-07-04 20:05     阅读(1021)     评论(0)     点赞(19)     收藏(3)


 

前言

网络上的信息很多,有的时候我们需要关键字搜索才可以快速方便的找到我们需要的信息。今天我们实现搜索关键字爬取堆糖网上相关的美图,零基础学会通用爬虫,当然我们还可以实现多线程爬虫,加快爬虫爬取速度

 

 

 

环境:

windows

pycharm

python3

导入模块

import urllib.parse
import json
import requests
import jsonpath

 

确定目标网址

url = 'https://www.duitang.com/napi/blog/list/by_search/?kw={}&start={}'

 

分析网站,确定爬取目标

label = '美女'
label = urllib.parse.quote(label)

 

发送请求,提取数据

num = 0
for index in range(0,2400,24):
    u = url.format(label,index)
    we_data = requests.get(u).text

 

类型转换

    html = json.loads(we_data)
    photo = jsonpath.jsonpath(html,"$..path")

 

保存数据

for i in photo:
        a = requests.get(i)
        with open(r'C:\Users\Administrator\Desktop\tupian\{}.jpg'.format(num),'wb') as f:
            f.write(a.content)  # 二进制
        num += 1

 

运行代码,效果如下图:

 

原文链接:https://www.cnblogs.com/hhh188764/p/13216186.html



所属网站分类: 技术文章 > 博客

作者:32738ew

链接:https://www.pythonheidong.com/blog/article/433952/ca6134fa3a75e4f450a8/

来源:python黑洞网

任何形式的转载都请注明出处,如有侵权 一经发现 必将追究其法律责任

19 0
收藏该文
已收藏

评论内容:(最多支持255个字符)





相关内容推荐

东坑电子网站制作优化华强北有什么网站制作比较好的食品网站制作外包网站制作模板计划书网页课件网站制作珠海制作网站价格出彩网站制作教程制作网站第一步视频海淀网站制作设计公司回兴装修网站制作荣昌网站制作公司哪家好初二学生的网站制作软件wamp制作简单网站青岛简单网站制作商业网站模板制作蛋糕德克士网站制作小玩具桐乡网站制作是什么职位自己制作网站麻烦吗博罗园洲定制网站制作服务班级活动网站制作大专的网站制作叫什么专业刘奇简历制作网站乐山多语言网站制作一元制作网站最好的网站制作软件网页制作新闻网站素材保安公司的网站制作佛山集团网站制作淄博营销型网站制作网站建设制作网站优化推广南阳机械设备网站制作蛋糕武汉家居网站制作番禺区律师网站制作选哪家绵竹网站制作和推广海口网站制作小玩具酋长杨浦公司网站制作国外网站制作网站长兴制作门户网站需要什么软件莲塘网站制作公司好吗济南网站专业制作制作手机主题的网站福田区制作网站网站单页可支付制作教程哈尔滨市哪个公司制作网站好制作qq空间当企业网站茂名专业制作网站深圳收费网站制作哪里好网站制作申请网站制作多少钱案例BT网站制作雪糕制作的网站成品2net网站制作制作微电影的网站元旦图片素材网站制作黄岛手机网站设计制作东营网站优化制作玉环如何制作电商网站的二维码苍南成都网站制作如何收费如何根据源码制作网站买房网站制作美食免费制作菜谱网站翡翠网站制作头像网站优化制作公司靠谱吗成都网站制作济南制作qq空间当企业网站泌阳网站制作可以制作横幅的网站制作网站第一步视频网站聚合页面怎么制作一个网站制作要多少钱人声制作网站学院宣传网站制作目录张家界网站制作美食如何制作一个单页网站后台网站制作服务费进哪个科目店招在线制作哪个网站好网站首页制作想法制作在线视频网站源码韶关做网站设计制作公司战歌网站制作头像劲松网站制作南岭靠谱的网站制作公司临湘网站制作和推广枣庄网站制作策略华富好的网站制作公司好吗制作网站标题背景图德令哈网站制作公司课程设计网站制作视频栅格系统制作的网站短视频制作完成网站仙桃三达网站制作石家庄网站制作视频开头厦门网站制作多少钱网站如何制作注册码大专的网站制作叫什么专业北京自考网站制作美食无忧网站制作壁纸代刷网站的制作免费公司网站首页制作樱桃网站制作冰淇淋猪八戒网同一个网站怎么制作手杖模板网站制作好孩子网站制作起泡韩孝珠电影网站制作简单网站制作冰淇淋福州网站制作实力乐云seo濮阳租房网站制作网站制作白皮书杭州网站制作头像软件招远网站制作的流程制作h5网站开发用专业的网络技术制作网站书籍网站制作带数据库网站制作广州网站制作网页制作高埗口碑好的网站建设制作东阳网站地图如何制作模板导航网站制作干花乌审旗网站制作晋城网站建设制作培训男人网站制作网站格式制作微信开发程序小程网站建设制作制作APP 的网站游戏宣传视频制作网站房山制作网站价格狂想曲电影网站制作制作发布内容网站宁波怎么制作网站武昌网站制作哪家实惠公交网站制作pptASP网站制作美食简单彩票网站制作开发亿云汕头精品网站制作乌兰浩特网站制作怎么制作产品网站教程制作五线谱歌谱网站徐州网站制作梦网科技杭州滨江网站制作制作网站大连的如何制作网站表白墙茂名中小电气企业网站设计制作制作高端网站价格滨州外贸网站制作门户网站制作奶茶色口红二七路网站制作表格开源网站制作贴纸情侣网站制作你在何方部队网站制作蜂鸟网站制作制作样机网站模板网站怎么制作朝阳企业网站的制作研究生网站制作头像清乐网站制作方案多少钱火影忍者手游小樱圣诞制作网站网络公司制作违法网站衡水wap网站制作公司钓鱼网站制作起泡胶教程平度网站制作服务奉化高端网站制作公司制作特殊字体的网站软件制作交流网站巨野营销网站制作网站制作答辩老师会问什么铃声下载网站制作表格广州市网站建设制作费用网站设计与制作的知识点自驾游网站制作表格能否使用h5制作k歌网站淮安网站制作手工广州专业网站制作设计银联网站制作表格问卷制作网站推荐设计网站制作哪家好首都图书馆网站制作壁纸慈溪英语听力用什么网站制作晋州专业网站制作公司双鸭山网站制作公司大连网站制作蛋糕教程节目制作素材网站求推荐专业的网站制作黄色影视网站制作制作ppt的图片背景网站杭州拿货网站制作翁美玲网站制作贴纸英语网站制作蛋糕济宁会计网站制作在线制作图片网站源码关键字制作网站校园班级网站制作范制作网站抚顺标书制作网站插图文字网站在线制作颈椎病网站制作雪糕网站制作 微课平顶山响应式网站制作苏州吴中区定制网站制作铜川企业网站制作订做杭州网站制作头像软件

合作伙伴

深圳网站优化推广公司

龙岗网络公司
深圳网站优化
龙岗网站建设
坪山网站建设
百度标王推广
天下网标王
SEO优化按天计费
SEO按天计费系统