node：爬虫爬取网页图片

周末在家闲着，刷微信玩手机，发现微信头像该换了，就上网找头像。看着图片，我以为作为码农，我可以把所有这些图片都爬下来做成微信小程序，说干就干，知道怎么做，整理分享一波。

• 安装node并下载依赖
• 搭建服务
• 要求我们爬的页面返回json安装node 我们开始安装node，可以到node官网下载node下载地址，下载后操作node使用，

node -v

安装成功后，您安装的版本号将出现。

接下来我们用node， 打印hello world，一个新的名字叫index.输入js文件console.log('hello world') 操作此文件

node index.js

将helloo输出到控制面板上 world构建服务器 新建一个名为node的文件夹 首先，你需要下载express依赖express

npm install express

新建的一个叫做demo.js的文件

###项目目录结构

如图：

在demo.下载的expresss引入js

const express = require('express');const app = express();app.get('/index', function(req, res) {res.end(111)var server = app.listen(8081, function() {    var host = server.address().address    var port = server.address().port    console.log(”应用实例，访问地址为 http://%s:%s", host, port)})

操作node demo.js简单服务搭建，如图所示：

要求我们爬行的页面

首先下载所需的依赖性

npm install superagentnpm install superagent-charsetnpm install cheerio

superagent 它是用来发起请求的，是轻量级的，渐进的ajax api,可读性好，学习曲线低，内部依赖nodejs本土请求api，适用于nodejs环境.，也可以使用http发起请求 superagent-charset防止爬取数据的乱码，更改字符格式 cheerio是专门为服务器定制的，快速、灵活、实施的jquery核心实现.。 安装后可引入依赖性。

var superagent = require('superagent');var charset = require('superagent-charset');charset(superagent);const cheerio = require('cheerio');

介绍后请求我们的地址，https://www.qqtn.com/tx/weixintx_1.html

const baseUrl = 'https://www.qqtn.com/'

这些设置完成后，请发送请求。接下来，请查看完整代码demo.js

var superagent = require('superagent');var charset = require('superagent-charset');charset(superagent);var express = require('express');var baseUrl = 'https://www.qqtn.com/'; ///输入任何网站都可以constt cheerio = require('cheerio');var app = express();app.get('/index', function(req, res) {    //设置请求头    res.header("Access-Control-Allow-Origin", "*");    res.header('Access-Control-Allow-Methods', 'PUT, GET, POST, DELETE, OPTIONS');    res.header("Access-Control-Allow-Headers", "X-Requested-With");    res.header('Access-Control-Allow-Headers', 'Content-Type');    //类型    var type = req.query.type;    //页码    var page = req.query.page;    type = type || 'weixin';    page = page || '1';    var route = `tx/${type}tx_${page}.html`        //网页信息为gb2312，所以chaeset应该是.charset(gb2312)，一般网页为utf-8，可直接使用.charset('utf-8')    superagent.get(baseUrl + route)        .charset(gb2312)        .end(function(err, sres) {            var items = [];            if (err) {                console.log('ERR: ' + err);                res.json({ code: 400, msg: err, sets: items });                return;            }            var $ = cheerio.load(sres.text);            $('p.g-main-bg ul.g-gxlist-imgbox li a').each(function(idx, element) {                var $element = $(element);                var $subElement = $element.find('img');                var thumbImgSrc = $subElement.attr('src');                items.push({                    title: $(element).attr('title'),                    href: $element.attr('href'),                    thumbSrc: thumbImgSrc                });            });            res.json({ code: 200, msg: "", data: items });        });});var server = app.listen(8081, function() {    var host = server.address().address    var port = server.address().port    console.log(”应用实例，访问地址为 http://%s:%s", host, port)})

操作demo.js将返回我们获得的数据，一个简单的node爬虫将完成。希望能到达 Node爬虫项目 上点一个 star 谢谢你对这个项目的认可和支持。

node：爬虫爬网页图片