Sansx's Studio.

Node爬虫备忘

node 爬虫
字数统计: 231阅读时长: 1 min
2018/08/05 Share

前言

最近在爬取了某某电影站的3,000多条数据（下载链接）试手之后，发现爬虫结合nunjucks，感觉可以弄一个不错的网站集合，把我常用的网站整合成一个页面，应该能提高不少信息获取的效率。

现在暂时开了一个小头，者期间关于node的好用的工具或是技巧，慢慢整理在此作为备忘。

  1. 普通的获取页面信息：superagent—-中文点我
    (中文更新较慢，推荐看官网)

  2. 分析页面信息：cheerio
    通读cheerio API - CNode技术社区

    将获取的html信息进行解析，实现了大部分jQuery选择器语法，包括了jQuery核心的子集。

  3. 控制并发：async
    直接看教程就好使用async控制并发　 via:alsotang

  4. 虚拟浏览器：phantomjs 　教程
    某种意义上的神器

  5. 图片存储
    获取数据

原文作者：Sansx

原文链接：https://github.com/sansx/2018/08/05/nodespider/

发表日期：August 5th 2018, 12:00:00 am

更新日期：June 21st 2019, 9:52:52 am

版权声明：本文采用知识共享署名-非商业性使用 4.0 国际许可协议进行许可

CATALOG
  1. 1. 前言
Total : 19
2019
2018
翻译 databases docker linux centos7 Docker nginx Node.js npm pm2 CoffeeScript JavaScript 算法 数据 数组 css stackoverflow node 爬虫 mysql vue api h5 webpack windows