说明：如果访问 GitHub 比较慢的话，可以关注我的知乎账号（Python-Jack），上面的“从零开始学Python”专栏（对应本项目前 20 天的内容）比较适合初学者，其他的专栏如“数据思维和统计思维”、“基于Python的数据分析”、“说走就走的AI之旅”等也在持续更新中 ...

最近在技术交流群看到个有意思的现象：十个想学爬虫的新人，九个会问同样的问题——"搞爬虫必须得学Python吗？"作为一个曾经在爬虫路上摔得鼻青脸肿的过来人，今天就跟大伙掏心窝子聊聊这事儿。 说白了，爬虫就是个24小时不睡觉的搬运工。它能帮你把全 ...

正式介绍weixin_crawler之前，我准备了两个问题，这两个问题通过weixin_crawler自带的报告和搜索指数都能得到回答。 有无数种方法可以知道这个问题的答案。鉴于手头有60个公众号的全部发文数据，共计大约14万篇文章，其中包含了文章的发文时间、正文、阅读量等 ...

可以按照scrapy project项目级配置，这也是scrapy默认模板提供的方式，配置文件位于selni/settings.py. 也可以按照spider级别配置 ...