湖北掌大协议拨号Python脚本
湖北定制版协议拨号 本来之前我e信账号被加小黑屋就没弄了，没想到又被放出小黑屋了，可以上了 据说1月份换协议，且用且珍惜，另外感谢陈大的项目 ...
Python
百度搜索引擎取真实地址-python代码
代码 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 def parseBaidu(keyword, pagenum): keywordsBaseURL = 'https://www.baidu.com/s?wd=' + str(quote(keyword)) + '&oq=' + str(quote(keyword)) + '&ie=utf-8' + '&pn=' pnum = 0 while pnum <= int(pagenum): baseURL = keywordsBaseURL + str(pnum*10) try: request = requests.get(baseURL, headers=headers) soup = BeautifulSoup(request.text, "html.parser") for a in soup.select('div.c-container > h3 > a'): url = requests.get(a['href'], headers=headers).url yield url except: yield None finally: pnum += 1 ...
360搜索引擎取真实地址-python代码
还是个比较简单的，不像百度有加密算法 分析 1 http://www.so.com/link?url=http%3A%2F%2Fedu.sd.chinamobile.com%2Findex%2Fnews.do%3Faction%3DnoticeDetail%26id%3D22452&q=inurl%3Anews.do&ts=1488978912&t=89c5361a44fe3f52931d25c6de262bb&src=haosou 网址是上面这个样子，没加密直接取就好了，去掉头http://www.so.com/link?url=和尾&q=一直到末尾的部分，剩下的就可以吃了 ...
Python异步爬虫的学习(一)
本文主要从一下几个方面进行说明: 什么是异步(Asynchronous)编程 为什么要使用异步编程？ 如何利用Python实现异步 ...
javbus爬虫-老司机你值得拥有
起因 有个朋友叫我帮忙写个爬虫，爬取javbus5上面所有的详情页链接，也就是所有的https://www.javbus5.com/SRS-055这种链接， 我一看，嘿呀，这是司机的活儿啊，我绝对不能辱没我老司机的名声（被败坏了可不好），于是开始着手写了 构思 爬虫调度启动程序crawler.py 页面下载程序downloader.py 页面解析程序pageparser.py 数据库入库与去重管理程序controler.py ...