您现在的位置是:主页 > whatsapp运营 >
whatsapp分享群链接台湾
2021-11-12 15:53whatsapp运营 人已围观
简介whatsapp群链接在跨境电商中有非常重要的作用,在对外贸易中经常要用到whatsapp软件的群组功能,下面为大家介绍一下如何抓取whatsapp群链接。 whatsapp分享群链接台湾 相比分享whatsapp群链...
whatsapp群链接在跨境电商中有非常重要的作用,在对外贸易中经常要用到whatsapp软件的群组功能,下面为大家介绍一下如何抓取whatsapp群链接。
whatsapp分享群链接台湾
相比分享whatsapp群链接,如何获取whatsapp群链接才是根本,通过Google爬虫可以实现抓取。
爬虫的需求是通过运营给定的一系列关键词从Google的搜索结果的网页中爬取WhatsApp的群链接。这就涉及到两个点,第一是对Google搜索结果网页的爬取,第二是对搜索结果网页中的群链接爬取,最后的结果只需得到群连接。
1)定义Item
item的作用在我的理解上来说是将爬虫爬取到的数据暂存下来,方便以后使用。
items.py
import scrapy
class GrouplinkItem(scrapy.Item):
link = scrapy.Field()
2)新建grouplinkspider.py文件
在grouplink项目下的spiders文件夹新建grouplinkspider.py,搭建爬虫程序的基础架子。
import scrapy
from scrapy.http import Request
class GrouplinkspiderSpider(scrapy.Spider):
name = 'grouplinkspider'
allowed_domains = []
start_urls = []
def parse(self, response):
pass
2)分析Google搜索结果页,编写对应爬虫
通过对Google搜素结果页源码的分析,发现我们所需要的网页a标签并没有任何特殊性的标识,所以用最粗暴的办法将所有的a标签都爬下来然后对href字段进行过滤。
def parse(self, response):
urls = response.xpath('//a/@href')
for url in urls:
strurl = url.extract()
//筛选除链接中包含http且不包含google字段的链接
if 'http' in strurl and 'google' not in strurl:
//使用Request方法执行进一步爬虫
yield Request(strurl,callback=self.getGroup)
数据保存
现在我们需要的群链接已经爬取下来,然后只需要保存就行了,由于业务需求暂时只保存成excel文件,接下来会保存到后台数据库中。
pipelines.py
from openpyxl import Workbook
class GrouplinkPipeline(object):
def __init__(self):
self.wb = Workbook()
self.ws = self.wb.active
self.ws.append(['链接'])
def process_item(self, item, spider):
data = [item['link']]
self.ws.append(data)
self.wb.save('grouplink.xlsx')
return item
setting.py
ITEM_PIPELINES = {
'grouplink.pipelines.GrouplinkPipeline': 300,
}
Tags:
相关文章
点击排行
联系我们
- 微信客服:扫描二维码,关注我们
微信客服
line客服
微信:ball10086123
QQ:1765272903
telegram:https://t.me/insta8666
看清id,谨防骗子