后羿采集器houyicaiji,采集谷歌地图商户信息,外贸客户开发,外贸实战笔记2022

外贸实战笔记主图横屏裁剪
近期
近期 文章
热门
热门 文章

后裔采集器houyicaiji,谷歌地图商户信息爬取,全球国家、各大城市批量采集,无需单次输入bulk scraping,提高效率,解放双手,外贸客户开发,外贸实战笔记2022。

外贸实战笔记原创,转载注明出处-2022年10月6日

市面上收费的谷歌地图信息采集工具,全靠边。

houyicaiji后羿采集器

国外软件

2021年初接触到这款国外软件爬取谷歌地图商户信息,当时可谓如获至宝。有个问题,比如,搜battery in UK,搜完后,再去搜美国啦,其它地方,不能所有或说多个地方同时运行,或说运行完一个地方,接着下一个。

它不支持多个地方同时运行吗?支持,花钱。拜拜。

免费版,可以抓网址,再用Email Extracor去解析邮箱。

一直对国内软件没什么好感,找来找去,还是决定介绍下国内后羿采集器。

后羿采集

直接下载安装即可,当前版本为3.6.4

操作流程

搜索链接批量创建

打开软件,点智能模式,开始采集。

这篇文章介绍过谷歌地图链接规则

				
					https://www.google.com/maps/search/battery+in+
				
			

不管加哪个地方在这个链接后面,都可以在谷歌地图打开。

只需要将全球所有想要搜索的地方+在谷歌地图链接后,去批量搜索即可。大胆推测,所有谷歌地图爬取软件,应该都是这个原理。

批量创建搜素链接

深入采集

可发现,自动识别出的结果,没有网址。直接点击右上角深入采集,即可自动进入下一级页面,去添加字段。

开始采集-IP配置

这里,可以开始采集了,比如我只想要网址,在字段这里,就只添加网址进去。

为什么不直接在生成的页面中去采集网址,还要进去下一级页面呢?谷歌地图,有的地方,会直接显示这个website图标,有的没有,需要点击进去下一级,有网址的才能采集到。

当你兴奋地开始采集时,发现谷歌页面打不开,即使刚刚配置链接页面可以正常运行。因为,需要购买付费版本,才能设置IP,设置IP地址后,才能运行谷歌地图页面。

客服响应速度很慢,两三天才回复。

有关于IP知识点,也可在工具页面,查看SwitchyOmega的相关内容

Web Scraper单页采集,无法滚动加载数据

在这篇文章里,竭尽所能想用Web Scraper去做谷歌地图信息采集,失败告终。其中最核心的因素,就是Web Scraper无法在谷歌地图上设置滚动加载页面信息,这是在爬取其它任何站点时不曾遇到的情况。就像Youtube上一个老外说的,Google Map is a special case.

QQ群有我苦心钻研的Web Scraper爬取谷歌地图单个搜索结果,无法滚动加载的Web Scraper Graph Codes,需要的进群拿。就算公开了,没心思搞的,也没啥用,浪费心血。

对了,刚刚演示的时候,所有地方名字,如果两个及以上单词,需要”+”相连。

houyicaiji

3.5.3版本,不花钱

为什么3.5.3版本开启IP代理不要钱呢?不开启也能运行呢?而3.6.4版本开启IP需要充钱,要不然谷歌地图不能运行呢?没有为什么,为了钱。天下熙熙皆为利来。

3.5.3版本-2023年3月13日补充

八爪鱼就像这个老外说的,有一小部分,没做过具体统计,大概有个5-10%吧,感觉,即使不同的商家信息,网址有时候都重复了。即使修改了Xpath值,也没法避免。还是那句话,Google Map is a special case。

手动切换这里的等待时间,就是每个步骤之间的间隔,防止打开网页过快,网速又跟不上,就会漏掉。设置了8秒,隔一个漏一个,设置了20秒还是隔一个漏一个。

相比于八爪鱼,差太远,别人每个步骤之间都可以设置不同的时间间隔。足见两者软件之间的开发者所花费的心思。

之前的3.5.3版本,不开启代理,是不能运行打不开谷歌地图,就称为“老版本”或“破解版”吧,是不充钱也能开启。

现在即使是3.5.3版本,不充钱就不能开启。但是,虽然不能开启,可是,地图又能打开。看来远程是有自己的数据链接的。所以还是称呼为老版本吧,称为破解版,高估它了。

如果觉得太绕,你就这么理解,一个IP设置,都在纠结收不收费。这个IP是你自己的。

请打分

相关文章

本站产品

FAQ

公众号主页对话框,输入微信群(3个汉字)。

所有内容皆为作者亲身实战,拒绝空谈,主张实战。希望每一位外贸人都将自己的疑惑付诸实战,拒绝道听途说。外贸实战,从你我做起。

宗旨是实战,免费是追求,核心思想是扶正自我。行业不同,观点不同,立场不同,憧憬亦不同。人各有志。全网良心巨匠,等同于免费(无任何水分,毫不夸张)。

此站作者,普普通通外贸从业人员,无培训。远离大神,少听课。 

此站不获客。来到此站,即缘分,无需相识,去留皆可。挂羊头卖狗肉,非我。带走一丝灵感,足矣。

外贸笔记不以盈利为目的,也不做慈善。免费问题免费答。付费QQ群有一些软件与工具可免费下载,永久更新中。冷静思考,独立分析,善于钻研者入。此站不灭,Q群不亡,终身保修。不进付费Q群工具如何获取?公众号后台输入灵兽二字查看。

记录外贸工作,总结经验,实验站,试错站,借此心得,希望产品独立站能成功起流量。SEO流量。实战纠错中。

2017年从事外贸工作,2022年建立此站,停更,代表此站作者已退出深爱的挚爱的引以为傲的外贸江湖。也会彻底删除此站,绝不以外贸名义行培训之事。

产品独立站SEO起流量。希望每一位深入阅读此站外贸从业者,皆能抱以此志。Improve Marketing Ability.

教程不敢言,此站详尽地记录了外贸笔记从无到有几乎每一步。与以有心者。

此站作者究其所能分享了外贸路上学会的几乎所有技能,每一页,每一篇文章都会在日常中不断精进,记得时常翻阅。取其精华,去其糟粕。愿技能不仅是技能,可为生产力。世界上最遥远的距离,是知道与践行。愿助各位一臂之力,愿外贸路上的你顺风顺水,一路长虹。

不太清楚。这只是我的工作,勉强饿不死。祝你暴富。

可能一周、一个月、一年、一辈子。热爱永不败。

通过文字、图片、声音、视频、面谈,获得对方认可。就像我通过网站与公众号在获得你的认可一样。

本站不提供任何翻墙工具及咨询服务,翻墙属违法行为。所有被采集信息皆为互联网公开的前端信息。所有信息采集类工具,仅为提升工作效率,勿传播,勿作非法用途。爱国守法,明礼诚信,团结友善,敬业奉献,勿违法乱纪。

不提供私聊服务。付费Q群,认真阅读研习网站后,自行决定是否进入,勿盲目从众。此站不陪聊,无客服服务(Unlimited Questions)。本站内容说简单也简单,说复杂也复杂,适合心静钻研性人群。勿依赖作者,去除平台个人主义色彩,去中心化。此站分享的不是工具,不是技巧,是思路,是系统,形而上者谓之道,形而下者谓之器,驭器为道。举一反三,以一敌百,无招胜有招。

  • 1.售卖盗版软件属违法行为,本站不售卖盗版软件,拒绝盗版,从我做起。
  • 2.Q群付费进群,是且仅仅是因为付费者想获取QQ群其它技能,比如关键词指令、客户开发思路等等(价值远超1000万元人民币)。
  • 3.QQ群内技术版软件免费分享只是为了好玩,纯属炫技,毫无价值,一文不值,全都没用,此站无任何售卖行为。若正版版权拥有者发现此站,请马上联系,将立即删除。
  • 4.破解版是否真正是相对应官网的正版破解版,需要专业机构从长计议(不能仅从几张图片认定为正版破解版)。
  • 5.此站所有收益皆通过微信公众号:外贸业务员,并依法纳税。

外贸盗版大王称号是对此站严重污蔑,与此站宗旨完全不符,请慎言慎行。爱国守法,明礼诚信,敬业奉献。

外贸实战笔记官网公告
0%