后裔采集器houyicaiji，谷歌地图商户信息爬取，全球国家、各大城市批量采集，无需单次输入bulk scraping，提高效率，解放双手，外贸客户开发，外贸实战笔记2022。
外贸实战笔记原创，转载注明出处-2022年10月6日
市面上收费的谷歌地图信息采集工具，全靠边。
houyicaiji后羿采集器
国外软件
2021年初接触到这款国外软件爬取谷歌地图商户信息，当时可谓如获至宝。有个问题，比如，搜battery in UK，搜完后，再去搜美国啦，其它地方，不能所有或说多个地方同时运行，或说运行完一个地方，接着下一个。
它不支持多个地方同时运行吗？支持，花钱。拜拜。
免费版，可以抓网址，再用Email Extracor去解析邮箱。
一直对国内软件没什么好感，找来找去，还是决定介绍下国内后羿采集器。
后羿采集
直接下载安装即可，当前版本为3.6.4
操作流程
搜索链接批量创建
打开软件，点智能模式，开始采集。
这篇文章介绍过谷歌地图链接规则
https://www.google.com/maps/search/battery+in+
不管加哪个地方在这个链接后面，都可以在谷歌地图打开。
只需要将全球所有想要搜索的地方+在谷歌地图链接后，去批量搜索即可。大胆推测，所有谷歌地图爬取软件，应该都是这个原理。
批量创建搜素链接
深入采集
可发现，自动识别出的结果，没有网址。直接点击右上角深入采集，即可自动进入下一级页面，去添加字段。
开始采集-IP配置
这里，可以开始采集了，比如我只想要网址，在字段这里，就只添加网址进去。
为什么不直接在生成的页面中去采集网址，还要进去下一级页面呢？谷歌地图，有的地方，会直接显示这个website图标，有的没有，需要点击进去下一级，有网址的才能采集到。
当你兴奋地开始采集时，发现谷歌页面打不开，即使刚刚配置链接页面可以正常运行。因为，需要购买付费版本，才能设置IP，设置IP地址后，才能运行谷歌地图页面。
客服响应速度很慢，两三天才回复。
有关于IP知识点，也可在工具页面，查看SwitchyOmega的相关内容
Web Scraper单页采集，无法滚动加载数据
在这篇文章里，竭尽所能想用Web Scraper去做谷歌地图信息采集，失败告终。其中最核心的因素，就是Web Scraper无法在谷歌地图上设置滚动加载页面信息，这是在爬取其它任何站点时不曾遇到的情况。就像Youtube上一个老外说的，Google Map is a special case.
QQ群有我苦心钻研的Web Scraper爬取谷歌地图单个搜索结果，无法滚动加载的Web Scraper Graph Codes，需要的进群拿。就算公开了，没心思搞的，也没啥用，浪费心血。
对了，刚刚演示的时候，所有地方名字，如果两个及以上单词，需要”+”相连。
3.5.3版本，不花钱
为什么3.5.3版本开启IP代理不要钱呢？不开启也能运行呢？而3.6.4版本开启IP需要充钱，要不然谷歌地图不能运行呢？没有为什么，为了钱。天下熙熙皆为利来。
3.5.3版本-2023年3月13日补充
八爪鱼就像这个老外说的，有一小部分，没做过具体统计，大概有个5-10%吧，感觉，即使不同的商家信息，网址有时候都重复了。即使修改了Xpath值，也没法避免。还是那句话，Google Map is a special case。
手动切换这里的等待时间，就是每个步骤之间的间隔，防止打开网页过快，网速又跟不上，就会漏掉。设置了8秒，隔一个漏一个，设置了20秒还是隔一个漏一个。
相比于八爪鱼，差太远，别人每个步骤之间都可以设置不同的时间间隔。足见两者软件之间的开发者所花费的心思。
之前的3.5.3版本，不开启代理，是不能运行打不开谷歌地图，就称为“老版本”或“破解版”吧，是不充钱也能开启。
现在即使是3.5.3版本，不充钱就不能开启。但是，虽然不能开启，可是，地图又能打开。看来远程是有自己的数据链接的。所以还是称呼为老版本吧，称为破解版，高估它了。
如果觉得太绕，你就这么理解，一个IP设置，都在纠结收不收费。这个IP是你自己的。
