企业联系方式采集全网企业信息采集、企业名录、法人号码、企业采集软件、全网搜索、网页爬虫、采集网站数据、网页数据采集软件、python爬虫、HTM网页提取、APP数据抓包、APP数据采集、一站式网站采集技术、BI数据的数据分析、数据标注等成为大数据发展中的热门技术关键词。那么采集企业联系方式的方法有哪些呢？我给大家分享一下，我爬虫的个人经验，我们在采集类似企业联系方式数据的时候会遇到什么技术问题，然后再根据这些问题给大家分享采集方案.
一、写爬虫采集网站之前：
为什么经常听到有些网站的域名被劫持、服务器被heike gongji、数据库被盗等，大家平时登录一个网站，记的都是类似www.qcc.com这样的网址。这叫做域名（domain name）。输入域名后是需要先通过DNS服务器来解析识别这个域名对应的服务器IP地址，每家公司网站的程序和数据都是放在自己服务器上的（如阿里云服务器或者自己购买的服务器），每个服务器有一个IP地址，只要知道这个IP地址，就可以访问到这个网站（特殊情况除外，比如设置了禁止IP访问权限）。
（2）域名劫持爬虫技术： 域名劫持是互联网gongji的一种方式，通过gongji域名解析服务器（DNS），实现劫持，因为如果要访问www.qcc.com 就必先经过DNS域名解析服务器来解析这个网址对应那台服务器IP地址。如果在这个过程有heike想攻您网站，比如heike想gongji百度，就可以在这个DNS解析域名环节做手脚，比如我想让所有用户打开www.qcc.com 直接访问的是我的广告网站，而不是百度自己服务器里面的网站网页。那很简单，那只要在DNS 解析百度这个网址的时候把对应的百度服务器IP地址 修改解析到您自己的网站服务器IP地址去，那么所有人打开这个qcc.com网址就实际就是打开您的网站了。这个过程就叫域名劫持，这种技术已经不是爬虫技术是高级的heike技术了。
（3）钓鱼网站爬虫技术：通过域名劫持技术，很多人heike去劫持银行网站、支付宝网站、充值交易的网站等，比如他们先做一个和银行一模一样的网站，功能和长相和银行的一模一样，这个网站我们称呼钓鱼网站，用户打开银行网址时候，其实已经被劫持走了，真正访问的是他们提供的钓鱼网站，但是因为网址是一样的，网站长相也是一样的，用户压根不会识别出来，等您输入银行账号密码后，您的银行卡的钱估计就自动被转走了，因为已经知道您的账号密码了。对技术感兴趣朋友欢迎交流我扣扣：2779571288
二、网站数据采集的10个经典方法：
方法二、用selenium模拟浏览器
selenium是一个专门采集反爬很厉害的网站经常使用的工具，它主要是可以模拟浏览器去打开访问您需要采集的目标网站了，比如您需要采集天眼查或者企查查或者是淘宝、58、京东等各种商业的网站，那么这种网站服务端做了反爬技术了，如果您还是用python的request.get方法就容易被识别，被封IP。这个时候如果您对数据采集速度要求不太高，比如您一天只是采集几万条数据而已，那么这个工具是非常适合的。我当时在处理商标网时候也是用selenum，后面改用JS逆向了，如果您需要采集几百万几千万怎么办呢？下面的方法就可以用上了。
方法三、用scrapy进行分布式高速采集
Scrapy是适用于Python的一个快速、高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。scrapy 特点是异步高效分布式爬虫架构，可以开多进程 多线程池进行批量分布式采集。 比如您想采集1000万的数据，您就可以多设置几个结点和线程。Scrapy也有缺点的，它基于 twisted 框架，运行中的 exception 是不会干掉 reactor（反应器），并且异步框架出错后 是不会停掉其他任务的，数据出错后难以察觉。我2019年在做企业知识图谱建立的时候就是用这个框架，因为要完成1.8亿的全量工商企业数据采集和建立关系，维度比天眼还要多，主要是时候更新要求比天眼快。对技术感兴趣朋友欢迎交流我扣扣：2779571288
方法四：用Crawley
Crawley也是python开发出的爬虫框架，该框架致力于改变人们从互联网中提取数据的方式。它是基于Eventlet构建的高速网络爬虫框架、可以将爬取的数据导入为Json、XML格式。支持非关系数据库、支持使用cookie登录或访问那些只有登录才可以访问的网页。
方法五：用PySpider
相对于Scrapy框架而言，PySpider框架是一支新秀。它采用Python语言编写，分布式架构，支持多种数据库后端，强大的WebUI支持脚本编辑器、任务监视器、项目管理器以及结果查看器。PySpider的特点是ython脚本控制，可以用任何你喜欢的html解析包，Web界面编写调试脚本、起停脚本、监控执行状态、查看活动历史，并且支持RabbitMQ、Beanstalk、Redis和Kombu作为消息队列。用它做个两个外贸网站采集的项目，感觉还不错。
方法六：用Aiohttp
Aiohttp 是纯粹的异步框架，同时支持 HTTP 客户端和 HTTP 服务端，可以快速实现异步爬虫。坑比其他框架少。并且 aiohttp 解决了requests 的一个痛点，aiohttp 可以轻松实现自动转码，对于中文编码就很方便了。这个做异步爬虫很不错，我当时对几个淘宝网站异步检测商城里面的商品和价格变化后处理时用过一段时间。
方法七：asks
Python 自带一个异步的标准库 asyncio，但是这个库很多人觉得不好用，甚至是 Flask 库的作者公开抱怨自己花了好长时间才理解这玩意，于是就有好事者撇开它造了两个库叫做 curio 和 trio，而这里的 ask 则是封装了 curio 和 trio 的一个 http 请求库。
方法八：vibora
号称是现在最快的异步请求框架，跑分是最快的。写爬虫、写服务器响应都可以用，用过1个月后 就很少用了。
方法九：Pyppeteer
Pyppeteer 是异步无头浏览器（Headless Chrome），从跑分来看比 Selenium + webdriver 快，使用方式是最接近于浏览器的自身的设计接口的。它本身是来自 Google 维护的 puppeteer。我经常使用它来提高selenium采集的一些反爬比较厉害的网站 比如裁判文书网，这种网站反爬识别很厉害。
