你当前的位置：首页   >   ip代理小知识   >   高匿和透明代理区别及网络爬虫香港ip代理

高匿和透明代理区别及网络爬虫香港ip代理

来源: 泥马IP  作者: 邵帅东  2019年9月3日 11:32

透明代理(TransparentProxies)：服务器知道你使用了香港ip代理并且知道你真实IP。顾名思义，透明代理的意思是客户端根本不需要知道有代理服务器的存在，但是它传送的仍然是真实的IP。虽然你可以访问某些受限制的网站，但是你的身份没有任何隐藏，用户可视不同需求选择不同的代理IP。

匿名代理(普通)(AnonymousProxies)：服务器知道你使用了代理但不知道你真实IP。使用这种匿名代理，客户机的真实IP将会被隐藏，但会改变我们的请求信息，服务器端有可能会认为我们使用了代理。不过使用此种代理时，虽然被访问的网站不能知道你的IP地址，但仍然可以知道你在使用代理，当然某些能够侦测IP的网页仍然可以查到你的IP。

该代理的检测依据：REMOTE_ADDR=代理服务器IPHTTP_VIA=通常为代理服务器IP(或代理软件名称，也可能无此头)HTTP_X_FORWARDED_FOR=代理服务器IP(知道你使用了代理，但无法得知真实源IP)。

高匿名代理(Eliteproxy或HighAnonymityProxy)：服务器不知道你使用了代理。高匿名代理不改变客户机的请求，这样在服务器看来就像有个真正的客户浏览器在访问它，这时客户的真实IP是隐藏的，服务器端不会认为我们使用了代理。使用高匿名代理，用户的所有真实信息将被隐藏，因此访问更安全。

尽管互联网上联接了成千上万的服务器和电脑，但它们并不是处于杂乱无章的无序状态，而是每一个主机都有惟一的地址，作为该主机在Internet上的唯一标也就是IP。作为网络爬虫http香港ip代理服务商，首先让你了解下IP池的定义，也就是IP地址池，意指在用户开启DHCP服后，可以设置一个开始的IP地址与结束的IP地址，由此就构成了一个地址池，地址池中的地址可以动态的分配给网络中的客户机使用。就一般的家用路由器来，IP地址池从192.168.1.1开始，到192.168.1.255结束。除了192.168.1.1网关地址和192.168.1.255广播地址，我们不能使用外，从192.168.1.2-192.168.1.254都可以作为电脑的IP地址。

那么一个小区，会不会是一个地址池呢这就要看你们小区网管的规划了，一般来说，每个城市的网络运营商都有自己的独有IP段(可参考DNS)，分管全市辖区范围内的IP。所以，IP池是指某个运营商索能提供的最大限度的IP段。

如果要做爬虫香港ip代理，会用到香港ip代理，可以搜集网络上能用的免费IP，不用太多，然后设置波动间隔，因为代理也会随时换，会随时被封。IP虽然可以伪造，发送模拟TCP/IP头，和伪造的自身IP。

对于爬虫被强，一般来说爬虫都有足够多的香港ip代理ip，是不容易被强的。而一些中小网站要封杀你，宁愿花费高额的成本也要将你一网打尽;因为大多数网站没有vps，他们用的是虚拟空间或者是SAE,BAE这样的PAAS云。其实就算他们不考虑SEO(搜索引擎优化)，用ajax渲染网页数据，我也可以用webkit浏览器组件来搞定ajax之后的数据。你也可以找一下代理网站，抓取一下ip，来进行动态的轮询，也可以用别人做好的第三方ip代理平台来解决上述问题。

然而也会有一些网站闲事情还不够多，他就是喜欢从log里面，一行行的分析出你的ip，然后统计处频率高的网站，这个时候怎么办呢其实方法很简单，就是用大量的主机，还要保证有爬虫的种子量，多个ip是没有问题的。通过更伤脑细胞的某些策略，我们可以把爬虫完全伪装成为网民的浏览行为，从而躲避大部分的反爬虫策略么。

阅读 1531    1