进一步了解代理ip软件知识—ip代理工作原理

　　我们经常在爬取网站时设置ip代理来避免爬虫程序中被封号，而获取ip地址的方式通常来自提取国内的知名ip代理商提供的ip资源，代理商一般分为透明代理，匿名代理，高匿代理，区别的方式相信大家也都学习了很多，为了更进一步的去认识，接下来了解一下ip代理的工作原理吧。

　　代理ip的类型主要取决于代理服务器端的配置。不同配置会形成不同的代理类型。在配置中，这三个变量REMOTE_ADDR，HTTP_VIA，HTTP_X_FORWARDED_FOR是决定性因素。

　　1)REMOTE_ADDR

　　REMOTE_ADDR表示客户端的IP，但是它的值不是由客户端提供的，而是服务器根据客户端的IP指定的。

　　如果使用浏览器直接访问某个网站，那么网站的web服务器（Nginx、Apache等）就会把REMOTE_ADDR设为客户端的IP地址。

　　如果我们给浏览器设置代理ip，我们访问目标网站的请求会先经过代理服务器软件，然后由代理服务器将请求转化到目标网站。那么网站的web服务器就会把REMOTE_ADDR设为代理服务器的IP。

　　2）X-Forwarded-For（XFF）

　　X-Forwarded-For是一个HTTP扩展头部，用来表示HTTP请求端真实IP。当客户端使用了代理时，web服务器就不知道客户端的真实IP地址。为了避免这个情况，代理服务器通常会增加一个X-Forwarded-For的头信息，把客户端的IP添加到头信息里面。

　　X-Forwarded-For请求头格式如下：

　　X-Forwarded-For:client,proxy1,proxy2

　　client表示客户端的IP地址；proxy1是离服务端最远的设备IP;proxy2是次级代理设备的IP；从格式中，可以看出从client到server是可以有多层代理的。

　　如果一个HTTP请求到达服务器之前，经过了三个代理Proxy1、Proxy2、Proxy3，IP分别为IP1、IP2、IP3，用户真实IP为IP0，那么按照XFF标准，服务端最终会收到以下信息：

　　X-Forwarded-For:IP0,IP1,IP2

　　Proxy3直连服务器，它会给XFF追加IP2，表示它是在帮Proxy2转发请求。列表中并没有IP3，IP3可以在服务端通过Remote Address字段获得。我们知道HTTP连接基于TCP连接，HTTP协议中没有IP的概念，Remote Address来自TCP连接，表示与服务端建立TCP连接的设备IP，在这个例子里就是IP3。

　　3）HTTP_VIA

　　via是HTTP协议里面的一个header,记录了一次HTTP请求所经过的代理和网关，经过1个代理服务器，就添加一个代理服务器的信息，经过2个就添加2个。

       以上内容大概了解代理ip原理的几种方式，都知道高度匿名代理不改变客户机的请求，这样在服务器看来就像有个真正的客户浏览器在访问它，这时客户的真实IP是隐藏的，服务器端不会认为我们使用了代理ip工具。因此，爬虫程序需要使用到ip代理时，尽量选择普通匿名代理和高匿名代理，另外，如果要保证数据不被代理服务器知道，推荐使用HTTPS协议的代理。

       国内知名品牌动态IP海就很符合，提供高质量ip，并且可以很方便地指定在哪些地区切换，稳定性也不错，适用于一些对IP质量要求较高的爬虫项目。

版权声明：本文为ipadsl.cn所属公司原创作品，未经许可，禁止转载！