1. 分布式算法
1.1 分布式算法
四大维度:拜占庭容错、一致性、性能、可用性。

Quantumult X 是目前 iOS 平台主流的全能网络工具,提供 MitM、HTTP Debug 乃至 JS 脚本等诸多功能,同时保持了相当高的易用性。
这是一个付费软件,需要在 App Store 进行购买才能使用。
爬虫玩得好,牢饭吃到饱。
目前免费的代理池几乎不能用, 稳定的代理池收费又比较高。趁着双十一撸了几台便宜的云服务器, 直接拿来当代理服务器使用了。
squid服务程序是一款在Unix系统中最为流行的高性能代理服务软件,通常会被当作网站的前置缓存服务,用于替代用户向网站服务器请求页面数据并进行缓存,通俗来讲,squid服务程序会接收用户的请求,然后自动去下载制定数据(如网页)并存储在服务器内,当以后的用户再来请求相同数据时,则直接将刚刚存储在服务器本地的数据交给用户,较少用户的等待时间。
对于爬虫来说,由于爬虫爬取速度过快,在爬取过程中可能遇到同一个IP访问过于频繁的问题,此时网站就会让我们输入验证码登录或者直接封锁IP,这样会给爬取带来极大的不便。
使用代理隐藏真实的IP,让服务器误以为是代理服务器在请求自己。这样在爬取过程中通过不断更换代理,就不会被封锁,可以达到很好的爬取效果。