何為爬蟲？何為反爬蟲？在大數(shù)據(jù)盛行的時代，小編為您揭秘
發(fā)布日期：2021-04-21 訪問次數(shù)：
面試的時候，因為雙方爬蟲理念或者反爬蟲理念不同，也很可能互不認可，影響自己的求職之路。本來程序員就有“文人相輕”的傾向，何況理念真的大不同。
爬蟲與反爬蟲，是一個很不陽光的行業(yè)。這里說的不陽光，有兩個含義。
第一是，這個行業(yè)是隱藏在地下的，一般很少被曝光出來。很多公司對外都不會宣稱自己有爬蟲團隊，甚至隱瞞自己有反爬蟲團隊的事實。這可能是出于公司戰(zhàn)略角度來看的，與技術無關。
第二是，這個行業(yè)并不是一個很積極向上的行業(yè)。很多人在這個行業(yè)摸爬滾打了多年，積攢了大量的經(jīng)驗，但是悲哀的發(fā)現(xiàn)，這些經(jīng)驗很難兌換成閃光的簡歷。
面試的時候，因為雙方爬蟲理念或者反爬蟲理念不同，也很可能互不認可，影響自己的求職之路。本來程序員就有“文人相輕”的傾向，何況理念真的大不同。
然而這就是程序員的宿命。不管這個行業(yè)有多么的不陽光，依然無法阻擋大量的人進入這個行業(yè)，因為有公司的需求。
那么，公司到底有什么樣的需求，導致了我們真的需要爬蟲/反爬蟲呢？
反爬蟲很好理解，有了爬蟲我們自然要反爬蟲。對于程序員來說，哪怕僅僅是出于“我就是要證明我技術比你好”的目的，也會去做。
對于公司來說，意義更加重大，最少，也能降低服務器負載，光憑這一點，反爬蟲就有充足的生存價值。
那么爬蟲呢？最早的爬蟲起源于搜索引擎。搜索引擎是善意的爬蟲，可以檢索你的一切信息，并提供給其他用戶訪問。為此他們還專門定義了 robots.txt 文件，作為君子協(xié)定，這是一個雙贏的局面。
然而事情很快被一些人破壞了，爬蟲很快就變的不再“君子”了。后來有了“大數(shù)據(jù)”，無數(shù)的媒體鼓吹大數(shù)據(jù)是未來的趨勢，吸引了一批又一批的炮灰去創(chuàng)辦大數(shù)據(jù)公司。
這些人手頭根本沒有大數(shù)據(jù)，他們的數(shù)據(jù)只要用一個 U 盤就可以裝的下，怎么好意思叫大數(shù)據(jù)呢？
這么點數(shù)據(jù)根本忽悠不了投資者，于是他們開始寫爬蟲，拼命地爬取各個公司的數(shù)據(jù)。很快他們的數(shù)據(jù)，就無法用一個 U 盤裝下了。這個時候終于可以休息休息，然后出去吹噓融資啦。
然而可悲的是，大容量 U 盤不斷地在發(fā)布，他們總是在拼命地追趕存儲增加的速度。
以上是爬蟲與反爬蟲的歷史，下面通過四個方面深入談下爬蟲與反爬蟲：
爬蟲反爬蟲運行現(xiàn)狀
爬蟲反爬蟲技術現(xiàn)狀
爬蟲反爬蟲套路現(xiàn)狀
爬蟲反爬蟲的未來
爬蟲反爬蟲運行現(xiàn)狀
電子商務行業(yè)的爬蟲與反爬蟲更有趣一些，最初的爬蟲需求來源于比價。
這是某些電商網(wǎng)站的核心業(yè)務，大家買商品的時候，是一個價格敏感型用戶的話，很可能用過網(wǎng)上的比價功能(真心很好用啊)。
毫無懸念，他們會使用爬蟲技術來爬取所有相關電商的價格。他們的爬蟲還是比較溫柔的，對大家的服務器不會造成太大的壓力。
然而，這并不意味著大家喜歡被他爬取，畢竟這對其他電商是不利的，于是需要通過技術手段來做反爬蟲。
按照技術人員的想法，對方用技術懟過來，我們就要用技術懟回去，不能慫啊。這個想法是很好的，但是實際應用起來根本不是這么回事。
誠然，技術是很重要的，但是實際操作上，更重要的是套路。誰的套路更深，誰就能玩弄對方于鼓掌之中。
誰的套路不行，有再好的技術，也只能被耍的團團轉(zhuǎn)。這個雖然有點傷技術人員的自尊，然而，我們也不是第一天被傷自尊了。大家應該早就習慣了吧。
真實世界的爬蟲比例
大家應該聽過一句話吧，大概意思是說，整個互聯(lián)網(wǎng)上大概有 50% 以上的流量其實是爬蟲。
第一次聽這句話的時候，我還不是很相信，我覺得這個說法實在是太夸張了。怎么可能爬蟲比人還多呢？ 爬蟲畢竟只是個輔助而已。
現(xiàn)在做了這么久的反爬蟲，我依然覺得這句話太夸張了。50%？你在逗我？就這么少的量？
舉個例子，某公司，某個頁面的接口，每分鐘訪問量是 1.2 萬左右，這里面有多少是正常用戶呢？50%？60%？還是？
正確答案是：500 以下。也就是說，一個單獨的頁面，12000 的訪問量里，有 500 是正常用戶，其余是爬蟲。
注意，統(tǒng)計爬蟲的時候，考慮到你不可能識別出所有的爬蟲，因此，這 500 個用戶里面，其實還隱藏著一些爬蟲。
那么爬蟲率大概是：(12000-500)/12000=95.8%。
這個數(shù)字你猜到了嗎？這么大的爬蟲量，這么少的用戶量，大家到底是在干什么？是什么原因?qū)е铝嗣髅魇前偃思墑e的生意，卻需要萬級別的爬蟲來做輔助？ 95% 以上，19 保 1？
答案可能會相當令人噴飯，這些爬蟲大部分是由于決策失誤導致的。
哭笑不得的決策思路
舉個例子，這個世界存在 3 家公司，售賣相同的電商產(chǎn)品，三家公司的名字分別是 A，B，C。
這個時候，客戶去 A 公司查詢了下某商品的價格，看了下發(fā)現(xiàn)價格不好，于是他不打算買了，他對整個行業(yè)的訂單貢獻為 0。
然而 A 公司的后臺會檢測到，我們有個客戶流失了，原因是他來查詢了一個商品，這個商品我們的價格不好，沒關系，我去爬爬別人試試。
于是他分別爬取了 B 公司和 C 公司，B 公司的后臺檢測到有人來查詢價格，但是呢，最終沒有下單。
他會認為，嗯，我們流失了一個客戶。怎么辦呢？我可以爬爬看，別人什么價格。
于是他爬取了 A 和 C，C 公司的后臺檢測到有人來查詢價格。。。。。
過了一段時間，三家公司的服務器分別報警，訪問量過高。三家公司的 CTO 也很納悶，沒有生成任何訂單啊，怎么訪問量這么高？
一定是其他兩家禽獸寫的爬蟲沒有限制好頻率。媽的，老子要報仇！于是分別做反爬蟲，不讓對方抓自己的數(shù)據(jù)。
然后進一步強化自己的爬蟲團隊抓別人的數(shù)據(jù)。一定要做到：寧叫我抓天下人，休叫天下人抓我。
然后，做反爬蟲的就要加班天天研究如何攔截爬蟲，做爬蟲的被攔截了，就要天天研究如何破解反爬蟲策略。
大家就這么把資源全都浪費在沒用的地方了，直到大家合并了，才會心平氣和的坐下來談談，都少抓點。
最近國內(nèi)的公司有大量的合并，我猜這種“心平氣和”應該不少吧？
爬蟲反爬蟲技術現(xiàn)狀
下面我們談談，爬蟲和反爬蟲分別都是怎么做的。
為 Python 平反
首先是爬蟲，爬蟲教程你到處都可以搜的到，大部分是 Python 寫的。
我曾經(jīng)在一篇文章提到過：用 Python 寫的爬蟲是最薄弱的，因為天生并不適合破解反爬蟲邏輯，因為反爬蟲都是用 JavaScript 來處理。
然而慢慢的，我發(fā)現(xiàn)這個理解有點問題（當然我如果說我當時是出于工作需要而有意黑 Python，你們信嗎。。。）。
Python 的確不適合寫反爬蟲邏輯，但是 Python 是一門膠水語言，他適合捆綁任何一種框架。
而反爬蟲策略經(jīng)常會變化的翻天覆地，需要對代碼進行大刀闊斧的重構，甚至重寫。這種情況下，Python 不失為一種合適的解決方案?！?/span>
舉個例子，你之前是用 selenium 爬取對方的站點，后來你發(fā)現(xiàn)自己被封了，而且封鎖方式十分隱蔽，完全搞不清到底是如何封的，你會怎么辦？你會跟蹤 selenium 的源碼來找到出錯的地方嗎？
你不會，你只會換個框架，用另一種方式來爬取，然后你就把兩個框架都淺嘗輒止地用了下，一個都沒有深入研究過。
因為沒等你研究好，也許人家又換方式了，你不得不再找個框架來爬取。畢竟，老板等著明天早上開會要數(shù)據(jù)呢。
老板一般都是早上八九點開會，所以你七點之前必須搞定。等你厭倦了，打算換個工作的時候，簡歷上又只能寫“了解 n 個框架的使用”，僅此而已?！?/span>
這就是爬蟲工程師的宿命，爬蟲工程師比外包還可憐。外包雖然不容易積累技術，但是好歹有正常上下班時間，爬蟲工程師連這個權利都沒有?！?/span>
然而反爬蟲工程師就不可憐了嗎？也不是的，反爬蟲有個天生的死穴，就是：誤傷率?！?/span>
無法繞開的誤傷率
我們首先談談，面對對方的爬蟲，你的第一反應是什么？
如果限定時間的話，大部分人給我的答案都是：封殺對方的 IP。
然而，問題就出在，IP 不是每人一個的，大的公司有出口 IP，ISP 有的時候會劫持流量讓你們走代理，有的人天生喜歡掛代理，有的人為了翻墻 24 小時掛 VPN。
最坑的是，現(xiàn)在是移動互聯(lián)網(wǎng)時代，你如果封了一個 IP？不好意思，這是中國聯(lián)通的 4G 網(wǎng)絡，5 分鐘之前還是別人，5 分鐘之后就換人了哦！
因此，封 IP 的誤傷指數(shù)最高，并且，效果又是最差的，因為現(xiàn)在即使是最菜的新手，也知道用代理池了。
你們可以去淘寶看下，幾十萬的代理價值多少錢？我們就不談到處都有的免費代理了。
也有人說：我可以掃描對方端口，如果開放了代理端口，那就意味著是個代理，我就可以封殺了呀?！?/span>
事實是殘酷的，我曾經(jīng)封殺過一個 IP，因為他開放了一個代理端口，而且是個很小眾的代理端口。
不出一天就有人來報事件，說我們一個分公司被攔截了，我一查 IP，還真是我封的 IP。
我就很郁悶地問他們 IT，開這個端口干什么？他說做郵件服務器啊。我說為啥要用這么奇怪的端口？他說，這不是怕別人猜出來么？我就隨便取了個。
掃描端口的進階版，還有一種方式，就是去訂單庫查找這個 IP 是否下過訂單，如果沒有，那么就是安全的；如果有，那就不安全，有很多網(wǎng)站會使用這個方法。
然而這只是一種自欺欺人的辦法而已，只需要下一單，就可以永久洗白自己的 IP，天下還有比這更便宜的生意嗎？
因此，封 IP，以及封 IP 的進階版：掃描端口再封 IP，都是沒用的。根本不要考慮從 IP 下手，因為對手會用大量的時間考慮如何躲避 IP 封鎖，你干嘛和人家硬碰呢？這沒有任何意義。
那么，下一步你會考慮到什么？很多站點的工程師會考慮：既然沒辦法阻止對方，那我就讓它變的不可讀吧。我會用圖片來渲染關鍵信息，比如價格。這樣，人眼可見，機器識別不出來?！?/span>
這個想法曾經(jīng)是正確的，然而，坑爹的技術發(fā)展，帶給我們一個坑爹的技術，叫機器學習。順便帶動了一個行業(yè)的迅猛發(fā)展，叫 OCR。
很快，識別圖像就不再是任何難題了，甚至連人眼都很難識別的驗證碼，有的 OCR 都能搞定，比我肉眼識別率都高。更何況，現(xiàn)在有了打碼平臺，用資本都可以搞定，都不需要技術。
那么，下一步你會考慮什么？這個時候，后端工程師已經(jīng)沒有太多的辦法可以搞了?！?/span>
不過后端搞不定的事情，一般都推給前端啊，前端從來都是后端搞不定問題時的背鍋俠。
多少年來我們都是這么過來的，前端工程師這個時候就要勇敢地站出來了：“都不要得瑟了，來比比誰的前端知識牛逼，你牛逼我就讓你爬。”
我不知道這篇文章的讀者里有多少前端工程師，我只是想順便提一下：你們以后將會是更加搶手的人才。
前端工程師的逆襲
我們知道，一個數(shù)據(jù)要顯示到前端，不僅僅是后端輸出就完事了，前端要做大量的事情，比如取到 json 之后，至少要用 template 轉(zhuǎn)成 html 吧？
這已經(jīng)是步驟最少最簡單的了，然后你總要用 css 渲染下吧？ 這也不是什么難事。
等等，你還記得自己第一次做這個事情的時候的經(jīng)歷嗎？真的，不是什么難事嗎？
有沒有經(jīng)歷過，一個 html 標簽拼錯，或者沒有閉合，導致頁面錯亂？一個 css 沒弄好，導致整個頁面都不知道飄到哪去了？
這些事情，你是不是很想讓別人再經(jīng)歷一次？
這件事情充分說明了：讓一個資深的前端工程師來把事情搞復雜一點，對方如果配備了資深前端工程師來破解，也需要耗費 3 倍以上的時間。
畢竟是讀別人的代碼，別人寫代碼用了一分鐘，你總是要讀兩分鐘，然后罵一分鐘吧？這已經(jīng)算很少的了。如果對方?jīng)]有配備前端工程師。。。那么經(jīng)過一段時間，他們會成長為前端工程師。
之后，由于前端工程師的待遇比爬蟲工程師稍好一些，他們很快會離職做前端，既緩解了前端人才缺口，又可以讓對方缺人，重招。
而他們一般是招后端做爬蟲，這些人需要再接受一次折磨，再次成長為前端工程師，這不是很好的事情嗎？
所以，如果你手下的爬蟲工程師離職率很高，請仔細思考下，是不是自己的招聘方向有問題。
那么前端最坑爹的技術是什么呢？前端最坑爹的，也是最強大的，就是我們的：JavaScript。
JavaScript 有大量的花樣可以玩，毫不夸張的說，一周換一個 feature(Bug)給對方學習，一年不帶重樣的。這個時候你就相當于一個面試官，對方要通過你的面試才行。
舉個例子，在 Array.prototyp e里，有沒有 map ?。渴裁磿r候有??？你說你是 xx 瀏覽器，那你這個應該是有還是應該沒有啊？你說這個可以有啊？可是這個真沒有啊。
那[]能不能在 string 里面獲取字符??？哪個瀏覽器可以哪個不行啊？咦！你為什么支持 WebKit 前綴??？等等，剛剛你還支持怎么現(xiàn)在不支持了啊？你聲明的不對啊。
這些對于前端都是簡單的知識，已經(jīng)習以為常了，但是對于后端來說簡直就是噩夢。
然而，前端人員自己作死，研究出了一個東西，叫：Nodejs?；?V8，秒殺所有的 js 運行。
不過 Nodejs 實現(xiàn)了大量的 feature，都是瀏覽器不存在的，你隨隨便便訪問一些東西（比如你為什么會支持 process.exit），都會把 node 坑的好慘好慘。
而且瀏覽器里的 js，你拉到后臺用 Nodejs 跑，你是不是想到了什么安全漏洞？這個是不是叫，代碼與數(shù)據(jù)混合？如果他在 js 里跑點惡心的代碼，瀏覽器不支持但是 node 支持怎么辦？
還好，爬蟲工程師還有 phantomjs。但是，你怎么沒有定位??？ 哈哈，你終于模擬出了定位。
但是不對啊，根據(jù)我當前設置的安全策略你現(xiàn)在不應該能定位??？你是怎么定出來的？連 phantomjs 的作者自己都維護不下去了，你真的愿意繼續(xù)用嗎？
當然了，最終，所有的反爬蟲策略都逃不脫被破解的命運。但是這需要時間，反爬蟲需要做的就是頻繁發(fā)布，拖垮對方。
如果對方兩天可以破解你的系統(tǒng)，你就一天一發(fā)布，那么你就是安全的。這個系統(tǒng)甚至可以改名叫做“每天一道反爬題，輕輕松松學前端”。
誤傷，還是誤傷
這又回到了我們開始提到的“誤傷率”的問題了。我們知道，發(fā)布越頻繁，出問題的概率越高。那么，如何在頻繁發(fā)布的情況下，還能做到少出問題呢？
此外還有一個問題，我們寫了大量的“不可讀代碼”給對方，的確能給對方造成大量的壓力，但是，這些代碼我們自己也要維護啊。
如果有一天忽然說，沒人爬我們了，你們把代碼下線掉吧。這個時候?qū)懘a的人已經(jīng)不在了，你們怎么知道如何下線這些代碼呢？
這兩個問題我暫時不能公布我們的做法，但是大家都是聰明人，應該都是有自己的方案的，軟件行業(yè)之所以忙的不得了，無非就是在折騰兩件事，一個是如何將代碼拆分開，一個是如何將代碼合并起來。
關于誤傷率，我只提一個小的 tip：你可以只開啟反爬蟲，但是不攔截，先放著，發(fā)統(tǒng)計信息給自己，相當于模擬演練。
等統(tǒng)計的差不多了，發(fā)現(xiàn)真的開啟了也不會有什么問題，那就開啟攔截或者開啟造假。
這里就引發(fā)了一個問題，往往一個公司的各個頻道，爬取難度是不一樣的。原因就是，誤傷檢測這種東西與業(yè)務相關，公司的基礎部門很難做出通用的，只能各個部門自己做，甚至有的部門做了有的沒做。
因此引發(fā)了爬蟲界一個奇葩的通用做法：如果 PC 頁面爬不到，就去 H5 試試，如果 H5 很麻煩，就去 PC 碰碰運氣。
爬蟲反爬蟲套路現(xiàn)狀
那么一旦有發(fā)現(xiàn)對方數(shù)據(jù)造假怎么辦？
早期的時候，大家都是要抽查數(shù)據(jù)，通過數(shù)據(jù)來檢測對方是否有造假，這個需要人工核對，成本非常高。
可是那已經(jīng)是洪荒時代的事情了。如果你們公司還在通過這種方式來檢測，說明你們的技術還比較落伍。
之前我們的競爭對手是這么干的：他們會抓取我們兩次，一次是他們解密出來 key 之后，用正經(jīng)方式來抓取，這次的結(jié)果定為 A。
一次是不帶 key，直接來抓，這次的結(jié)果定為 B。根據(jù)前文描述，我們可以知道，B 一定是錯誤的。那么如果 A 與 B 相等，說明自己中招了，這個時候會停掉爬蟲，重新破解。
不要回應
所以之前有一篇關于爬蟲的文章，說如何破解我們的。一直有人要我回復下，我一直覺得沒什么可以回復的。
第一，反爬蟲被破解了是正常的。這個世界上有個萬能的爬蟲手段，叫“人肉爬蟲”。
假設我們就是有錢，在印度開個分公司，每天雇便宜的勞動力用鼠標直接來點，你能拿我怎么辦？
第二，我們真正關心的是后續(xù)的這些套路。而我讀了那篇文章，發(fā)現(xiàn)只是調(diào)用了selenium并且拿到了結(jié)果，就認為自己成功了。
我相信你讀到這里，應該已經(jīng)明白為什么我不愿意回復了。我們最重要的是工作，而不是誰打誰的臉。
大家如果經(jīng)常混技術社區(qū)就會發(fā)現(xiàn)，每天熱衷于打別人臉的，一般技術都不是很好。
當然這并不代表我們技術天下第一什么的，我們每天面對大量的爬蟲，還是遇到過很多高手的。
就如同武俠小說里一樣，高手一般都比較低調(diào)，他們默默地拿走數(shù)據(jù)，很難被發(fā)現(xiàn)，而且頻率極低，不會影響我們的考評。你們應該明白，這是智商與情商兼具的高手了。
我們還碰到拉走我們 js，砍掉無用的部分直接解出 key，相當高效不拖泥帶水的爬蟲，一點廢請求都沒有（相比某些爬蟲教程，總是教你多訪問，寫沒用的 url 免得被發(fā)現(xiàn)，真的不知道高到哪里去了。這樣做除了會導致機器報警，導致對方加班封鎖以外，對你自己沒有任何好處）。
而我們能發(fā)現(xiàn)這一點僅僅是是因為他低調(diào)地寫了一篇博客，通篇只介紹技術，沒有提任何沒用的東西。
這里我只是順便發(fā)了點小牢騷，就是希望后續(xù)不要總是有人讓我回應一些關于爬蟲的文章。
線下我認識很多爬蟲工程師，水平真的很好，也真的很低調(diào)（不然你以為我是怎么知道如何對付爬蟲的。。。），大家都是一起混的，不會產(chǎn)生“一定要互相打臉”的情緒。
進化
早期我們和競爭對手打的時候，雙方的技術都比較初級。后來慢慢的，爬蟲在升級，反爬蟲也在升級，這個我們稱為“進化”。
我們曾經(jīng)給對方放過水，來試圖拖慢他們的進化速度，然而，效果不是特別理想。爬蟲是否進化，取決于爬蟲工程師自己的 KPI，而不是反爬蟲的進化速度。
后期打到白熱化的時候，用的技術越來越匪夷所思。舉個例子，很多人會提，做反爬蟲會用到 canvas 指紋，并認為是最高境界。
其實這個對于反爬蟲來說也只是個輔助，canvas 指紋的含義是，因為不同硬件對 canvas 支持不同，因此你只要畫一個很復雜的 canvas，那么得出的 image，總是存在像素級別的誤差。
考慮到爬蟲代碼都是統(tǒng)一的，就算起 selenium，也是 Ghost 的，因此指紋一般都是一致的，因此繞過幾率非常低。
但是！這個東西天生有兩個缺陷。
第一是，無法驗證合法性。當然了，你可以用非對稱加密來保證合法，但是這個并不靠譜。
其次，canvas 的沖突概率非常高，遠遠不是作者宣稱的那樣，沖突率極低。也許在國外沖突是比較低，因為國外的語言比較多。但是國內(nèi)公司通常是 IT 統(tǒng)一裝機，無論是軟件還是硬件都驚人的一致。
我們測試 canvas 指紋的時候，在攜程內(nèi)部隨便找了 20 多臺機器，得出的指紋都完全一樣，一丁點差別都沒有。因此，有些“高級技巧”一點都不實用。
法律途徑
此外就是大家可能都考慮過的：爬蟲違法嗎？能起訴對方讓對方不爬嗎？法務給的答案到是很干脆，可以，前提是證據(jù)。
遺憾的是，這個世界上大部分的爬蟲爬取數(shù)據(jù)是不會公布到自己網(wǎng)站的，只是用于自己的數(shù)據(jù)分析。
因此，即使有一些關于爬蟲的官司做為先例，并且已經(jīng)打完了，依然對我們沒有任何幫助。反爬蟲，在對方足夠低調(diào)的情況下，注定還是個技術活。
搞事情，立 Flag
到了后來，我們已經(jīng)不再局限于打打技術了，反爬蟲的代碼里我們經(jīng)常埋點小彩蛋給對方，比如寫點注釋給對方。雙方通過互相交戰(zhàn)，頻繁發(fā)布，居然聊的挺 high 的。
比如問問對方，北京房價是不是很高?。繉Ψ交貞?，歐巴，我可是憑本事吃飯哦。繼續(xù)問，搖到號了嗎？諸如此類等等。
這樣的事情你來我往的，很容易動搖對方的軍心，還是很有作用的。試想一下，如果你的爬蟲工程師在大年三十還苦逼加班的時候，看到對方留言說自己拿到了 n 個月的年終獎，你覺得你的工程師，離辭職還遠嗎？
最后，我們終于搞出了大動作，覺得一定可以坑對方很久了。我們還特意去一家小火鍋店吃了一頓，慶祝一下，準備明天上線。
大家都知道，一般立 Flag 的下場都比較慘的，兩個小時的自助火鍋，我們剛吃五分鐘，就得到了我們投資競爭對手的消息。
后面的一個多小時，團隊氣氛都很尷尬，誰也說不出什么話。我們組有個實習生，后來鼓足勇氣問了我一個問題：“我還能留下來嗎？”
畢竟，大部分情況下，技術還是要屈服于資本的力量。
爬蟲反爬蟲的未來
與競爭對手和解之后，我們?nèi)グ菰L對方，大家坐在了一起。之前網(wǎng)上自稱妹子的，一個個都是五大三粗的漢子，這讓我們相當絕望。
在場唯一的一個妹子還是我們自己帶過去的（就是上面提到的實習生），感覺套路了這么久，最終還是被對方套路了。
好在，吃的喝的都很好，大家玩的還是比較 high 的。后續(xù)就是和平年代啦，大家不打仗了，反爬蟲的邏輯扔在那做個防御，然后就開放白名單允許對方爬取了。
群里經(jīng)常叫的就是：xxx 你怎么頻率這么高，xxx 你為什么這個接口沒給我開放，為什么我爬的東西不對我靠你是不是把我封了啊，諸如此類的。
和平年代的反爬蟲比戰(zhàn)爭年代還難做，因為戰(zhàn)爭年代，誤傷率只要不是太高，公司就可以接受。
和平年代大家不能搞事情，誤傷率稍稍多一點，就會有人叫：好好的不賺錢，瞎搞什么搞。
此外，戰(zhàn)爭年代只要不攔截用戶，就不算誤傷。和平年代還要考慮白名單，攔截了合作伙伴也是誤傷，因此各方面會更保守一些。
不過，總體來說還是和平年代比較 happy，畢竟，誰會喜歡沒事加班玩呢。
然而和平持續(xù)的不是很久，很快就有了新的競爭對手選擇爬蟲來與我們打，畢竟，這是一個利益驅(qū)使的世界。
只要有大量的利潤，資本家就會殺人放火，這不是我們這些技術人員可以決定的，我們希望天下無蟲，但是我們又有什么權利呢。
好在，這樣可以催生更多的職位，順便提高大家的身價，也算是個好事情吧。
掃描添加好友
免費提供：網(wǎng)站建設、網(wǎng)絡推廣解決方案
已幫助
人
人
您的鼓勵是站長的最大動力
標簽：爬蟲,反爬蟲
轉(zhuǎn)載請注明來自：http://www.nbwmg.com/news/2091.html
1 次
11 次
