刷個(gè)短視頻

看看直播

結(jié)果其他同類(lèi)產(chǎn)品推銷(xiāo)卻找上門(mén)來(lái)……

注意！

你的個(gè)人信息可能已經(jīng)被網(wǎng)絡(luò)爬蟲(chóng)爬取

2022年5月10日，經(jīng)江蘇省無(wú)錫市梁溪區(qū)人民檢察院提起公訴，梁溪區(qū)人民法院以提供侵入計(jì)算機(jī)信息系統(tǒng)程序罪判處被告人丁某有期徒刑一年六個(gè)月，緩刑兩年，并處罰金三萬(wàn)元。據(jù)悉，該案為全國(guó)首例短視頻平臺(tái)“爬蟲(chóng)”案。

在互聯(lián)網(wǎng)大數(shù)據(jù)時(shí)代背景下，網(wǎng)絡(luò)爬蟲(chóng)作為一項(xiàng)獲取網(wǎng)絡(luò)中數(shù)據(jù)和信息的技術(shù)，在使用方面一直存在爭(zhēng)議。

一、什么是網(wǎng)絡(luò)爬蟲(chóng)

網(wǎng)絡(luò)爬蟲(chóng)，又被稱(chēng)為網(wǎng)絡(luò)機(jī)器人、網(wǎng)頁(yè)蜘蛛。網(wǎng)絡(luò)爬蟲(chóng)通過(guò)模仿人類(lèi)瀏覽互聯(lián)網(wǎng)的行為，將網(wǎng)頁(yè)、應(yīng)用軟件等數(shù)據(jù)信息爬取，是一種按照一定規(guī)則對(duì)互聯(lián)網(wǎng)信息或者數(shù)據(jù)進(jìn)行抓取的程序或腳本。 

網(wǎng)絡(luò)爬蟲(chóng)又分為善意爬蟲(chóng)和惡意爬蟲(chóng)。善意爬蟲(chóng)具有促進(jìn)數(shù)據(jù)共享的正面影響，而惡意爬蟲(chóng)極有可能造成數(shù)據(jù)泄露、侵權(quán)、不當(dāng)競(jìng)爭(zhēng)等危害。

二、近十年網(wǎng)絡(luò)爬蟲(chóng)發(fā)展過(guò)程

網(wǎng)絡(luò)爬蟲(chóng)的起源可以追溯到互聯(lián)網(wǎng)誕生之初。隨著互聯(lián)網(wǎng)的不斷發(fā)展以及數(shù)字經(jīng)濟(jì)的出現(xiàn)，數(shù)據(jù)和信息的重要性日益顯現(xiàn)。無(wú)論是公開(kāi)的信息，還是私密的數(shù)據(jù)，其背后隱藏的價(jià)值都不言而喻。

1.2013年—2015年：北美地區(qū)調(diào)查顯示網(wǎng)絡(luò)爬蟲(chóng)流量占比約五成

海外著名調(diào)查機(jī)構(gòu)Aberdeen Group在2013年至2015年以北美地區(qū)幾百家公司為調(diào)查對(duì)象，探究網(wǎng)絡(luò)爬蟲(chóng)訪問(wèn)流量發(fā)現(xiàn)，網(wǎng)絡(luò)爬蟲(chóng)訪問(wèn)這些公司網(wǎng)站的流量占比竟高達(dá)約五成。其中，2014年真人訪問(wèn)流量只占40.9%。

除了2013年，善意爬蟲(chóng)訪問(wèn)流量（24.22%）高于惡意爬蟲(chóng)（20.98%）約三個(gè)百分點(diǎn)之外，2014、2015年惡意爬蟲(chóng)訪問(wèn)流量占比分別為36.32%、27.04%，均高于同年的善意爬蟲(chóng)訪問(wèn)流量占比（22.78%、18.16%）。

2.2018年：云鼎實(shí)驗(yàn)室追蹤惡意爬蟲(chóng)流量最大行業(yè)，“出行”行業(yè)居首

近些年來(lái)，隨著我國(guó)互聯(lián)網(wǎng)不斷發(fā)展，“大數(shù)據(jù)”的概念深入人心，數(shù)據(jù)價(jià)值更被喻為“無(wú)價(jià)之寶”。但是在利益的驅(qū)使下，許多公司或者個(gè)體開(kāi)始引入“惡意爬蟲(chóng)”肆意爬取其他公司或者個(gè)人的重要數(shù)據(jù)、信息。

云鼎實(shí)驗(yàn)室在2018年對(duì)海量惡意爬蟲(chóng)流量進(jìn)行追蹤，并統(tǒng)計(jì)出了惡意爬蟲(chóng)流量最大的十大行業(yè)。其中，占比最多的是出行行業(yè)（20.87%）。分析認(rèn)為，購(gòu)票平臺(tái)數(shù)據(jù)量龐大，尤其在節(jié)假日期間，車(chē)票、機(jī)票、住宿更是供不應(yīng)求，致使代購(gòu)票和第三方搶票服務(wù)層出不窮，而要做到數(shù)據(jù)實(shí)時(shí)刷新，需要大量網(wǎng)絡(luò)爬蟲(chóng)。

3.2019年：Aberdeen Group數(shù)據(jù)顯示網(wǎng)絡(luò)爬蟲(chóng)流量高達(dá)37.2%

根據(jù)Aberdeen Group在2019年的調(diào)查顯示，縱觀整個(gè)互聯(lián)網(wǎng)，網(wǎng)絡(luò)爬蟲(chóng)的流量高達(dá)37.2%。這些網(wǎng)絡(luò)爬蟲(chóng)在網(wǎng)絡(luò)中肆意游走，爬取數(shù)據(jù)、查看信息，如此循環(huán)往復(fù)。

按照網(wǎng)絡(luò)爬蟲(chóng)的功能進(jìn)行分類(lèi)，可以分為網(wǎng)頁(yè)爬蟲(chóng)和接口爬蟲(chóng)（也稱(chēng)API爬蟲(chóng)）。

4.2020年—2021年：典型案例顯示API爬蟲(chóng)成為數(shù)據(jù)泄露主要威脅

2021年6月，根據(jù)中國(guó)裁判文書(shū)網(wǎng)的公開(kāi)判決案例顯示，河南省商丘市睢陽(yáng)區(qū)人民法院依法對(duì)逯某、黎某侵犯公民個(gè)人信息進(jìn)行判決。原因是逯某從淘寶中非法爬取了11億余條客戶(hù)信息，并將非法獲得的用戶(hù)信息提供給了黎某用于商業(yè)經(jīng)營(yíng)，非法獲利34萬(wàn)元。

此案一經(jīng)判決便在網(wǎng)絡(luò)中引發(fā)了不小的議論，部分網(wǎng)友對(duì)自己的個(gè)人隱私表示擔(dān)憂(yōu)。該案中，逯某就是運(yùn)用了API爬蟲(chóng)技術(shù)對(duì)用戶(hù)信息進(jìn)行了非法爬取。根據(jù)永安在線(xiàn)的統(tǒng)計(jì)，API爬蟲(chóng)已經(jīng)成為了數(shù)據(jù)泄露的主要威脅。

三、分析師點(diǎn)評(píng)

輿論認(rèn)為，新技術(shù)的出現(xiàn)標(biāo)志著時(shí)代革新，技術(shù)不分好壞，用途卻有善惡。惡意爬蟲(chóng)橫行網(wǎng)絡(luò)，且涉足領(lǐng)域廣泛，從個(gè)人信息到開(kāi)源數(shù)據(jù)，從政府網(wǎng)站到商業(yè)網(wǎng)站，相關(guān)危害不容小覷。

《檢察日?qǐng)?bào)》等文章認(rèn)為，首先應(yīng)明確合法使用爬蟲(chóng)技術(shù)的邊界。相關(guān)判定標(biāo)準(zhǔn)至少需包括三項(xiàng)原則，一是合法的網(wǎng)絡(luò)數(shù)據(jù)爬取應(yīng)限于對(duì)開(kāi)放數(shù)據(jù)的獲??；二是合法使用的數(shù)據(jù)爬蟲(chóng)技術(shù)不應(yīng)具有侵入性；三是數(shù)據(jù)爬取應(yīng)當(dāng)基于正當(dāng)目的。同時(shí)，明確各部門(mén)和不同行業(yè)主管部門(mén)的監(jiān)管職責(zé)，提升執(zhí)法能力、強(qiáng)化監(jiān)管體系，在整治惡意爬蟲(chóng)這一目標(biāo)上形成合力，促進(jìn)網(wǎng)絡(luò)爬蟲(chóng)技術(shù)在法律規(guī)制下健康發(fā)展。

參考資料：

1.【報(bào)告】2018上半年互聯(lián)網(wǎng)惡意爬蟲(chóng)分析

https://cloud.tencent.com/developer/article/1336209

2.API安全已是數(shù)據(jù)泄露頭號(hào)風(fēng)險(xiǎn)，92%的數(shù)據(jù)泄露來(lái)自爬蟲(chóng)

https://mp.weixin.qq.com/s/j3SUEYKY6AErtwKgu44Pvw

3. 法律規(guī)制：數(shù)據(jù)爬蟲(chóng)的懸頂之劍

https://kns.cnki.net/kns8/defaultresult/index

4. 論網(wǎng)絡(luò)爬蟲(chóng)生態(tài)系統(tǒng)的立法保障——以構(gòu)建行、民、刑三位一規(guī)制模式為進(jìn)路

https://kns.cnki.net/kns8/defaultresult/index

5. 爬取數(shù)據(jù)需遵規(guī)

https://www.spp.gov.cn/spp/llyj/202202/t20220210_543998.shtml

分析師：劉思源

新媒體編輯：李思彤