去重是對數據去重還是對請求url進行去重?分別是如何來實現的?
url去重可以使用Scrapy+redis實現url去重(使用set)
另-種方式: Scrapy-Redis手 動添加去重ur|(指紋)，實現實錄:通過MD5加密，把請求體，請求方式，請求url放在一起。
然后進行32進制的轉義符字符串生成指紋。
生成-個字符串，放到數據庫中 作為唯-標示。
數據去重可以使用sql語句或者pandas對爬取數據進行去重操作即可。
相關推薦HOT
【Python面試題】談談你對“猴子補丁”（monkey patching）的理解
“猴子補丁”是動態類型語言的一個特性，代碼運行時在不修改源代碼的前提下改變代碼中的方法、屬性、函數等以達到熱補丁（hot patch）的效果。詳情>>
2022-08-23 10:29:17
【Python面試題】使用Python代碼實現遍歷一個文件夾的操作
Python標準庫os模塊的walk函數提供了遍歷一個文件夾的功能，它返回一個生成器。import os g = os.walk('/Users/Hao/Downloads/') for path, dir...詳情>>
2022-08-23 10:29:09
【Python面試題】如何理解python中的封裝,繼承,多態的
封裝：封裝就是把對象的屬性和行為結合成一個獨立的整體，把內部的實現細節隱藏起來，不能被外界所看見，調用的人只能執行，而看不到實現的細節...詳情>>
2022-08-23 10:29:06
【Python面試題】運行下面的代碼是否會報錯
擴展：如果不希望代碼運行時動態的給對象添加新屬性，可以在定義類時使用__slots__魔法。例如，我們可以在上面的A中添加一行__slots__ = ('__va...詳情>>
2022-08-23 10:29:03
【Python面試題】閱讀下面的代碼說出運行結果。
在沒有多重繼承的情況下，向對象發出一個消息，如果對象沒有對應的方法，那么向上（父類）搜索的順序是非常清晰的。如果向上追溯到object類（所...詳情>>
2022-08-23 10:29:00
京公網安備 11010802030320號