一、結構化數據、非結構化數據、半結構化數據
結構化數據
結構化的數據一般是指可以使用關系型數據庫表示和存儲,可以用二維表來邏輯表達實現的數據。
一般特點是:數據以行為單位,一行數據表示一個實體的信息,每一行數據的屬性是相同的,存儲在數據庫中;能夠用數據或統一的結構加以表示,如數字、符號;能夠用二維表結構來邏輯表達實現,包含屬性和元組,如:成績單就是屬性,90分就是其對應的元組。
傳統的關系數據模型、行數據,存儲于數據庫,可用二維表結構表示。而結構化的數據的存儲和排列是很有規律的,這對查詢和修改等操作很有幫助。
對于結構化數據來講通常是先有結構再有數據,而對于半結構化數據來說則是先有數據再有結構。
半結構化數據
半結構化數據是結構化數據的一種形式,它并不符合關系型數據庫或其他數據表的形式關聯起來的數據模型結構,但包含相關標記,用來分隔語義元素以及對記錄和字段進行分層,數據的結構和內容混在一起,沒有明顯的區分,因此,它也被稱為自描述的結構,簡單的說半結構化數據就是介于完全結構化數據和完全無結構的數據之間的數據。例如:HTML文檔,JSON,XML和一些NoSQL數據庫等就屬于半結構化數據。
非結構化數據
非結構化數據顧名思義,就是沒有固定結構的數據。包括所有格式的辦公文檔、文本、圖片、XML、HTML、各類報表、圖像和音頻/視頻信息等等都屬于非結構化數據。對于這類數據,我們一般直接整體進行存儲,而且一般存儲為二進制的數據格式。
典型的人為生成的非結構化數據包括:
文本文件:文字處理、電子表格、演示文稿、電子郵件、日志。
社交媒體:來自新浪微博、微信、QQ、Facebook,Twitter,LinkedIn等平臺的數據。
網站: YouTube,Instagram,照片共享網站。
移動數據:短信、位置等。
通訊:聊天、即時消息、電話錄音、協作軟件等。
媒體:MP3、數碼照片、音頻文件、視頻文件。
業務應用程序:MS Office文檔、生產力應用程序。
典型的機器生成的非結構化數據包括:
衛星圖像:天氣數據、地形、軍事活動。
科學數據:石油和天然氣勘探、空間勘探、地震圖像、大氣數據。
數字監控:監控照片和視頻。
傳感器數據:交通、天氣、海洋傳感器。
延伸閱讀:
二、非結構化數據背后的價值
結構化數據與非結構化數據兩者之間最大的區別在于分析的便利性。針對結構化數據存在成熟的分析工具,但用于挖掘非結構化數據的分析工具正處于萌芽和發展階段。
除此之外,非結構化數據比結構化數據要多得多,隨著網絡技術的發展,特別是Internet和其技術的飛快發展,使得非結構化數據的數量日趨增大。
據IDC研究表明,到2025年,全球數據量將會從2016年的16 ZB上升至163ZB。知名研究機構Garter也表示,全球信息量正在以59% 以上的年增長率快速增長。
而在這些數據中,結構化數據僅占到全部數據量的20%,其余80%都是以文件形式存在的非結構化和半結構化數據,日志文件、機器數據等又占據非結構化數據的90%。