産品簡介
數(shù)據智能(néng)采集平台全網捕獲所需互聯網公開( ∏↑kāi)信息，所見(jiàn)即所得(de)式采集，為(wèi)用(yòn≥&g)戶提供持續獲取外(wài)部海(hǎiε>•)量數(shù)據的(de)服務。通(tōng)過數(±←∑↔shù)據治理(lǐ)算(suàn)法組件(jiàn)，對σ®™(duì)數(shù)據進行(xíng)清✔>洗、治理(lǐ)，保證數(shù)據質量，為(wèi)數(shù)據>£φ應用(yòng)提供有(yǒu)效支撐。
解決方案
頂層框架包括數(shù)據采集、自(zì)動清洗、智能(n↑σ<≤éng)分(fēn)類、情報(bào)呈現(xi≠φ∞àn)、彙編報(bào)告、人(rén)工(gōng)幹預等6個(gè)αππ部分(fēn)。
産品功能(néng)
-
數(shù)據源管理(lǐ)
支持對(duì)定向網站(zhàn)、社交平台等數(shù)據源進÷≈σ>行(xíng)配置管理(lǐ)。
-
任務分(fēn)發
将采集的(de)定向網站(zhàn)、社交平台轉換為β↕€ (wèi)采集任務，協調監控每個(gè)任務隊列的(dε☆Ω×e)情況。
-
數(shù)據監控
支持對(duì)采集任務異常情況進行(xíng)監控預警。
-
數(shù)據治理(lǐ)
支持對(duì)信息進行(xíng)初步處理(lǐ÷₽¥)後，将其結構化(huà)入庫，數(shù)據治理(lǐ)算(suàn)法組Ω₹ ≤件(jiàn)包括：标題抽取、新聞正文(wén)抽取、人(r€πε£én)名地(dì)名抽取、熱(rè)詞發現(xiàn)、自(z↔δ¶ ì)動聚類等。
産品特色
-
海(hǎi)量抓取
數(shù)據采集采用(yòng)先進的¥∞ "(de)分(fēn)布式架構集群部署，可(kě)以 $∏ 抓取海(hǎi)量的(de)網頁，消除單點抓取瓶頸。數(shù)§✔據支持緩存處理(lǐ)和(hé)分(fēn)σ♥×®庫存儲，保證采集系統穩定高(gāo)效運行✔δ(xíng)。
-
智能(néng)調度
采用(yòng)流式計(jì)算(suàn)φ€技(jì)術(shù)，對(duì)用(yòng)戶的(de)數★≤φ<(shù)據請(qǐng)求能(néng)夠秒(miǎo)¶©級快(kuài)速響應。智能(néng)的(de)調度機(j™♣ī)制(zhì)，對(duì)于實時(shí)性要(yà✘Ω©o)求較高(gāo)的(de)源網站(zhàn)優先調度處理(lǐ)。
-
數(shù)據采集完整可(kě)靠
采用(yòng)先進的(de)數(shù)據采集容錯(cuò)機(jīε÷)制(zhì)，确保數(shù)據傳輸的(de)性能 ♠(néng)和(hé)正确性。對(duì)于γ★傳輸錯(cuò)誤的(de)數(shù)據能(néng)夠進行(xíng)重傳 £÷。
