超碰日本道色综合久久综合_亚洲国产2020最新

国产成人亚洲欧美91_在线看片免费人成视频丨_久久免費视频精品_在线观看网站深夜免费A√

加快打造原始創(chuàng)新策源地，加快突破關(guān)鍵核心技術(shù)，努力搶占科技制高點，為把我國建設(shè)成為世界科技強國作出新的更大的貢獻。

——習(xí)近平總書記在致中國科學(xué)院建院70周年賀信中作出的“兩加快一努力”重要指示要求

面向世界科技前沿、面向經(jīng)濟主戰(zhàn)場、面向國家重大需求、面向人民生命健康，率先實現(xiàn)科學(xué)技術(shù)跨越發(fā)展，率先建成國家創(chuàng)新人才高地，率先建成國家高水平科技智庫，率先建設(shè)國際一流科研機構(gòu)。

——中國科學(xué)院辦院方針

首頁 > 一線動態(tài)

計算機網(wǎng)絡(luò)信息中心開發(fā)的“PiFlow大數(shù)據(jù)流水線”
獲“GVP-碼云最有價值開源項目”獎

2019-04-12 計算機網(wǎng)絡(luò)信息中心

【字體：大中小】

語音播報

　　近日，由中國科學(xué)院計算機網(wǎng)絡(luò)信息中心大數(shù)據(jù)部團隊研發(fā)并開源的“PiFlow大數(shù)據(jù)流水線系統(tǒng)”獲2019年開源中國“GVP-碼云最有價值開源項目”獎。

　　PiFlow系統(tǒng)面向空間科學(xué)、高能物理、微生物等學(xué)科領(lǐng)域大規(guī)模多源異構(gòu)數(shù)據(jù)的快速采集、靈活處理和高效存儲等核心關(guān)鍵技術(shù)挑戰(zhàn)，采用Hadoop/Spark分布式存儲與并行計算技術(shù)，實現(xiàn)組件式的大通量、高并發(fā)的大數(shù)據(jù)流水線自動化處理。目前該系統(tǒng)已實現(xiàn)100+的數(shù)據(jù)處理組件，包括Hadoop、Spark、MLlib、Hive、Solr、Redis、MemCache、ElasticSearch、JDBC、MongoDB、HTTP、FTP、XML、CSV、JSON等，為用戶提供所見即所得的流水線配置界面，從而實現(xiàn)大數(shù)據(jù)組件式、自動化采集、清洗、計算、存儲及監(jiān)控的全流程服務(wù)，同時支持用戶快速自定義數(shù)據(jù)處理組件的擴展開發(fā)，滿足數(shù)據(jù)的個性化處理需求。該系統(tǒng)已支撐了科技資源情報服務(wù)、微生物數(shù)據(jù)中心、領(lǐng)域知識圖譜管理與服務(wù)等多項重大項目應(yīng)用。

　　開源中國運營有中國最大的代碼托管平臺，目前已服務(wù)超過300萬的軟件開發(fā)者。計算機網(wǎng)絡(luò)信息中心大數(shù)據(jù)團隊將陸續(xù)發(fā)布大數(shù)據(jù)采集、大數(shù)據(jù)融合存儲及復(fù)雜網(wǎng)絡(luò)挖掘等一系列核心軟件和工具。

打印