《糧食大數(shù)據資源池設計規(guī)范（征求意見） v0.1》由會員分享，可在線閱讀，更多相關《糧食大數(shù)據資源池設計規(guī)范（征求意見） v0.1（29頁珍藏版）》請在裝配圖網上搜索。

華 人 民 共 和 國 糧食 行 業(yè) 標 準 食大數(shù)據資源池 設計規(guī)范 擊此處添加與國際標準一致性程度的標識 （征求意見稿） （本稿完成日期： 2017 年 8 月） 布 施 發(fā)布 目 次 目次 .................................................................................. I 前言 ................................................................................. 食大數(shù)據資源池設計規(guī)范 .............................................................. 1 1 范圍 ................................................................................ 1 2 規(guī)范性引用文件 ...................................................................... 1 3 術語和定義 .......................................................................... 2 4 總體要求 ............................................................................ 4 5 層次結構 ............................................................................ 4 6 數(shù)據構成 ............................................................................ 4 7 數(shù)據描述 ............................................................................ 6 8 數(shù)據接口 ............................................................................ 8 9 數(shù)據模型與存儲體系 .................................................................. 9 10 數(shù)據安全 .......................................................................... 11 11 備份與恢復 ........................................................................ 11 12 可擴展性 .......................................................................... 13 13 資源池管理 ........................................................................ 13 14 運行環(huán)境 .......................................................................... 13 15 技術指標 .......................................................................... 13 附錄 A 元數(shù)據內容定義 ................................................................ 14 附錄 B 元數(shù)據值域代碼表 .............................................................. 24 參考文獻 .............................................................................. 1 I 前 言 本標準按照 出的規(guī)則起草。 本標準由國家糧食局提出。 本標準由全國糧油標準化技術委員會（ 口。 本標準起草單位： 南京財經大學、國家信息中心、國家糧食局 本標準主要起草人： 張璐、伍之昂、曹杰、申冬琴、雷濤、林曦、徐楓、宦茂盛 本標準為首次發(fā)布。 糧食大數(shù)據資源池 設計規(guī)范 1 范圍 糧食大數(shù)據資源池旨在 匯聚和集成糧食生產、收購、倉儲、加工、銷售等過程中的各種相關數(shù)據，建立 數(shù)據豐富 、 格式規(guī)范 、 存儲安全 、 訪問高效 的數(shù)據資源平臺， 以支撐基于大數(shù)據的各種糧食信息化服務。 本標準規(guī)定了 糧食大數(shù)據資源池 設計 的 基本要求，包括總體要求、 層次結構、數(shù)據構成 、 數(shù)據描述、數(shù)據接口、數(shù)據模型與存儲體系、數(shù)據安全、備份與恢復、可擴展性、資源池管理、運行環(huán)境、技術指標等 。本標準適用于 的糧食大數(shù)據資源池設計 ，支持 與 糧食行業(yè) 其它 信息系統(tǒng) 的 互聯(lián)互通。 2 規(guī)范性引用文件 下列文件對于本文件的應用是必不可少的。凡是注日期的引用文件，僅所注日期的版本適用于本文件。凡是不注日期的引用文件，其最新版本（包括所有的修 改單）適用于本文件。 0174 電子信息系統(tǒng)機房設計規(guī) 7859 計算機信息系統(tǒng)安全保護等級劃分準則 22239 信息系統(tǒng)安全等級保護基本要求 22240 信息系統(tǒng)安全等級保護定級指南 20273 信息安全技術數(shù)據庫管理系統(tǒng)安全技術要求 2887 計算機場地通用規(guī)范 油儲藏 部分 7408 數(shù)據和交換格式 日期和時間表示法 4880 語種名稱代碼 2659 世界各 國和地區(qū)名稱代碼 2260 中華人民共和國行政區(qū)劃代碼 1806食信息系統(tǒng)網絡設計規(guī)范 1190于網絡的虛擬 9111 地理信息 3 術語和定義 構化數(shù)據 （ 可以組織成行列結構，可識別的數(shù)據。這類數(shù)據通常是一條記錄，或者是被正確標記過的數(shù)據中的某一個字段，并且可以被精確地定位到。 結構化數(shù)據 （ 不具備統(tǒng)一的結構，不方便用二維邏輯表來表現(xiàn)的數(shù)據， 如文本、圖像、聲音、網頁等。 據集（ 由相關數(shù)據組成的可標識集合。一個數(shù)據集可能是一個較小的數(shù)據集合，在物理上或邏輯上位于一個較大的數(shù)據集之內；反之，一個數(shù)據集也可能由若干數(shù)據集組成，是這些子數(shù)據集的父數(shù)據集。理論上，一個數(shù)據集可以小到單個數(shù)據文件或關系數(shù)據庫中的單個數(shù)據表。圖像、音頻、視頻、軟件等也可以被視為數(shù)據集。在本標準中，數(shù)據集是元數(shù)據的描述對象。 據集類型（ 根據數(shù)據集的結構或資源特征，對數(shù)據集所作的類型劃分。 據類型 （ 對數(shù)據 的有效值域及對該值域中的值所允許的 操作 的規(guī)定。 例如， 數(shù)值型 、布爾型、日期類型、文本 類型等。對于復合元素，其數(shù)據類型用 “ 復合類型 ” 來標識。 數(shù)據（ 關于數(shù)據的數(shù)據。 數(shù)據元素（ 元數(shù)據的 基本 單元。 合元素（ 一個復合元素是由若干數(shù)據元素、或者數(shù)據元素與其它復合元素、或者若干其它復合元素共同組成的 ， 通常用來表示較高層次的概念。 據元素 (數(shù)據元素是元數(shù)據最基本的信息單元。本文檔中對每 一個元素的定義都用一個包含九個屬性的集合來描述， 這些屬性是中文名稱、 英文名稱、 標識 、定義、類型、值域、可選性、最大出現(xiàn)次數(shù)、注釋。 體（ 按一定結構組織起來的數(shù)據的集合，其結構可以用一組屬性來 刻畫 。例如，關系數(shù)據庫中的數(shù)據表就是一個典型的實體代表 。 系型數(shù)據庫 （ 建立在關系模型基礎上的數(shù)據庫，借助于集合代數(shù)等數(shù)學概念和方法來處理數(shù)據庫中的數(shù)據。 布式文件系統(tǒng) （ 管理的物理存儲資源不一定直接連接在本 地節(jié)點上，而是通過計算機網絡與節(jié)點相連的文件系統(tǒng)。 線 （ 服務商到用戶之間鋪設有一條專用的線路，只給用戶獨立使用，其他的數(shù)據不能進入此線路。 擬專網 （ 縮略語 ： 在共享網絡中，通過多種技術（如隧道、加密等）實現(xiàn)原有專用網絡的能力，并在保證網絡的安全性、可靠性、可管理性的同時提供更強的擴展性和靈活性。 （ 1190 據加密 （ 通過加密算法和加密密鑰，將待傳輸?shù)拿魑?轉換為密文，進而保證糧食流轉各階段信息數(shù)據傳輸?shù)陌踩浴? 字簽名 （ 使用了公鑰加密領域的技術實現(xiàn)，用于鑒別數(shù)字信息的方法。只有信息的發(fā)送者才能產生的別人無法偽造的一段數(shù)字串，這段數(shù)字串同時也是對信息的發(fā)送者發(fā)送信息真實性的一個有效證明。 向擴展 （ 通過增加新設備而非升級設備部件的方式提升系統(tǒng)處理能力的方法。 4 總體要求 總體而言，糧食大數(shù)據資源池 規(guī)劃 、設計 、 開發(fā) 和部署 應滿足以下要求： a) 應滿足部門業(yè)務需求； b) 應具有可操作性、可靠性和可用性； c) 應具有可持 續(xù)性和可擴展性； d) 應將數(shù)據保密和安全作為高優(yōu)先項； e) 應履行驗證和授權功能； f) 數(shù)據安全應與資源池建設同步考慮； g) 應使用基于開放的行業(yè)標準和采用成熟的主流技術； h) 資源池管理責任機制由主管、建設和運維單位相應確定； i) 資源池各類技術與設備的選用應遵循經濟性要求， 滿足當前及 未來 一定時間內 需求的前提下，宜選擇 性價比 最好 的設備及技術 。 5 層次結構 糧食大數(shù)據資源池以云平臺的方式建立并提供服務，平臺分為兩級：國家級資源池和省級資源池。國家級資源池對接國家級糧食信息系統(tǒng)，同時接收來自省級資源池中的數(shù)據，匯集全國范圍內的糧食數(shù)據 資源；省級資源池對接省級糧食信息系統(tǒng)，匯集本省糧食數(shù)據，并定期將數(shù)據同步至國家級資源池中。涉糧央企及其它省部級單位的糧食大數(shù)據資源池可比照省級資源池設置。各級資源池提供其對應范圍內的數(shù)據服務，在下級資源池中數(shù)據滿足服務需求時，應首先使用下級資源池服務。 6 數(shù)據構成 糧食大數(shù)據資源池中包含糧食生產、收購、倉儲、加工、銷售等過程中的各種相關數(shù)據，與糧食有關的宏觀經濟數(shù)據、管理數(shù)據以及互聯(lián)網公眾輿情等數(shù)據。這些數(shù)據既包括結構化數(shù)據，也包含非結構化數(shù)據，如文本、圖片、音視頻等，資源池需支持上述數(shù)據的存儲與管理，并針對 未來可能產生的新型糧食數(shù)據提供足夠的擴展能力。 食生產數(shù)據 料數(shù)據：種植糧食所使用的物料的使用記錄，如 種子 種類、來源、數(shù)量、生產批次，農藥編碼、農藥名稱、生產商、供應商、數(shù)量，肥料編碼、名稱、生產商、供應商、數(shù)量等數(shù)據。 間環(huán)境數(shù)據： 田間種植環(huán)節(jié)的環(huán)境參數(shù) ，如 水（高度、水質）、空氣（溫度、濕度、 照） 、 土壤（濕度、 ）等數(shù)據。 量統(tǒng)計數(shù)據 ：全國及各地區(qū)耕地面積、 農作物 播種面積、糧食播種面積、糧食總產量、糧食商品量、糧食平均畝產等信息。 食收購數(shù)據 食 收購 數(shù)據 ：糧食“四項補貼”數(shù)據、糧食收購主體構成、糧食收購數(shù)量、質量、收購進度、 檢驗結果、收購憑證、 國有企業(yè)收購量、政策性糧食收購量等執(zhí)行情況信息。 食倉儲數(shù)據 食出入庫數(shù)據：包括倉庫名稱、編碼，出入庫時間，出入庫數(shù)量，出入庫時糧食的水分、雜質、入庫干燥方法等信息。 食倉儲數(shù)據：降水時間、方法，熏蒸時間、藥劑、濃度，通風時間，以及倉庫 溫度、濕度、水分、氧氣、二氧化碳、磷化氫、儲糧害蟲及螨類等 信息； 情測控數(shù)據：《 糧油儲藏 ： 糧情測控系統(tǒng)第 1 部分∶通 則 》（ 所規(guī)定 的糧情測控系統(tǒng)各設備的運行記錄。 儲賬目數(shù)據：各糧庫 糧食進出庫、保管以及清倉查庫過程中涉及的 賬目 數(shù)據 ，來源 包括：賬本、統(tǒng)計報表、統(tǒng)計臺賬、原始憑證、糧食庫保管賬、統(tǒng)計表、會計賬、銀行資金賬等 數(shù)據 。 儲視頻數(shù)據：糧倉視頻監(jiān)控系統(tǒng)產生的視頻數(shù)據。 食加工數(shù)據 食加工數(shù)據：包括加工企業(yè)信息，加工生產線編碼、名稱、加工產品名稱，產品規(guī)格，加工數(shù)量，加工時間，檢測時間，檢驗結論，檢驗員，產品生產日期等數(shù)據。 食銷售數(shù)據 油市場 數(shù)據 ： 包括 糧食銷售總量 ， 國有企業(yè) 銷售量 ， 政策性糧食競價交易數(shù)據 ， 終端市場價格 ， 主要糧食制品價格等 數(shù)據 。 食消費信息： 包括 糧食消費總量 ， 人均消費量 ， 工業(yè)用糧 ， 飼料用糧 ， 種子用糧 ， 居民口 糧等 數(shù)據 。 食運輸 數(shù)據 食運輸數(shù)據：包括糧食的出發(fā)地、目的地，運輸過程中的車輛軌跡，運輸過程中糧食存放環(huán)境，時間、操作人員， 通過 入 庫系統(tǒng)檢測的糧食貨位號、運輸工具編號、噸糧袋號、地磅計量信息 等數(shù)據。 觀糧食 數(shù)據 觀統(tǒng)計 數(shù)據 ： 包括 儲糧生態(tài)分區(qū)、產銷分區(qū)、產量大縣、糧食 質量指標、人口總數(shù)、地區(qū)產值、地區(qū)財政收入、城鎮(zhèn)居民人均可支配收入、農民人均純收入等基本信息。 食庫存 數(shù)據 ： 包括 國有及非國有糧食經營企業(yè)庫存、糧食轉化企業(yè)庫存、農戶存糧、城鎮(zhèn)居民存糧等 數(shù)據 。 觀 流通 數(shù)據 ： 包括 省外購進、銷往省外、政策性 糧食 跨省移庫情況 ， 糧食進口量、糧食出口量等 數(shù)據 。 際市場 數(shù)據 ： 包括 主要國家經濟指標、糧食期貨 指數(shù) 、現(xiàn)貨價格、國際主要糧食制品價格、世界銀行農業(yè)相關數(shù)據、國際糧農組織相關數(shù)據、美國農業(yè)部相關數(shù)據等。 觀調控信息：糧食供需平衡 預測、糧食綜合生產能力評價、優(yōu)化運輸、儲備糧輪換計劃編制信息等 。 食 管理數(shù)據 糧 企業(yè)信息： 包括 全國糧食倉儲企業(yè) ， 糧食加工企業(yè)等信息。 政許可業(yè)務管理信息： 包括 糧食收購資格許可、儲備糧承儲資格許可、倉儲單位備案、熏蒸作業(yè)備案、經紀人備案、質量追溯等方面 的數(shù)據 。 它外部 數(shù)據 它涉及糧食行業(yè)的外部互聯(lián)網數(shù)據，包括各種與糧食相關的新聞報道等。 7 數(shù)據描述 數(shù)據的組織結構、管理信息及訪問信息等內容利用元數(shù)據進行描述，存儲于糧食大數(shù)據資源池中的數(shù)據都應提供相應的元數(shù)據。具體的 元數(shù)據依賴于其描述對象，由于資源池中的數(shù)據在來源、內容、結構、訪問方式上具有差異，這里僅給出編寫元數(shù)據描述的規(guī)范，即元數(shù)據標準。符合該標準的元數(shù)據能 夠保證數(shù)據的管理者、使用者能夠順利理解并應用相關數(shù)據。 數(shù)據內容 元數(shù)據以不同層次的數(shù)據集作為基本描述對象， 包括數(shù)據集描述信息、數(shù)據集分發(fā)與服務信息、結構描述信息等 3 個主要復合元素模塊，還包括范圍信息和聯(lián)系信息兩個輔助模塊，此兩個模塊不可單獨使用，供其它模塊的特定元素在需要的時候進行引用。 據集描述信息 數(shù)據集描述信息模塊是記錄數(shù)據集基本信息的模塊，是一個必 選模塊。通過使用數(shù)據集描述信息模塊，建庫 人或 單位可以對數(shù)據集本身的基本屬性信息進行詳細描述，例如數(shù)據集名稱、 分類 、創(chuàng)建者、摘要、來源、所采用的語言等，數(shù)據集用戶可以通過瀏覽這些描述信息對數(shù)據集形成一個總體了解。同時，在本模塊中，還可以引用兩個輔助模塊的信息。 具體定義見附錄 據集分發(fā) 與服務 信息 數(shù)據集分發(fā)與服務信息模塊是記錄與數(shù)據集發(fā)行、獲取及提供服務有關的信息的模塊，為必選模塊。主要包括數(shù)據格式、使用數(shù)據集的技術要求、收費策略、權限聲明、訂購指南、聯(lián)系信息等內容。記錄與數(shù)據集相關的服務的標識信息， 以及詳細的服務元數(shù)據信息，該模塊用于在數(shù)據集與相關服務之間建立連接。在本模塊中，引用了 “ 聯(lián)系信息 ” 這個輔助模塊。具體定義見附錄 構描述信息 結構描述信息模塊記錄數(shù)據集所包含實體的結構的有關信息，包括實體基本信息、屬性信息、 約束條件等內容。這里的實體結構信息包括關系數(shù)據庫中的數(shù)據表及其屬性信息，包含了關系數(shù)據庫數(shù)據字典中的大部分信息。此外，對于不通過數(shù)據庫管理，但是具備關系數(shù)據庫表格類似特征的實體，也可以通過此模塊來描述，例如具有明確字段或鍵的文檔數(shù)據庫和文本文件等。具體定義見附錄 圍 信 息 范圍信息模塊是一個輔助模塊，其中包括數(shù)據集內容所涉及的分類、時間和空間范圍的 信息。該模塊不能單獨使用，而是被主要模塊的有關元素引用。具體定義見附錄 系信息 聯(lián)系信息模塊記錄與數(shù)據集有關的個人和組織的聯(lián)系信息。該模塊與范圍信息模塊類似，不可 單獨使用，而是被主要模塊的有關元素引用。具體定義見附錄 素屬性 對于元數(shù)據標準所定義的每個元數(shù)據元素（包括復合元素和數(shù)據元素），均采用九個屬性來描述，如下表所示。 表 1 元素屬性 表 屬性名稱 說明 中文名稱 元素的中文名稱 英文名稱 元素的英文 名稱 標識 用字符串表示的元素標識 定義 對元素含義的解釋 類型 元素所屬的數(shù)據類型，見數(shù)據類型表 值域 元素值的允許范圍 ，自由文本表示無限制 可選性 元素是比選元素還是可選元素，可以的值包括： M（必選）或 O（可選） 最大出現(xiàn)次數(shù) 元素所允許的出現(xiàn)次數(shù)，只出現(xiàn)一次用“ 1”表示。重復出現(xiàn)用“ N”表示。不為 1 的固定出現(xiàn)次數(shù)可用相應的數(shù)字表示，如“ 2”、“ 3”、“ 4”。不出現(xiàn)用“ 0”或“ 示。 注釋 對元素的補充說明、建議及其它 表 2 數(shù)據類型 表 數(shù)據類型 說明 文本（ 自由文本，表面對數(shù)據項（字段）的內容沒有限制。 數(shù)值 （ 通過數(shù)值的形式表達值的類型 ，包括整數(shù)和實數(shù)等 。 時間 （ 以年月日時分秒 的形式表達的值的類型 ，參見 7408。 布爾 （ 兩個而且只有兩個表明條件的值，如 1 或 0。 二進制（ 通過二進制格式存儲對象，如圖片、音頻、視頻等。 復合（ 由若干數(shù)據類型組成，或具有特定值的枚舉類型 8 數(shù)據接口 糧食大數(shù)據資源池需支持三 種類型的接口：數(shù)據獲取接口、數(shù)據訪問接 口 、數(shù)據同步接口。 據獲取接口 數(shù)據獲取接口主要用于收集 各種糧食數(shù)據。 在權限范圍內，接口 應支持利用相關 現(xiàn) 有糧食信息系統(tǒng)對接，提取其中的數(shù)據，同時也應支持從傳感設備、爬蟲以及人工錄入方式直接獲取數(shù)據。 據訪問接口 數(shù)據訪問接口用于對外提供數(shù)據訪問服務。支持多種訪問模式，包括：數(shù)據庫連接訪問、中間件訪問 、 準接口、 件下載以及其它第三方軟件訪問方式，采用第三方軟件 時，應提供具體的接口訪問協(xié)議說明和數(shù)據格式。 據同步接口 數(shù)據同步接口在國家級和省級資 源池間同步數(shù)據，支持數(shù)據的增量更新。接口主要由國家級資源池提供，省級資源池通過請求 口支持數(shù)據的壓縮和加密傳輸，數(shù)據封裝為多個單元進行傳輸，每個傳輸單元的數(shù)據量不宜超過 5 9 數(shù)據模型與存儲體系 據模型 糧食大數(shù)據資源池中匯集糧食產收儲加銷各環(huán)節(jié)的相關數(shù)據，以及宏觀經濟管理數(shù)據、運輸數(shù)據、互聯(lián)網外部數(shù)據等。這些數(shù)據形態(tài)各異，既包含嚴謹規(guī)范的結構化數(shù)據，也包括文本、圖、軌跡、圖片、音視頻等非結構化數(shù)據，各種數(shù)據需要采用合理的存儲模型進行組織。資源池應至少支持關系模型、鍵值模型、列存儲模型、文檔模型和圖模型 5 種數(shù)據組織和存儲模型。其中，結構化數(shù)據推薦采用關系模型組織；具有明確鍵值對的非結構化數(shù)據推薦采用鍵值模型組織；面向分析型查詢，需要高效壓縮和I/O 效率的數(shù)據推薦采用列存儲模型組織；大段文本，需要在歷史版本間形成嵌套環(huán)結構的數(shù)據推薦采用文檔模型組織；具有或能夠抽象為明確點邊結構的數(shù)據推薦采用圖模型組織。 儲 體系 糧食 大 數(shù)據資源池提供服務器本地存儲與專用存儲設備相結合的存儲體系，各種糧食數(shù)據根據其訪問頻率和安全性要求選擇合適的存儲位置。業(yè)務數(shù)據 主要 存儲于服務器本地硬盤中， 同時采用分片方式使計算與存儲能夠盡量在同一臺物理機器上進行，降低網絡 I/O 開銷。外置專用存儲設備主要用于數(shù)據的備份，可對數(shù)據進行定時、增量式的備份，同時支持將備份數(shù)據導入計算系統(tǒng)。服務器、專用存儲設備中的存儲介質以磁盤為主，支持磁盤陣列，同時輔以固態(tài)硬盤（ 高頻訪問數(shù)據進行加速。 為適應不同格式糧食 數(shù)據 的存儲， 資源池 應 包含 以下存儲方案，并構建混合存儲系統(tǒng)。 系型數(shù)據庫 關系型數(shù)據庫主要用于結構化數(shù)據的存儲，應支持分布式部署，并能夠利用 行重要數(shù)據的隨機讀寫加速。 布式文件系統(tǒng) 分布式文件系統(tǒng) 用于存儲大文件數(shù)據，各 節(jié)點 通過以太網互聯(lián)，并能夠屏蔽底層細節(jié)，提供統(tǒng)一、 0 透明的文件存取和數(shù)據管理功能。分布式文件系統(tǒng)應不依賴于具體的操作系統(tǒng)， 支持分塊， 能夠自動復制，不會產生單點失效。支持層級結構（目錄樹），能夠設置并管理文件屬性與訪問權限，支持 備容錯功能。文件系統(tǒng)能夠通過元數(shù)據進行管理，元數(shù)據記錄文件大小、份數(shù)、存儲位置等關鍵信息。 存數(shù)據庫 內存數(shù)據庫用于存儲需要頻繁查詢的糧食 數(shù)據 。內存數(shù)據庫需能夠分布式、跨平臺部署，同時支持數(shù)據持久化。分布式部署的內存數(shù)據庫支持主從復制、增量復 制以及數(shù)據同步，對外能夠提供標準化問接口。 存數(shù)據庫 緩存數(shù)據庫主要對一定時間內訪問過的糧食數(shù)據進行緩存，以減輕對主數(shù)據庫頻繁查詢的壓力。緩存數(shù)據庫一般應將數(shù)據存儲在內存中，主要面向數(shù)據讀取進行優(yōu)化。緩存數(shù)據庫能夠從不同的數(shù)據庫中加載數(shù)據，但不能替代真正存放數(shù)據的各類數(shù)據庫。 鍵 夠提供直接訪問鍵 蓋類似關系數(shù)據庫的 單表 查詢功能，支持數(shù)據索引的建立，支持數(shù)據壓縮。 數(shù)據庫 圖數(shù)據庫主要用于存放具有 點、邊結構的圖數(shù)據。支持 數(shù)據 的 水平分割 ， 超大規(guī)模鄰接矩陣查詢 ，潛在復雜的集合算法查詢 ， 支持路徑搜索 ，能夠使用 高級 圖形遍歷語言 及 腳本， 能夠 通過使用鍵值和關系進行索引 ， 能夠對 查詢結果進行分頁。 能夠存儲 圖 的節(jié)點和邊帶有 的 元數(shù)據，支持在線備份 。 媒體數(shù)據庫 多媒體數(shù)據庫主要用于存放圖像和視頻數(shù)據。由于圖像和視頻文件較大，一般將原始文件存放 于 分布式文件系統(tǒng)，在多媒體數(shù)據庫中則主要存儲 相應 的文件路徑。多媒體數(shù)據庫 應 采用關系模型或鍵 據索引 能夠提供索引服務，支持快速數(shù)據查詢。索引服務既可利用各類 數(shù)據庫自帶的索引功能，也可另行安裝第三方索引軟件。第三方索引軟件需支持 分布式 部署，能夠提供全文檢索，擁有完備的查詢語法， 1 具備高可擴展性和容錯能力。 10 數(shù)據安全 資源池 中的數(shù)據安全須遵循 信息系統(tǒng) 安全 標準 22239， 22240 中的數(shù)據安全部分要求進行建設，全面覆蓋 標準 中數(shù)據安全的控制項要求。 數(shù)據庫的安全須遵循 《信息安全技術數(shù)據庫管理系統(tǒng)安全技術要求》 （ 20273）， 能夠提供字段級、記錄級以及文件級的加密與完整性保護功能。能夠對數(shù)據資源設置不同的訪問權限，支持基于角色的 訪問控制。能夠對用戶進行分組管理，并基于用戶組進行授權。能夠利用安全協(xié)議與證書對用戶進行認證，并通過數(shù)字簽名技術實現(xiàn)訪問行為的不可抵賴性。系統(tǒng)通過日志記錄用戶對資源的各種訪問行為，并提供審計功能。根據數(shù)據的保密要求限定訪問源，敏感數(shù)據只接受來自內網、專線或虛擬專網的訪問請求，并通過加密或其他有效措施實現(xiàn)傳輸保密性。 11 備份 與恢復 為保障數(shù)據安全，資源池需具備簡單、經濟、可靠的備份及容災能力。 資源池需支持手 工觸發(fā)備份和后臺自動備份 兩種方式， 通過定義自動備份任務，并且對其進行調度的方式觸發(fā)數(shù)據備份工作的執(zhí)行，備份 策略如數(shù)據類型和備份周期等參數(shù)可以由用戶靈活配置。 份 要求 數(shù)據備份除數(shù)據本身外，還包括數(shù)據配置信息、數(shù)據維護日志、系統(tǒng)訪問日志及業(yè)務應用日志等，具體的要求如下： a) 數(shù)據是系統(tǒng)的核心內容，必須保證完整安全及時地備份。要求定期對數(shù)據做增量備份及全量備份，要求完整的數(shù)據備份保存 2 個版本，每個備份保存兩個備份周期。 b) 全量備份要求在業(yè)務量較小的情況下進行，在線全量備份時間應控制在 12 小時以內，在線增量備份應控制在 2 小時以內； c) 數(shù)據配置信息需存放在單獨的存儲空間上，減少在類似數(shù)據丟失情況下進行數(shù)據庫恢復的時間； d) 數(shù)據 維護日志、系統(tǒng)訪問日志以及業(yè)務應用日志的備份，要求每天定時備份，在系統(tǒng)訪問量小的時間段進行；要求保存至少半年以上，或者根據實際的情況而定。 e) 最低標準的備份策略為：每天備份一次，備份保留 18 天，以周為單位，第一天全量備份，后 2 續(xù) 5 天增量備份，第 7 天全量備份。指定的具體備份策略不得低于這一標準。 f) 要求各類數(shù)據庫能夠在線備份，在系統(tǒng)不間斷服務的情況下完成自動備份。 g) 備份對象 能夠 按既定的備份策略自動或手工備份到指定介質，備份介質需支持：磁帶、磁盤、磁盤陣列、光盤等。 h) 備份包括冷備份和熱備份兩種模式， 數(shù)據備份應根據數(shù)據 量及訪問頻率，遵循不同的備份模式。數(shù)據量大，讀取調用頻率低的數(shù)據，使用冷備份方式，采用服務器外置存儲方式進行集中備份。數(shù)據量小，頻繁讀取調用的數(shù)據，通過相應數(shù)據庫的備份機制進行備份，同時在服務器中采用磁盤陣列方式進行存儲。 需保證 副本與原始數(shù)據存儲于不同的物理服務器中。此類數(shù)據應采用熱備份方式，當出現(xiàn)異常時，備份數(shù)據能夠實時接替系統(tǒng)的訪問請求，維護業(yè)務運行的連續(xù)性。 i) 備份設備應具有較強的平滑擴充能力，包括系統(tǒng)設備容量的擴充及 I/O 能力的擴充。 j) 在允許的情況下，通過 異地 備份機制進一步提升不可抗力下的系統(tǒng)容災能力。 復 要求 大數(shù)據資源池中備份 數(shù)據 的恢復滿足下述要求： a) 任何原因的系統(tǒng)故障和數(shù)據丟失應在 4 個小時內恢復正常運行； b) 備份數(shù)據應能方便快捷地恢復到在線系統(tǒng)，并確保其可用； c) 對于一些重要數(shù)據提供斷點恢復功能，數(shù)據可恢復到故障前狀態(tài)； d) 系統(tǒng)數(shù)據可進行聯(lián)機恢復，被恢復的數(shù)據必須保持原數(shù)據的完整性和一致性，提供完整的系統(tǒng)數(shù)據安全監(jiān)控、報警和故障處理； e) 對于數(shù)據庫中表 /用戶被誤刪除的情況，為提高恢復速度，系統(tǒng)應能夠維護一個良好的邏輯備份或部分表空間的備份，通過邏輯備份恢復數(shù)據或 恢復單個存儲空間；同時支持通過數(shù)據庫備份（或增量備份）結合數(shù)據庫歸檔日志文件恢復的功能。系統(tǒng)支持應有相關操作的審批機制以及一定的系統(tǒng)安全措施（如數(shù)據庫口令限制在少數(shù)幾個人了解、定期修改相關口令等）有效避免出現(xiàn)類似問題； f) 對于數(shù)據庫中數(shù)據塊發(fā)生邏輯 /物理損壞或單個表空間損壞的情況，支持通過恢復單個存儲空間并對數(shù)據庫進行恢復； g) 對于數(shù)據庫出現(xiàn)邏輯錯誤導致數(shù)據庫無法正常使用的情況，可以采用數(shù)據庫的全備份（或增量備份）結合數(shù)據庫的歸檔日志文件進行恢復。 3 12 可擴展性 資源池的擴展應以橫向 擴展 為主 。 13 資源池管理 提供可視 化管理界面，具備權限的管理人員 能夠 進行數(shù)據的導入導出，并對資源池中設備的使用狀態(tài)進行實時監(jiān)控，同時能夠對服務器存儲配額進行管理，能夠設置訪問權限及各種數(shù)據安全和備份參數(shù)。 14 運行環(huán)境 資源池相關的服務器、專用存儲設備及其它附屬硬件設施應在部署于專用機房種，所在計算機機房場地應滿足 《 計算機場地通用規(guī)范 》（ 2887） 的要求 ， 計算機機房設計應滿足 《 電子信息系統(tǒng)機房設計規(guī) 》（ 0174）的要求，設備間的組網滿足《 糧食信息系統(tǒng)網絡設計規(guī)范 》（ 1806要求。 15 技術指標 在網絡條件未 造成瓶頸的前提下，大數(shù)據資源池應滿足以下設計指標： a) 國家級資源池存儲數(shù)據量不低于 200據訪問接口支持 訪問并發(fā)數(shù)不低于 10000， 在最大并發(fā)數(shù)下，用戶的請求涉及數(shù)據庫處理的響應時間最長不超過 3 秒 ，文件傳輸速率不低于20MB/s。 b) 省級資源池存儲數(shù)據量不低于 50據訪問接口支持 訪問并發(fā)數(shù)不低于 3000， 在最大并發(fā)數(shù)下，用戶的請求涉及數(shù)據庫處理的響應時間最長不超過 3 秒 ，文件傳輸速率不低于 10MB/s。 c) 系統(tǒng)消息處理延遲（從系統(tǒng)收到請求消息到返回應答的時間間隔）不大于 500 毫秒 (99%概率)。 d) 省 級與國家級資源池間數(shù)據同步速率不低于 1GB/s。 e) 各級資源池需能夠 7*24 小時不間斷工作，省級資源池平均無故障率不低于 99%，國家級資源池平均無故障率不低于 4 附錄 A 元數(shù)據內容定義 據集描述信息 序號 中文名稱 英文名稱 標識 定義 類型 值域 可選性 最大出現(xiàn)次數(shù) 注釋 1 數(shù)據集名稱 據集的中英文名稱 復合 M 1 由 素構成 據集代碼 識數(shù)據集的唯 一代碼 文本 自由文本 M 1 據集中文名稱 據集的中文名稱 文本 自由文本 M 1 據集中文名稱 據集的中文名稱 文本 自由文本 M 1 據集別名 據集的其它名稱 文本 自由文本 O N 簡稱、俗稱、縮寫等 2 主題 述數(shù)據集內容的詞語或短語 復合 M N 由 素構成 題詞 述數(shù)據集的專業(yè)主題詞語 文本 糧食學科主題詞表中的專業(yè)詞匯 M N 由關鍵詞 用戶自由選擇的描述數(shù)據集內容的詞語 文本 自由文本 O N 3 描述 數(shù)據集內容的文本描述 文本 自由文本 M 1 摘要、目錄、圖形的文字說明等 4 目的 開發(fā)該數(shù)據集的目的的說明 文本 自由文本 O 1 5 類型 據集 中數(shù)據所屬類型的說明 復合 表 1 6 存儲模型 據集中數(shù)據所使用存儲模型的說明 復合 表 1 7 數(shù)據量 據集所包含數(shù)據量的 復合 O 1 由 素構成 5 說明 錄數(shù) 據集所包含的記錄數(shù) 數(shù)值 非負整數(shù) O 1 記錄為最基本的數(shù)據粒度 儲量 數(shù)據集所占物理存儲空間表示的數(shù)據量 文本 自由文本 O 1 單位字節(jié)、 B、 8 數(shù)據來源 據集中數(shù)據的來源 文本 自由文本 O N 產生數(shù)據集中數(shù)據的糧食信息系統(tǒng) 9 數(shù)據集提供者 供數(shù)據集的個人或組織名稱 文本 自由文本 M N 可調用數(shù)據集聯(lián)系信息模塊 10 數(shù)據集貢獻者 數(shù)據集創(chuàng)建做出貢獻的個人或組織名稱 文本 自由文本 M N 可調用數(shù)據集聯(lián)系信息模塊 11 更新頻率 述數(shù)據集在多長的時間內更新一次 文本 表 1 12 數(shù)據集時間 數(shù)據集的創(chuàng)建和修改時間相關的時間 復合 M 1 由 素構成 建時間 據集內容的創(chuàng)建日期 時間 7408 M 1 近修改時間 據集內容最近一次修改時間 時間 7408 O 1 13 語種 據集內容所采用的語種 文本 4880 M N 14 關聯(lián)數(shù)據集 當前數(shù)據集相關的其它數(shù)據集 復合 O N 由 素構成 聯(lián) 聯(lián)數(shù)據集的 本 自由文本 O 1 聯(lián)類型 聯(lián)數(shù)據集與當前數(shù)據 文本 表 1 6 p 集之間的關系類型 15 數(shù)據集范圍 據集內容所涉及的分類和時空范圍 復合 O 1 參見范圍信息 據集 分發(fā)與服務 信息 序號 中文名稱 英文名稱 標識 定義 類型 值域 可選性 最大出現(xiàn)次數(shù) 注釋 1 權限聲明 與數(shù)據集的訪問、使用和傳播等行為有關的限制聲明 文本 自由文本 O 1 2 技術要求 用該數(shù)據集必要的技術前提 文本 自由文本 O 1 3 收費策略 數(shù)據集收費機制的描述 文本 自由文本 O 1 4 訂購指南 關數(shù)據訂購方法或訂購過程的說明 文本 自由文本 O 1 5 訪問時間 據集提供訪問服務的時間范圍 文本 自由文本 O 1 6 服務指示信息 由服務元數(shù)據規(guī)范所描述的數(shù)據集為用戶提供服務的指示信息 復合 M 1 由 務唯一標識符 務的唯一標識符 文本 自由文本 M 1 務名稱 據集所提供服務的名稱 文本 自由文本 M 1 務類型 據集所提供服務的類型 文本 表 1 7 接服務 問服務的 本 自由文本 M 1 據庫系統(tǒng) 據集所存放的數(shù)據庫管理系統(tǒng)的名稱 文本 自由文本 M 1 直接連接數(shù)據庫時使用 據庫版本 據集所存在的數(shù)據庫管理系統(tǒng)的正式公開版本號 文本 自由文本 M 1 直接連接數(shù)據庫時使用 據庫名稱 據集所存放的數(shù)據庫的具體名稱 文本 自由文本 M 1 直接連接數(shù)據庫時使用 間件系統(tǒng) 問數(shù)據集時所使用的中間件系統(tǒng)的名稱 文本 自由文本 M 1 利用中間件訪問時使用 間件版本 問數(shù)據集時所使用的中間件系統(tǒng)的正式公開版本號 文本 自由文本 M 1 利用中間件訪問時使用 務 務對外提供的網址 文本 自由文本 M 1 利用 合域名規(guī)則 名性 否支持匿名服務 布爾 布爾值 M 1 利用 問時使用 戶名 問數(shù)據所需的用戶名 文本 自由文本 M 1 碼 問數(shù)據所需的密碼 文本 加密文本 M 1 接主機 P 據集所在系統(tǒng)提供網絡服務的主機 址 文本 自由文本 M 1 符合 址規(guī)則 口號 據集所在系統(tǒng)為數(shù)據集訪問服務提供的服務端口 數(shù)值 非負整數(shù) M 1 務描述 務的描述信息 文本 自由文本 O N 介紹有關該服務的情況 7 數(shù)據格式 據的格式說明 文本 自由文本 M N 數(shù)據如何解析的說明 8 8 聯(lián)系方式 據集管理者（組織）的聯(lián)系信息 復合 O N 參見聯(lián)系信息 構描述信息 序號 中文名稱 英文名稱 標識 定義 類型 值域 可選性 最大出現(xiàn)次數(shù) 注釋 1 檢索點 據庫中作為檢索起點的主表或視圖 文本 自由文本 M 1 2 實體 據集存儲實體的有關信息 復合 M N 體名稱 體的存儲名稱 文本 自由文本 M 1 體中文標簽 體文件的描述性中文標題 文本 自由文本 O 1 體類型 體的類型 文本 自由文本 O 1 體定義 實體所表示意義 的解釋和說明 文本 自由文本 M 1 鍵 實體主鍵的聲明 文本 自由文本 O 1 性 體中屬性的基本信息 復合 O N 由 性名稱 性在實體中存儲時采用的名稱 文本 自由文本 M 1 若實體類 型為 數(shù)據表，則此元素指的是表中字段名稱 性中文標簽 性的描述性中文名稱 文本 自由文本 O 1 性類型 性在實體中存儲的數(shù)據類型 文本 自由文本 M 1 儲長度 性在實體中設定的最大存儲長度 數(shù)值 非負整數(shù) M 1 單位為字節(jié) 9 量單位 量屬性值的基本單位 文本 自由文本 O 1 建議采用標準的計量單位名稱或標識 度 性值的精 確程度 數(shù)值 非負實數(shù) O 1 以計量單位元素為單位 認值 性值的默認值 文本 自由文本 O 1 性描述 屬性含義的描述性闡解 文本 自由文本 O 1 聯(lián)實體 此外鍵為主鍵的相關實體 文本 自由文本 O 1 應填寫相關實體的存儲標識 聯(lián)類型 體之間關聯(lián)關系所歸屬的種類 文本 自由文本 O 1 用時，該元素必選， 可一對一，一對多，多對多等關系 否只讀 性是否為只讀屬性 布爾 布爾值 O 1 否空值 性是否可以為空值 布爾 布爾值 O 1 應填寫非空的屬性的標識 3 關系 據集所存儲實體之間的關系的基本信息 復合 O N 由 素構成 聯(lián)實體 體關聯(lián)關系中實體對象 文本 自由文本 M 1 聯(lián)實體屬性 體關聯(lián)關系中，關聯(lián)實體用來實現(xiàn)與子實體關聯(lián)的屬性 文本 自由文本 M 1 聯(lián)子實體 體關聯(lián)關系中實體對象 文本 自由文本 M 1 聯(lián)子實體屬性 體關聯(lián)關系中子實體 文本 自由文本 M 1 0 現(xiàn)與關聯(lián)實體關聯(lián)的屬性 聯(lián)類型 體之間關聯(lián)關系所歸屬的種類 文本 自由文本 M 1 可一對一，一對多兩種關系 圍 信息 序號 中文名稱 英文名稱 標識 定義 類型 值域 可選性 最大出現(xiàn)次數(shù) 注釋 1 數(shù)據集內容范圍 據集內容所涉及的分類范圍 復合 表 N 2 數(shù)據集時間范圍 據集內容所涵蓋的時間范圍 復合 O 1 由 素構成 始時間 據集原始數(shù)據生成或采集的起始時間 時間 7408 M 1 止時間 據集原始數(shù)據生成或采集的終止時間 時間 7408 M 1 3 數(shù)據集地理范圍 據集內容所涉及的地理區(qū)域 復合 O 1 由 素構成 述 關地理區(qū)域的描述 文本 自由文本 O 1 政區(qū)劃范圍 據集內容所涉及的行政區(qū)域范圍 復合 O 1 由 素構成 家 據集覆蓋的國家 文本 2659 O 1 （市、自治區(qū)） 據集覆蓋的省、市、自治區(qū) 文本 2260 M 1 市 據集覆蓋的城市 文本 自由文本 M 1 緯度范圍 據集覆蓋的經緯度范 復合 O 1 由 素 1 構成 東經度 據集覆蓋范圍最東邊坐標，用十進制（東