1. 接入說明
需要java開發(fā)人員根據(jù)產(chǎn)品需求創(chuàng)建對應(yīng)的表。數(shù)據(jù)源是ElasticSearch,與業(yè)務(wù)用什么數(shù)據(jù)庫無關(guān)。其他任何業(yè)務(wù)要接入,要實(shí)現(xiàn)增量+全量同步。數(shù)據(jù)源接入時,主要的時間會花費(fèi)在需求分析和建模上。在代碼上只有寫配置和數(shù)據(jù)結(jié)構(gòu)轉(zhuǎn)換工作。
具體可咨詢劉武,或讓開發(fā)人員查閱技術(shù)文檔:BI數(shù)據(jù)源-非微服務(wù)SQLServer對接 (yuque.com)
注意:如果存在需要連表查詢的情況,請在接入數(shù)據(jù)源的時候就做好冗余字段,在后續(xù)的統(tǒng)計中暫不支持連表的查詢統(tǒng)計操作。
2. 接入舉例
(1)流程對接
注:目前只支持對表單套件的數(shù)據(jù)接入,代碼寫在jzb-flow里。具體步驟如下:
1. 需求分析:產(chǎn)品經(jīng)理配置表單
2. 確定數(shù)據(jù)結(jié)構(gòu):前端、定義字段名、約束,定義編號
3. 實(shí)現(xiàn)套件:前端實(shí)現(xiàn)套件
4. 后端定義模型
4.1 jzb-form-sdk:增加模型
4.2 jzb-form-sdk:FormType增加枚舉
4.3 jzb-bi-plugin-flow:增加BI模型
4.4 jzb-bi-plugin-flow:BiFlowType里增加枚舉
4.5 jzb-bi-plugin-flow:scripts里增加索引模板
4.6 jzb-bi-plugin-flow:BiFlowPlugins里注冊插件
4.7 Kibana里執(zhí)行索引模板
5. 發(fā)布jzb-flow
6. 發(fā)布jzb-bi
7. 發(fā)起流程,看流程是否進(jìn)入BI(可以在數(shù)據(jù)源頁面切換到數(shù)據(jù)模式,配置好明細(xì)表即可查看數(shù)據(jù))
(2)非微服務(wù)SQLServer對接
(參考jzb-cycle,jzb-change,jzb-labour項目。)
0. 需求分析:產(chǎn)品經(jīng)理指明來源數(shù)據(jù)(具體來源什么頁面,大概要什么字段)
1. bi建模、命令
2. bi建索引
3. 業(yè)務(wù)數(shù)據(jù)庫開啟CDC
4. 業(yè)務(wù)模塊實(shí)現(xiàn)全量同步、增量同步(有SDK,僅需做些配置和數(shù)據(jù)轉(zhuǎn)換工作)
5. bi注冊插件
6. 測試(bi有30s左右的延遲)
3. 常見問題
(1)測試環(huán)境有數(shù)據(jù),發(fā)布到線上就沒數(shù)據(jù)或者缺數(shù)據(jù)了?
——原因:沒有做數(shù)據(jù)全量同步。
(2)新數(shù)據(jù)源不能統(tǒng)計。
——原因:沒有執(zhí)行索引模板。
4. 接入結(jié)果檢驗(yàn)
數(shù)據(jù)源接入成功才可以進(jìn)行后續(xù)操作,數(shù)據(jù)源接入成功的標(biāo)志是:
(1)能在數(shù)據(jù)源頁面查看到正確的歷史和新增數(shù)據(jù)的字段內(nèi)容、字段格式、數(shù)據(jù)條數(shù);
(2)能根據(jù)數(shù)據(jù)源配置好統(tǒng)計圖表和所需的篩選條件;
(3)數(shù)據(jù)源必須測試環(huán)境和線上環(huán)境均測試通過方可正常使用,盡量由對應(yīng)業(yè)務(wù)測試人員完成。
舉例:接入了一個質(zhì)量巡檢的數(shù)據(jù)源,可以按下圖查詢數(shù)據(jù)源的數(shù)據(jù),包括但不限于:
(1)根據(jù)業(yè)主單位ID為義東高速查詢巡檢流程有多少條數(shù)據(jù),用這個數(shù)據(jù)跟實(shí)際業(yè)務(wù)數(shù)據(jù)對比,只有完全一致才算數(shù)據(jù)完整了。如圖顯示是28條,但按創(chuàng)建時間排序后發(fā)現(xiàn)5月6號之前的數(shù)據(jù)都沒有業(yè)主單位ID,所以如果按業(yè)主單位查詢,數(shù)據(jù)肯定會錯。
(2)每一列的數(shù)據(jù)及其格式是否按需求顯示了,如圖開始時間和結(jié)束時間沒有數(shù)據(jù);格式問題常見的有ID沒有轉(zhuǎn)為名稱,枚舉值沒有轉(zhuǎn)為中文等。
(3)配置統(tǒng)計圖表時,能按需求實(shí)現(xiàn)統(tǒng)計維度的配置。如何配置圖表請看后面的介紹。
一旦出現(xiàn)上述問題,請盡快催促開發(fā)人員完成數(shù)據(jù)源的問題修復(fù),否則圖表和大屏的數(shù)據(jù)必然錯誤。
