創新研發中心奪得數字電網開發者大會算法比賽頭名
點擊量:發布時間:2021-01-20 17:09
2020年12月,海頤軟件在中國南方電網有限責任公司舉辦的“數字電網開發者大會”算法類比賽“電費復核計算性能優化”中獲得了初賽第一、決賽第一的好成績,展現了公司在電費復核業務與大數據技術方面的優勢。
電費復核工作是電費抄核收工作中的一個重要環節,同時也是確保電費數據正確有效的必要環節。海頤軟件在電力營銷與大數據領域深耕多年,為比賽的最終結果奠定了良好的基礎。
該題目有30多支參賽隊伍,既包括拓邦、卓維、泰豪在內的多個電力領域的老牌“對手”,也包括許多由行業專家組成的高校隊伍,可謂高手云集。
信科海頤聯合團隊是由海頤創新研發中心與廣東電力信息科技有限公司(原廣東電網信息中心)聯合組隊,由信科負責題目解讀、以及現場答辯,海頤負責整體的方案編寫、技術實現和性能調優。海頤團隊部分由創新研發中心的尹書偉帶隊,張威、聶斌、李紅瑛、王昌勇、班喆等多位成員參與。比賽過程中可謂跌宕起伏、一波三折。團隊成員默契配合,勇于擔當,攻堅克難,經歷了連續一個月的高強度比賽,以高水準完成了比賽任務。
一、確定目標,初戰告捷
10月20日,公司了解到南網數字化部和數研院共同舉辦“數字電網開發者大會”。其中算法類任務“電費復核計算性能優化”正是海頤的業務范圍。公司領導要求積極參賽,勇闖佳績,充分展現海頤軟件在電費相關領域的專業性和技術實力!
基于對題目的理解,創新研發中心從大數據團隊和電費算法團隊抽調了多名技術骨干,并取得了電力營銷產品部和咨詢服務部的大力支持。正當方案差不多完成時,廣電信科主動找到海頤,想要聯合組隊。隨后兩家公司組成了“信科海頤聯隊”一起參賽。為了確保出線,方案初稿完成后,組織了內部專家對方案進行嚴格評審。專家的各種追問,各種懷疑,如雪花般飄散,令人無法躲閃,直至深夜24點。在專家團一輪輪的挑戰下,團隊對方案進行了全方位的修改和補充。總算到了11月2號中午,最終版方案得以提交。
11月10號,初選告捷,方案比拼在所有參賽隊中排名第一!
該題目有30多支參賽隊伍,既包括拓邦、卓維、泰豪在內的多個電力領域的老牌“對手”,也包括許多由行業專家組成的高校隊伍,可謂高手云集。
信科海頤聯合團隊是由海頤創新研發中心與廣東電力信息科技有限公司(原廣東電網信息中心)聯合組隊,由信科負責題目解讀、以及現場答辯,海頤負責整體的方案編寫、技術實現和性能調優。海頤團隊部分由創新研發中心的尹書偉帶隊,張威、聶斌、李紅瑛、王昌勇、班喆等多位成員參與。比賽過程中可謂跌宕起伏、一波三折。團隊成員默契配合,勇于擔當,攻堅克難,經歷了連續一個月的高強度比賽,以高水準完成了比賽任務。
一、確定目標,初戰告捷
10月20日,公司了解到南網數字化部和數研院共同舉辦“數字電網開發者大會”。其中算法類任務“電費復核計算性能優化”正是海頤的業務范圍。公司領導要求積極參賽,勇闖佳績,充分展現海頤軟件在電費相關領域的專業性和技術實力!
基于對題目的理解,創新研發中心從大數據團隊和電費算法團隊抽調了多名技術骨干,并取得了電力營銷產品部和咨詢服務部的大力支持。正當方案差不多完成時,廣電信科主動找到海頤,想要聯合組隊。隨后兩家公司組成了“信科海頤聯隊”一起參賽。為了確保出線,方案初稿完成后,組織了內部專家對方案進行嚴格評審。專家的各種追問,各種懷疑,如雪花般飄散,令人無法躲閃,直至深夜24點。在專家團一輪輪的挑戰下,團隊對方案進行了全方位的修改和補充。總算到了11月2號中午,最終版方案得以提交。
11月10號,初選告捷,方案比拼在所有參賽隊中排名第一!
二、不畏權威,勇拿一血
初賽成績第一,團隊信心倍增,熱情高漲。正準備一鼓作氣拿下比賽時,發現事情并沒有想象的那么簡單。本來是說12點出復賽題目,結果等了兩個小時題目才給出——是對包含客戶檔案、計量點電量等在內的27張業務表,單表10億多條記錄,1.3TB的數據進行142個核查規則的核查計算,要求100%的準確性。
團隊在技術棧與比賽環境陌生的情況下,抓緊學習與實驗,從技術和業務兩個角度著手,第一時間完成了程序編寫寫與運行測試工作,并試著提交了第一次結果——0分。系統不會提示哪里錯了,只會提示核查結果是多了還是少了,而提交次數沒有限制。于是團隊用二分法確定了核查結果的條數,熬了個通宵把所有規則過了一遍,依然覺得正確答案的數量太少了。此時是11月17號的凌晨4點,距離比賽結束還有3天時間。
通過和組委會交流,組委會答應幫忙看一下結果條數,答復說總數量沒有問題。可是我們又經過了一天對結果答案的反復排查,“肯定是答案有問題”。最終經過幾輪溝通,組委會認可了題目中的錯誤并進行了修復。幾小時后,我們順利得拿到了一血,在全部參賽隊伍中第一個準確跑出了所有的異常數據。
初賽成績第一,團隊信心倍增,熱情高漲。正準備一鼓作氣拿下比賽時,發現事情并沒有想象的那么簡單。本來是說12點出復賽題目,結果等了兩個小時題目才給出——是對包含客戶檔案、計量點電量等在內的27張業務表,單表10億多條記錄,1.3TB的數據進行142個核查規則的核查計算,要求100%的準確性。
團隊在技術棧與比賽環境陌生的情況下,抓緊學習與實驗,從技術和業務兩個角度著手,第一時間完成了程序編寫寫與運行測試工作,并試著提交了第一次結果——0分。系統不會提示哪里錯了,只會提示核查結果是多了還是少了,而提交次數沒有限制。于是團隊用二分法確定了核查結果的條數,熬了個通宵把所有規則過了一遍,依然覺得正確答案的數量太少了。此時是11月17號的凌晨4點,距離比賽結束還有3天時間。
通過和組委會交流,組委會答應幫忙看一下結果條數,答復說總數量沒有問題。可是我們又經過了一天對結果答案的反復排查,“肯定是答案有問題”。最終經過幾輪溝通,組委會認可了題目中的錯誤并進行了修復。幾小時后,我們順利得拿到了一血,在全部參賽隊伍中第一個準確跑出了所有的異常數據。
三、毫不松懈,精益求精
雖然率先拿到了分數,但是團隊并不敢松懈。在我們看來,真正的比賽才剛剛開始,既是跟參賽隊伍的競爭,更是跟我們自己的競爭——我們要在保證準確性的前提下挖掘出性能極限!
團隊利用對計算引擎的充分了解,對異常規則涉及到的公用結構進行了抽象與統一,對代碼進行了重構,消除了對資源的重復消耗,計算延遲從首輪的2小時縮短為1小時,在隨后的4輪迭代中,又通過對完整的142個規則逐個調優以及分布式計算引擎的參數調優,利用復核業務的長期深耕,逐批優化,最終將運行時間優化至37分鐘。
比賽很快就來到了最后一天的晚上,0點截止提交,此時另外兩支隊伍也提交了正確答案,我們也針對性能瓶頸發起了最后的總攻。我們不但要優化算法,還要保證算法優化前后跑出數據的準確性。比賽結束的當晚,有兩個算法雖然性能有所提升,但準確性總也對不上,團隊中有些人都想算了,這倆不優化,退回原來性能稍慢的方案吧。聶斌和李紅瑛兩位同事,對著這兩個SQL反復修改測試,堅決要搶下幾分鐘的優勢,時間一分一秒地過著,終于在比賽提交結束前的20分鐘,跑出了正確的結果,正確結果跑出來的那一剎那,團隊的每個成員都在歡呼。
最終,結果不負努力,我們取得了第一名的成績!
四、及時復盤,蓄勢再發
比賽過程中團隊充分發揮了業務和技術的雙重優勢,以及海頤人攻堅克難的比賽精神,在短時間內快速學習掌握了主辦方指定的技術組件。團隊在保證正確性的情況下對結果精益求精,不斷地進行性能優化,直到比賽的最后一刻,保證了比賽成績一直領先。期間為了解決比賽中遇到的種種問題,團隊爭分奪秒,經常加班到下半夜,充分體現了海頤人不畏艱難,努力奮斗的拼搏精神。
團隊在賽后也進行了復盤,對當前的核查規則進行了梳理與分析,并對比賽過程中用到的方法與架構進行了優化,為核查性能優化技術的實用落地做好了儲備。比賽僅僅是核查業務數智化的一個開始,團隊會以此為契機更加精進在該領域的研究與項目實踐,保持團隊戰斗力,突破更多的業務與技術難題,努力實現公司的戰略發展目標。
雖然率先拿到了分數,但是團隊并不敢松懈。在我們看來,真正的比賽才剛剛開始,既是跟參賽隊伍的競爭,更是跟我們自己的競爭——我們要在保證準確性的前提下挖掘出性能極限!
團隊利用對計算引擎的充分了解,對異常規則涉及到的公用結構進行了抽象與統一,對代碼進行了重構,消除了對資源的重復消耗,計算延遲從首輪的2小時縮短為1小時,在隨后的4輪迭代中,又通過對完整的142個規則逐個調優以及分布式計算引擎的參數調優,利用復核業務的長期深耕,逐批優化,最終將運行時間優化至37分鐘。
比賽很快就來到了最后一天的晚上,0點截止提交,此時另外兩支隊伍也提交了正確答案,我們也針對性能瓶頸發起了最后的總攻。我們不但要優化算法,還要保證算法優化前后跑出數據的準確性。比賽結束的當晚,有兩個算法雖然性能有所提升,但準確性總也對不上,團隊中有些人都想算了,這倆不優化,退回原來性能稍慢的方案吧。聶斌和李紅瑛兩位同事,對著這兩個SQL反復修改測試,堅決要搶下幾分鐘的優勢,時間一分一秒地過著,終于在比賽提交結束前的20分鐘,跑出了正確的結果,正確結果跑出來的那一剎那,團隊的每個成員都在歡呼。
最終,結果不負努力,我們取得了第一名的成績!
四、及時復盤,蓄勢再發
比賽過程中團隊充分發揮了業務和技術的雙重優勢,以及海頤人攻堅克難的比賽精神,在短時間內快速學習掌握了主辦方指定的技術組件。團隊在保證正確性的情況下對結果精益求精,不斷地進行性能優化,直到比賽的最后一刻,保證了比賽成績一直領先。期間為了解決比賽中遇到的種種問題,團隊爭分奪秒,經常加班到下半夜,充分體現了海頤人不畏艱難,努力奮斗的拼搏精神。
團隊在賽后也進行了復盤,對當前的核查規則進行了梳理與分析,并對比賽過程中用到的方法與架構進行了優化,為核查性能優化技術的實用落地做好了儲備。比賽僅僅是核查業務數智化的一個開始,團隊會以此為契機更加精進在該領域的研究與項目實踐,保持團隊戰斗力,突破更多的業務與技術難題,努力實現公司的戰略發展目標。
版權所有:2019?煙臺海頤軟件股份有限公司 工信部備案:魯ICP備09096067號
魯公網安備:37069302000219號?