大家好,我3y啊。由于去重邏輯重構(gòu)了幾次,好多股東直呼看不懂,于是我今天再安排一波對代碼的解析吧。austin支持兩種去重的類型:N分鐘相同內(nèi)容達到N次去重和一天內(nèi)N次相同渠道頻次去重。
在最開始,我的第一版實現(xiàn)是這樣的:
【資料圖】
publicvoidduplication(TaskInfotaskInfo){//配置示例:{"contentDeduplication":{"num":1,"time":300},"frequencyDeduplication":{"num":5}}JSONObjectproperty=JSON.parseObject(config.getProperty(DEDUPLICATION_RULE_KEY,AustinConstant.APOLLO_DEFAULT_VALUE_JSON_OBJECT));JSONObjectcontentDeduplication=property.getJSONObject(CONTENT_DEDUPLICATION);JSONObjectfrequencyDeduplication=property.getJSONObject(FREQUENCY_DEDUPLICATION);//文案去重DeduplicationParamcontentParams=DeduplicationParam.builder().deduplicationTime(contentDeduplication.getLong(TIME)).countNum(contentDeduplication.getInteger(NUM)).taskInfo(taskInfo).anchorState(AnchorState.CONTENT_DEDUPLICATION).build();contentDeduplicationService.deduplication(contentParams);//運營總規(guī)則去重(一天內(nèi)用戶收到最多同一個渠道的消息次數(shù))Longseconds=(DateUtil.endOfDay(newDate()).getTime()-DateUtil.current())/1000;DeduplicationParambusinessParams=DeduplicationParam.builder().deduplicationTime(seconds).countNum(frequencyDeduplication.getInteger(NUM)).taskInfo(taskInfo).anchorState(AnchorState.RULE_DEDUPLICATION).build();frequencyDeduplicationService.deduplication(businessParams);}
那時候很簡單,基本主體邏輯都寫在這個入口上了,應(yīng)該都能看得懂。后來,群里滴滴哥表示這種代碼不行,不能一眼看出來它干了什么。于是怒提了一波pull request重構(gòu)了一版,入口是這樣的:
publicvoidduplication(TaskInfotaskInfo){//配置樣例:{"contentDeduplication":{"num":1,"time":300},"frequencyDeduplication":{"num":5}}Stringdeduplication=config.getProperty(DeduplicationConstants.DEDUPLICATION_RULE_KEY,AustinConstant.APOLLO_DEFAULT_VALUE_JSON_OBJECT);//去重DEDUPLICATION_LIST.forEach(key->{DeduplicationParamdeduplicationParam=builderFactory.select(key).build(deduplication,key);if(deduplicationParam!=null){deduplicationParam.setTaskInfo(taskInfo);DeduplicationServicededuplicationService=findService(key+SERVICE);deduplicationService.deduplication(deduplicationParam);}});}
我猜想他的思路就是把構(gòu)建去重參數(shù)和選擇具體的去重服務(wù)給封裝起來了,在最外層的代碼看起來就很簡潔了。后來又跟他聊了下,他的設(shè)計思路是這樣的:考慮到以后會有其他規(guī)則的去重就把去重邏輯單獨封裝起來了,之后用策略模版的設(shè)計模式進行了重構(gòu),重構(gòu)后的代碼 模版不變,支持各種不同策略的去重,擴展性更高更強更簡潔
確實牛逼。
我基于上面的思路微改了下入口,代碼最終演變成這樣:
publicvoidduplication(TaskInfotaskInfo){//配置樣例:{"deduplication_10":{"num":1,"time":300},"deduplication_20":{"num":5}}StringdeduplicationConfig=config.getProperty(DEDUPLICATION_RULE_KEY,CommonConstant.EMPTY_JSON_OBJECT);//去重ListdeduplicationList=DeduplicationType.getDeduplicationList();for(IntegerdeduplicationType:deduplicationList){DeduplicationParamdeduplicationParam=deduplicationHolder.selectBuilder(deduplicationType).build(deduplicationConfig,taskInfo);if(Objects.nonNull(deduplicationParam)){deduplicationHolder.selectService(deduplicationType).deduplication(deduplicationParam);}}}
到這,應(yīng)該大多數(shù)人還能跟上吧?在講具體的代碼之前,我們先來簡單看看去重功能的代碼結(jié)構(gòu)(這會對后面看代碼有幫助)
去重的邏輯可以統(tǒng)一抽象為:在X時間段內(nèi)達到了Y閾值,還記得我曾經(jīng)說過:「去重」的本質(zhì):「業(yè)務(wù)Key」+「存儲」。那么去重實現(xiàn)的步驟可以簡單分為(我這邊存儲就用的Redis):
通過Key從Redis獲取記錄判斷該Key在Redis的記錄是否符合條件符合條件的則去重,不符合條件的則重新塞進Redis更新記錄為了方便調(diào)整去重的參數(shù),我把X時間段和Y閾值都放到了配置里{"deduplication_10":{"num":1,"time":300},"deduplication_20":{"num":5}}。目前有兩種去重的具體實現(xiàn):
1、5分鐘內(nèi)相同用戶如果收到相同的內(nèi)容,則應(yīng)該被過濾掉
2、一天內(nèi)相同的用戶如果已經(jīng)收到某渠道內(nèi)容5次,則應(yīng)該被過濾掉
從配置中心拿到配置信息了以后,Builder就是根據(jù)這兩種類型去構(gòu)建出DeduplicationParam,就是以下代碼:
DeduplicationParamdeduplicationParam=deduplicationHolder.selectBuilder(deduplicationType).build(deduplicationConfig,taskInfo);
Builder和DeduplicationService都用了類似的寫法(在子類初始化的時候指定類型,在父類統(tǒng)一接收,放到Map里管理)
而統(tǒng)一管理著這些服務(wù)有個中心的地方,我把這取名為DeduplicationHolder
/***@authorhuskey*@date2022/1/18*/@ServicepublicclassDeduplicationHolder{privatefinalMapbuilderHolder=newHashMap<>(4);privatefinalMap serviceHolder=newHashMap<>(4);publicBuilderselectBuilder(Integerkey){returnbuilderHolder.get(key);}publicDeduplicationServiceselectService(Integerkey){returnserviceHolder.get(key);}publicvoidputBuilder(Integerkey,Builderbuilder){builderHolder.put(key,builder);}publicvoidputService(Integerkey,DeduplicationServiceservice){serviceHolder.put(key,service);}}
前面提到的業(yè)務(wù)Key,是在AbstractDeduplicationService的子類下構(gòu)建的:
而具體的去重邏輯實現(xiàn)則都在LimitService下,{一天內(nèi)相同的用戶如果已經(jīng)收到某渠道內(nèi)容5次}是在SimpleLimitService中處理使用mget和pipelineSetEX就完成了實現(xiàn)。而{5分鐘內(nèi)相同用戶如果收到相同的內(nèi)容}是在SlideWindowLimitService中處理,使用了lua腳本完成了實現(xiàn)。
LimitService的代碼都來源于@caolongxiu的pull request,建議大家可以對比commit再學習一番:https://gitee.com/zhongfucheng/austin/pulls/19
1、頻次去重采用普通的計數(shù)去重方法,限制的是每天發(fā)送的條數(shù)。
2、內(nèi)容去重采用的是新開發(fā)的基于redis中zset的滑動窗口去重,可以做到嚴格控制單位時間內(nèi)的頻次。
3、redis使用lua腳本來保證原子性和減少網(wǎng)絡(luò)io的損耗
4、redis的key增加前綴做到數(shù)據(jù)隔離(后期可能有動態(tài)更換去重方法的需求)
5、把具體限流去重方法從DeduplicationService抽取出來,DeduplicationService只需設(shè)置構(gòu)造器注入時注入的AbstractLimitService(具體限流去重服務(wù))類型即可動態(tài)更換去重的方法 6、使用雪花算法生成zset的唯一value,score使用的是當前的時間戳
針對滑動窗口去重,有會引申出新的問題:limit.lua的邏輯?為什么要移除時間窗口的之前的數(shù)據(jù)?為什么ARGV[4]參數(shù)要唯一?為什么要expire?
A: 使用滑動窗口可以保證N分鐘達到N次進行去重?;瑒哟翱诳梢曰仡櫹耇CP的,也可以回顧下刷LeetCode時的一些題,那這為什么要移除,就不陌生了。
為什么ARGV[4]要唯一,具體可以看看zadd這條命令,我們只需要保證每次add進窗口內(nèi)的成員是唯一的,那么就不會觸發(fā)有更新的操作(我認為這樣設(shè)計會更加簡單些),而唯一Key用雪花算法比較方便。
為什么expire?,如果這個key只被調(diào)用一次。那就很有可能在redis內(nèi)存常駐了,expire能避免這種情況。
推薦項目最后再叨叨吧,很多人可能會發(fā)一段截圖,跑來問我為什么要這樣寫,為什么要以這種方式實現(xiàn),能不能以這種方式實現(xiàn)。這時候,我更想看到的是:你已經(jīng)實現(xiàn)了第二種方式了,然后探討你寫的這種方案好不好,現(xiàn)有的代碼差在哪里。
畢竟問問題很簡單,我又不是客服,總不能沒誠意的問題我都得一一回答吧。
如果想學Java項目的,我還是強烈推薦我的開源項目消息推送平臺Austin,可以用作畢業(yè)設(shè)計,可以用作校招,可以看看生產(chǎn)環(huán)境是怎么推送消息的。
倉庫地址(可點擊閱讀原文跳轉(zhuǎn)):https://gitee.com/zhongfucheng/austin
我開通了股東服務(wù)內(nèi)容,感興趣可以點擊下方看看,主要針對的是項目喲
VIP服務(wù)
新化月報網(wǎng)報料熱線:886 2395@qq.com
相關(guān)文章
最近更新
- 解剖屎山,尋覓黃金之第二彈2023-05-18
- 觀點:【甘快看】甘肅慶陽華池通用機場即將投入運營2023-05-18
- 【甘快看】這份責任書將“電靚”隴原幸福生活 當前關(guān)注2023-05-18
- 【甘快看】“果”然厲害!靜寧“智慧果園”引領(lǐng)潮流有看頭2023-05-18
- 【世界報資訊】【甘快看】甘肅瓜州舉辦戈壁挑戰(zhàn)賽2023-05-18
- 打造東盟貨運集結(jié)中心!懷化開行東盟班列突破160列2023-05-18
- 世界今熱點:800名文旅工作者齊聚張家界,共倡“文明旅游”2023-05-18
- 【報資訊】這盤商品房均價9萬+/㎡!但拿出406套輪候庫公租房2023-05-18
- 蘇州出臺購房享50%契稅補貼新政?相城區(qū)稅務(wù)部門:未接到通知 世界快看2023-05-18
- 環(huán)球滾動:人民數(shù)據(jù)發(fā)布中國首部《中國數(shù)據(jù)產(chǎn)權(quán)制度藍皮書》研究大綱2023-05-18
- 盛世中華 復(fù)興有您 第21屆中國當代藝術(shù)名家作品展在北京舉行-天天熱訊2023-05-18
- 決戰(zhàn)伊斯坦布爾!國米雙前鋒+三后衛(wèi)能否阻擋曼城?2023-05-18
- 即時:格斗新作《真人快打1》公布!9月19日正式推出2023-05-18
- 哪些牌子的女裝既好看又不貴_女裝哪個牌子好又不貴簡介介紹|天天速看料2023-05-18
- “新IT”是實現(xiàn)智能化的核心承載 即時看2023-05-18
- 電梯維修保險“株洲模式”走向全國2023-05-18
- 2023全民營養(yǎng)周暨“5·20”中國學生營養(yǎng)日系列主題科普活動在長沙啟動2023-05-18
- 天天熱點!未批先建!被罰款188萬元的昆明潤浩地產(chǎn)什么來頭?2023-05-18
- 全國首個校內(nèi)影視基地將打造影視網(wǎng)工業(yè)鏈 焦點關(guān)注2023-05-18
- 山東省農(nóng)村生活污水治理工作現(xiàn)場推進會在棗莊召開2023-05-18
- 【環(huán)球熱聞】白羽雞苗20天漲幅近50% 大廠報價升至6.6元/只 種禽企業(yè)迎“收獲季”2023-05-18
- 天天新消息丨在珊瑚觸手中發(fā)現(xiàn)兩種細菌的簇 揭示了它們在珊瑚礁健康中的作用2023-05-18
- 測量的犬母基線代謝物 全球報道2023-05-18
- 最古老的建筑計劃詳細介紹了神秘的沙漠巨型建筑2023-05-18
- Noise ColorFit Pulse 3搭載2.5D曲面顯示屏推出-今日快看2023-05-18
- 失眠嚴重,怎么都睡不著2023-05-18
- 【環(huán)球時快訊】一杯難求!“高貴茶飲”找上“高貴聯(lián)名”,爆火伴著“翻車”……快消界為何不懈“炒CP”?2023-05-18
- 提速電動化加大投資 2026年寶馬將國產(chǎn)新世代純電車型2023-05-18
- 邵陽至永州鐵路力爭年內(nèi)開工-環(huán)球速讀2023-05-18
- 湘西州:全力推進專項職業(yè)能力項目及技能大師工作室建設(shè)2023-05-18