国产精品交换-精品久久久久久无码国产-中文人妻熟妇乱又伦精品-久久av无码精品人妻系列-亚洲色图片区

印刷問答

印刷問答

印刷問答為您提供印前,印中,印后以及設(shè)計的相關(guān)問題咨詢與解答,印刷案例規(guī)格及印刷報價,讓您實時了解在印刷中的各類相關(guān)問題及印后相關(guān)問題,并提供印刷時的注意事項,為您提供各類印前印后的相關(guān)問題解決方案

當(dāng)前位置:網(wǎng)站首頁 > 印刷問答 > 正文

【標(biāo)簽畫像系列】標(biāo)簽加工與落庫

印刷問答 2022-09-23 09:57 210

編輯導(dǎo)語:標(biāo)簽加工與落庫是標(biāo)簽體系完成后重要的步驟,本篇文章作者分享了標(biāo)簽加工與落庫過程中需要關(guān)注的注意點,講述了不同標(biāo)簽的加工內(nèi)容以及標(biāo)簽的更新與落庫等內(nèi)容,一起來學(xué)習(xí)一下吧,希望對你有幫助。

在標(biāo)簽生命周期流程中,標(biāo)簽體系設(shè)計完成后,便進入標(biāo)簽加工與上線運行階段,一般來說數(shù)據(jù)開發(fā)團隊會主導(dǎo)此過程,但我們需要關(guān)心以下幾個問題:

標(biāo)簽如何快速創(chuàng)建和實現(xiàn)標(biāo)簽邏輯的在線化管理;

業(yè)務(wù)人員怎么參與到標(biāo)簽建設(shè)流程中;

百級別的標(biāo)簽如何落表。

一、加工方式:傳統(tǒng) VS 在線

當(dāng)企業(yè)無標(biāo)簽系統(tǒng)時,一般由數(shù)據(jù)開發(fā)在離線數(shù)倉中完成標(biāo)簽加工和運行,運營或市場同學(xué)需要某個標(biāo)簽需要通過產(chǎn)品經(jīng)理向數(shù)據(jù)開發(fā)提需求,這個過程存在很多問題:

標(biāo)簽資產(chǎn)不可見:標(biāo)簽是存在于表里的字段,業(yè)務(wù)人員不清楚現(xiàn)在有多少標(biāo)簽;標(biāo)簽的加工邏輯與業(yè)務(wù)邏輯是否一致只能查看SQL代碼;新上線的標(biāo)簽只有部分人知道,標(biāo)簽價值散發(fā)慢等。

標(biāo)簽資產(chǎn)不可管:加工好的標(biāo)簽,有多少在真正被使用,有多少沒人用,完全黑盒,不用的標(biāo)簽每天繼續(xù)運行浪費計算與存儲資源。

標(biāo)簽加工效率低:當(dāng)業(yè)務(wù)人員需要某個簡單標(biāo)簽時,也需要提交需求給數(shù)據(jù)開發(fā),加工到上線基本需要2-*天流程。

基于以上這些問題,標(biāo)簽在線化創(chuàng)建與管理顯得尤為重要,在線化主要包含以下內(nèi)容:

標(biāo)簽在線化加工;

標(biāo)簽在線化管理;

標(biāo)簽在線化更新。

其讓標(biāo)簽加工過程、有哪些標(biāo)簽變得透明,業(yè)務(wù)人員也可以參與進標(biāo)簽建設(shè)的流程中。

二、各類型標(biāo)簽加工

標(biāo)簽類型的區(qū)分在此處便不再贅述了。在袋鼠云智能標(biāo)簽產(chǎn)品中,我們按照標(biāo)簽加工邏輯,將標(biāo)簽分為下文類型,各類型標(biāo)簽的加工層次如下圖:

接下來,我們看下具體各類型標(biāo)簽的加工吧。

1. 原子標(biāo)簽

該類標(biāo)簽由數(shù)據(jù)開發(fā)在數(shù)倉加工中完成,一般基于數(shù)倉DWD、DWS層的明細(xì)表與匯總表加工而來,處理邏輯較為復(fù)雜,同時維表中的一些字段也可以作為原子標(biāo)簽。這類標(biāo)簽一般包含哪些內(nèi)容呢?

比如建立用戶的標(biāo)簽體系,會包含:

用戶維表中的用戶基礎(chǔ)屬性:性別、年齡、置業(yè)、會員等級、手機號、身份證號等信息,一般用戶系統(tǒng)會有該類信息。

基于交易表加工的交易指標(biāo):最近*0天購買次數(shù)、最近*0天交易金額、最近*天購買次數(shù)、最近*天交易金額。這部分標(biāo)簽也建議放在數(shù)倉中實現(xiàn),有以下幾點原因。

因為其本身也是一個指標(biāo),除后續(xù)作為標(biāo)簽進行畫像分析外,也常用于在數(shù)據(jù)門戶、BI報表中分析,可作為對外服務(wù)的指標(biāo)放在ADS層中,并且市場上也會有專門指標(biāo)管理的產(chǎn)品,來實現(xiàn)該指標(biāo)的加工。

這類標(biāo)簽若屬于同一個統(tǒng)計維度(如都計算最近*天),數(shù)據(jù)開發(fā)可以在一個SQL片段中計算多個標(biāo)簽,節(jié)約計算成本。

若業(yè)務(wù)人員直接基于DWS層的輕度匯總表(每天匯總的交易次數(shù)、交易金額)、或DWD層的明細(xì)表(每條交易記錄一行數(shù)據(jù))來加工最近*0天購買次數(shù)這個標(biāo)簽,需要針對對應(yīng)的字段進行求和,稍微涉及到一點SQL理解,有一點難度。

故該類使用場景多、對于業(yè)務(wù)人員有計算難度,可在數(shù)倉中合并加工降低成本的標(biāo)簽,可在數(shù)倉中作為原子標(biāo)簽加工。

基于行為表加工的行為指標(biāo):可經(jīng)過數(shù)倉加工成如下表格式,加工行為類的標(biāo)簽,便于后續(xù)業(yè)務(wù)人員去衍生。

原子標(biāo)簽在數(shù)倉加工好后,可導(dǎo)入到標(biāo)簽系統(tǒng)中,進行在線化管理。

2. 規(guī)則標(biāo)簽

該類標(biāo)簽配置可由數(shù)據(jù)開發(fā)或數(shù)據(jù)分析師來完成,可基于單張表或關(guān)聯(lián)表中的字段進行在線化加工,可設(shè)置統(tǒng)計周期、數(shù)據(jù)過濾條件,其內(nèi)置常用的聚合函數(shù)(求和、均值、計數(shù)、去重技術(shù)、最大值、最小值等)、操作符(大于、小于、區(qū)間、有值、無值、包含等),通過規(guī)則化的在線配置完成標(biāo)簽加工。配置界面如以下:

根據(jù)上面的描述,該類標(biāo)簽可以將指標(biāo)的類型的標(biāo)簽在數(shù)倉或指標(biāo)平臺加工好,導(dǎo)入至標(biāo)簽平臺作為原子標(biāo)簽,再基于這些原子標(biāo)簽取操作符更好。但在實際場景中,基于不同考慮,有的客戶也會在標(biāo)簽平臺直接加工此類型標(biāo)簽,如以下場景:

數(shù)倉無對應(yīng)的基礎(chǔ)標(biāo)簽,但業(yè)務(wù)人員很著急需要該標(biāo)簽?zāi)硺?biāo)簽,走正常的排期、數(shù)倉加工、測試,上線到使用基本2天以上了,基于這種情況可以通過該類標(biāo)簽在標(biāo)簽系統(tǒng)直接配置,*分鐘即可配置、更新完成,業(yè)務(wù)人員便可以使用了;

客戶方想把標(biāo)簽的加工邏輯在線化呈現(xiàn)、方便查找與追溯,通過可視化的方式在線配置。

*. SQL標(biāo)簽

SQL標(biāo)簽主要數(shù)據(jù)開發(fā)、數(shù)據(jù)分析師使用,主要解決通過規(guī)則標(biāo)簽無法表達的邏輯,如用到排序函數(shù)、字符轉(zhuǎn)化函數(shù)、子查詢等內(nèi)容??梢酝ㄟ^標(biāo)準(zhǔn)SQL語法靈活完成標(biāo)簽加工。

4. 模型標(biāo)簽

模型標(biāo)簽可由業(yè)務(wù)人員創(chuàng)建。系統(tǒng)集成常見的用戶分層RFM模型,用戶營銷AIPL模型、用戶生命周期模型,用戶輸入對應(yīng)的指標(biāo)值區(qū)間,便可定義對應(yīng)的標(biāo)簽值。

以RFM模型舉例,基于該模型生成“客戶價值”標(biāo)簽。可基于最近一次購買時間、最近一年消費金額、最近一年消費頻率等幾個原子標(biāo)簽,進行不同區(qū)間的取值,給用戶打上“重要價值客戶”、“重要發(fā)展客戶”、“重要發(fā)展客戶”、“重要挽留客戶”等。

*. 組合標(biāo)簽

模型標(biāo)簽可由業(yè)務(wù)人員創(chuàng)建。基于已生成的原子、規(guī)則、SQL、模型標(biāo)簽等,進行規(guī)則衍生,生成組合標(biāo)簽。如組合標(biāo)簽“高收入低購買”用戶,可通過“收入水平”衍生標(biāo)簽,與“最近*年消費金額區(qū)間”衍生標(biāo)簽組合加工,如下圖:

6. 自定義標(biāo)簽

自定義標(biāo)簽可由業(yè)務(wù)人員創(chuàng)建。手動為某些用戶打上標(biāo)簽,該類標(biāo)簽手動導(dǎo)入,常見場景如下:

客服人員和用戶ID為1001的用戶溝通后,給該用戶打上”性格:溫和、有耐心”標(biāo)簽。

如監(jiān)管機構(gòu)提供的一些信貸黑名單用戶,該類標(biāo)簽可直接導(dǎo)入進標(biāo)簽系統(tǒng),為用戶打上新的標(biāo)簽。

*. 算法標(biāo)簽

算法標(biāo)簽由算法開發(fā)同學(xué)創(chuàng)建,該類標(biāo)簽可在算法平臺完成,將算好的結(jié)果存儲至Hive表中,標(biāo)簽系統(tǒng)可獲取算法標(biāo)簽的元數(shù)據(jù),拿到算法標(biāo)簽的中文名、英文名,注冊至標(biāo)簽系統(tǒng)中,在標(biāo)簽系統(tǒng)中完成算法標(biāo)簽的標(biāo)簽信息查看、標(biāo)簽查詢等。

如利用機器學(xué)習(xí)模型加工預(yù)測類的算法標(biāo)簽,如根據(jù)用戶的特征,預(yù)測哪些用戶是否即將流失,流失的概率等,從而在用戶流失之前做一些措施來挽留。

8. 實時標(biāo)簽

實時標(biāo)簽由數(shù)據(jù)開發(fā)同學(xué)創(chuàng)建,該類標(biāo)簽可在流計算平臺完成,實時行為數(shù)據(jù)打入到kafka中,用FlinkSQL消費,再輸出到Kafka、或數(shù)據(jù)表中,下游直接訂閱或查詢。

三、標(biāo)簽更新與落庫

標(biāo)簽配置完成后,便需要進行標(biāo)簽更新與落庫,即將標(biāo)簽打到對象(如用戶)的身上,這樣業(yè)務(wù)同學(xué)就可以根據(jù)標(biāo)簽圈選目標(biāo)群組啦。在此處我們需要說明以下幾個問題:

1. 技術(shù)選型

首先說明一下標(biāo)簽加工的技術(shù)選型,在袋鼠云智能標(biāo)簽產(chǎn)品中我們用的 Trino(Presto)高性能分析引擎讀寫 Hive 表的方式,標(biāo)簽表存儲在Hive中。主要有以下幾點原因:

隨著國家對數(shù)字化轉(zhuǎn)型的支持,從金融、政府到小企業(yè)都在建設(shè)數(shù)倉,進行數(shù)字化應(yīng)用,在這個過程中,大多采用的是分布式的Hadoop系統(tǒng)作為計算存儲引擎(不論是開源Hadoop,還是發(fā)行版的CDH、TDH、FusionInsight等),Hive表便是最常用的存儲形式。標(biāo)簽是基于數(shù)倉模型搭建出來的,與數(shù)倉用同一種存儲可以節(jié)省存儲資源以及不用兩種存儲之間進行數(shù)據(jù)交換。

而用Trino(Presto)的原因是其首先是一個分析型引擎,讀寫速度均可;其次是其SQL語法完備、函數(shù)豐富、靈活,可以處理絕大多是業(yè)務(wù)場景的需求;并且支持跨庫同時讀取,如Trino可以同時取Hive與MySQL的數(shù)據(jù)進行數(shù)據(jù)處理。

但沒有一種完美的技術(shù)選型,只能貼合企業(yè)自己的業(yè)務(wù),選取最合適的技術(shù)。在這里我們就不分析各種標(biāo)簽的技術(shù)選型了。

2. 落表方式

上面我們介紹了有各種類型的標(biāo)簽,標(biāo)簽如何落表呢,大家看下面這個圖:

在業(yè)務(wù)場景中,存在有的標(biāo)簽需要每天更新,如最近*0天消費金額區(qū)間。而有的標(biāo)簽周更新、月更新即可,更新頻率不高,如活動類型偏好。

這樣,便需要支持每個標(biāo)簽有不同的更新頻率,但hive2.x版本不支持單列更新,為了解決該問題,我們將每個標(biāo)簽先在臨時表存一下(就包含2列,1列用戶ID,1列標(biāo)簽)該臨時表即建即用即刪,每個標(biāo)簽只有一個臨時表(非分區(qū)表),每個標(biāo)簽占用的占用不大,又能解決標(biāo)簽更新周期不一致的問題。

但如果后續(xù)的標(biāo)簽圈群、群組畫像分析,我們基于這些單獨表的去做吉印通查詢,那效率會很低。

因為每個用營銷活動,我們需要*個標(biāo)簽圈選出來一批人群,并查詢出這群人的性別、年齡、月消費、會員等級、是否活躍用戶等信息,加起來用到了10個標(biāo)簽左右,會涉及到10個表的join操作,客戶集群資源不豐裕的情況,查詢速度慢。

所有我們便將多個臨時表通過聚合任務(wù),將所有的臨時表join到一張標(biāo)簽大寬表中,進行固化,這張表是一個分區(qū)表,可以每天存儲一份全量用戶標(biāo)簽信息,當(dāng)然可以自行設(shè)置該表的更新周期與保存多少個分區(qū)。

這樣,業(yè)務(wù)人員進行圈群和分析就可以一張表查詢數(shù)據(jù),查詢效率大大提升。通過標(biāo)簽跑批時間的消耗換取業(yè)務(wù)的查詢速度。

但會遇到有些企業(yè)標(biāo)簽數(shù)量在*00-1000個之間,用戶量在千萬、億級別,這樣的話,用一張表去存所有的標(biāo)簽會遇到標(biāo)簽大寬表跑批時間過長或跑不出來的情況,所以便需要分表,可以根據(jù)標(biāo)簽數(shù)量分表。

綜上,以上加工存儲方式,有缺點的地方便是大寬表加工時,需要join多個臨時表,消耗內(nèi)存,跑批時間長。

為解決該問題,袋鼠云智能標(biāo)簽產(chǎn)品在引入數(shù)據(jù)湖Iceberg進行標(biāo)簽表的存儲,其可以實現(xiàn)單列更新,每個標(biāo)簽可以單獨更新,這樣,便不需要那些臨時表了,解決加工效率的問題。

該篇講了標(biāo)簽的加工與落庫,歡迎大家留言討論,也可以分享下自己見到一些好的標(biāo)簽加工方式,我們共同進步。

對了,業(yè)務(wù)人員怎么參與到標(biāo)簽建設(shè)流程中,該問題在【標(biāo)簽畫像系列】標(biāo)簽畫像建設(shè)方法論中有介紹過,可以去那里查看。

本文由 @木研 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理,未經(jīng)許可,禁止轉(zhuǎn)載。

題圖來自 Unsplash,基于 CC0 協(xié)議。

  • 【Photoshop安裝教程】adobe Photoshop cc下載、安裝、激活教程

    【Photoshop安裝教程】adobe Photoshop cc下載、安裝、激活教程

    AdobePhotoshopCC是一款專業(yè)強大的圖像處理軟件,為用戶提供了相機防抖動、CameraRAW功能改進、圖像提升采樣、屬性面板改進、Behance集成等超多實用功能,完全能滿足用戶需求。Photoshop可分為圖畫編輯、圖畫組...

    2023-03-19 167

  • 【uv打印加工】|余姚uv打印加工

    【uv打印加工】|余姚uv打印加工

    1、UV打印是一種通過紫外光干燥固化油墨的一種印刷工藝,需要將含有光敏劑的油墨與UV固化燈相配合和傳統(tǒng)噴繪的區(qū)別在于,UV打印設(shè)備上其擁有UV油墨跟UV燈,利用UV油墨里面的成分在紫外線光的特定波長照耀下發(fā)生交聯(lián)聚合反應(yīng)。2、1線下門店通過...

    2023-02-21 131

  • 標(biāo)簽廠家科普模內(nèi)不干膠標(biāo)簽(下)

    標(biāo)簽廠家科普模內(nèi)不干膠標(biāo)簽(下)

    外包拆印刷的次要用處淡粉打印次要用處非常普遍,以部屬于不干膠標(biāo)簽的簡要介紹1、行業(yè)家用電器市場:數(shù)碼科技推廣了小我用戶對售賣的要求在如許一個市場上,構(gòu)造復(fù)雜、價格低、性價比高小市場銷售早已遠(yuǎn)遠(yuǎn)超越了客戶貿(mào)易辦事市場,釀成了顧客營銷推廣市...

    2022-12-23 114

  • 湖南省行政執(zhí)法證照片要求及手機拍通明布景證件照辦法

    湖南省行政執(zhí)法證照片要求及手機拍通明布景證件照辦法

    湖南省各地近期正在開展“兩證”換(核)發(fā)工做,對持有《湖南省行政執(zhí)法證》且契合前提的執(zhí)法人員完成換發(fā)全國同一款式行政執(zhí)法證,由各單元組織對政治理論、執(zhí)法營業(yè)才能等相關(guān)方面停止查核并對通過查核人員發(fā)放新版執(zhí)法證。此中,測驗和換證需要提交證件照...

    2022-12-23 286

  • 標(biāo)簽印刷廠講解普通不干膠標(biāo)簽與可移不干膠貼紙的區(qū)別

    標(biāo)簽印刷廠講解普通不干膠標(biāo)簽與可移不干膠貼紙的區(qū)別

    可移不干膠貼紙就是能夠多次重復(fù)使用的,而一般不干膠標(biāo)簽就是不要多次重復(fù)使用的,普通不干膠標(biāo)簽標(biāo)簽解開后都會留出膠漬,或是去除的時候會被撕開??蛇w移不干膠標(biāo)簽別名節(jié)能型標(biāo)簽、N次貼標(biāo)簽、可移性標(biāo)簽、可移紙貼,他在撕下時不會造成印痕,選用可移膠...

    2022-10-04 247

  • 標(biāo)簽定制廠家科普易碎不干膠標(biāo)簽防偽標(biāo)簽印刷技術(shù)性

    標(biāo)簽定制廠家科普易碎不干膠標(biāo)簽防偽標(biāo)簽印刷技術(shù)性

    易碎紙防偽標(biāo)簽是最常見的非干膠粘貼劑之一,經(jīng)常觸碰防偽標(biāo)簽會出現(xiàn)易碎紙防偽標(biāo)簽,防偽標(biāo)簽在日常生活當(dāng)中廣泛運用使我們?nèi)粘I钚纬闪撕芏啾憬?,使我們產(chǎn)品改善,確保讓人們在日常日常生活購買東西可以防止假冒產(chǎn)品,因此你了解防偽標(biāo)簽嗎?一起來看看易...

    2022-09-23 309