幫助更多人
做好電商出海!

tiktok背后的AI能如何運作,一文帶你了解tiktok背后的AI運作流程

眾所周知,TikTok 是一款視頻分享應用,可讓用戶創(chuàng)建和分享短視頻,對于不少人來說,雖然是一個日常的娛樂、刷刷視頻的平臺,但同時卻也是能夠變現(xiàn)的渠道,但是對于tiktok這個平臺的具體運作是比較不清楚的,那么tiktok背后的AI怎么運作的呢?

tiktok背后的AI怎么運作的?

TikTok架構

TikTok推薦系統(tǒng)的架構包括三個組件:大數據框架、機器學習和微服務架構。

大數據框架是系統(tǒng)的起點。它提供實時數據流處理,數據計算和數據存儲;

機器學習是推薦系統(tǒng)的大腦。使用一系列機器學習和深度學習算法與技術用于構建模型并生成適用

機器學習

這就是 TikTok 如何贏得家喻戶曉的超個性化、令人上癮的算法的核心。

在大量數據集涌入之后,接下來是內容分析、用戶分析和上下文分析。TensorFlow等神經網絡深度學習框架用于執(zhí)行計算機視覺和本地語言處理 ( NLP )。計算機視覺將用照片和視頻破譯圖像。NLP 包括分類、標簽和評估。

使用了經典的機器學習算法,包括邏輯回歸 ( LR )、卷積神經網絡 ( CNN )、遞歸神經網絡 ( RNN ) 和梯度提升決策樹(GBDT)。應用了常見的推薦方法,例如基于內容的過濾(CBF)、協(xié)同過濾(CF)和更高級的矩陣分解(MF)。

TikTok用來讀心的秘密武器是:

1. 算法實驗平臺:工程師對LR、DNN等多種機器學習算法的混合進行實驗,然后運行測試(A/B測試)并進行調整。

2. 廣泛的分類和標簽:模型基于用戶的參與度,例如觀看時間、滑動以及常用的點贊或分享(你所做的作為你潛意識的反映比你說的更多地說明了你)。用戶特征、向量和類別的數量超過了世界上大多數推薦系統(tǒng)——而且它們還在不斷增加。

3. 用戶反饋引擎:多次迭代獲取用戶反饋后更新模型。體驗管理平臺是建立在這個引擎之上的,并最終改善了災難和建議。

為了解決推薦中的冷啟動問題,使用了召回策略。就是從數以千萬計的視頻中挑選出成千上萬的候選人,這些視頻已經被證明是受歡迎的和高質量的。

同時,部分人工智能工作已移至客戶端,以實現(xiàn)超快速響應。這包括在設備上進行的實時培訓、建模和推理。在客戶端使用機器學習框架,例如TensorFlow Lite或ByteNN 。

微服務架構

TikTok已經運用了云原生基礎設施。推薦組件(如用戶分析、預測、冷啟動、召回和用戶反饋引擎)用作 API。這些服務托管在Amazon AWS和Microsoft Azure等云中。作為系統(tǒng)的結果,視頻策展將通過云推送給用戶。

9bce02435f8048a39674a2e13c449df9
 

TikTok采用基于Kubernetes的容器化技術。Kubernetes 被稱為容器編排器。它是自動化應用程序生命周期的工具集。Kubeflow致力于在Kubernetes上部署機器學習工作流。

作為云原生堆棧的一部分,Service mesh 是另一個處理服務到服務通信的工具。它控制應用程序的不同部分如何相互共享數據。它在平臺層插入功能或服務,而不是在應用程序層插入。

由于高并發(fā)性的要求,服務是使用 Go 語言和 gRPC 構建的。在TikTok中,Go因其良好的內置網絡和并發(fā)支持而成為服務開發(fā)中的主導語言。gRPC 是一個遠程過程控制框架,用于有效地構建和連接服務。

Tiktok的成功在于,它將加倍努力提供最佳的用戶體驗。他們構建內部工具,以最大限度地提高低級別(系統(tǒng)級別)的性能。例如,ByteMesh是Service Mesh的改進版本,KiteX是高性能的Golang gRPC框架,Sonic是增強的Golang JSON庫。其他內部工具或系統(tǒng)包括參數服務器、ByteNN 和 abase等。

正如TikTok機器學習負責人Xiang Liang所說,有時下面的基礎設施比上面的(機器學習)算法更重要。

字節(jié)跳動于2017年在美國推出了TikTok,而tiktok的上市也在一夜之間成了香餑餑,不僅吸引了無數的用戶前往使用,甚至也引來美國的注視,可以說火爆程度是不言而喻的。

贊(0)
本站內容來源于用戶上傳分享,如有侵權請聯(lián)系(點這里聯(lián)系)刪除 。轉載請保留鏈接:http://mndgq.cn/18107.htm