T-AI 127.5-2024 信息技術(shù) 視覺特征編碼 第5部分：語義分割圖

團體標準Informationtechnology-Visualfeaturecoding中關(guān)村視聽產(chǎn)業(yè)技術(shù)創(chuàng)新聯(lián)盟發(fā)布I III 1 1 1 2 2 2 2 2 2 3 3 3 6 6 9 12 17——第1部分:系統(tǒng)。目的在于設(shè)計特征編碼系統(tǒng)，提供整合特征碼流的規(guī)范，實現(xiàn)特——第2部分:手工設(shè)計特征。目的在于確立適用于傳統(tǒng)手工設(shè)計特征的表示與壓縮標——第3部分:深度學(xué)習(xí)特征。目的在于確立適用于從深度學(xué)習(xí)模型中提取的高維特征——第4部分：深度特征圖。目的在于確立適用于從深度學(xué)習(xí)模型中提取的通用深度特——第5部分：語義分割圖。目的在于確立適用于語義分割圖的高效表征與無損壓縮標——第6部分：結(jié)構(gòu)點序列。目的在于確立適用于結(jié)構(gòu)點序列的時空域高效表征與壓縮1信息技術(shù)視覺特征編碼第5部分：語義分割圖24縮略語5.1概述5.2算術(shù)運算符+-×/整除運算，沿向0的取值方向截斷。例如，7/4和5.3邏輯運算符!><35.5位運算符將a以2的補碼整數(shù)表示的形式向右移b位。僅當b取正數(shù)時5.6賦值=5.7位流語法、解析過程和解碼過程的描述方法5.7.1位流語法的描述方法正文中用不帶下劃線的小寫字母和大寫字母混合命名。大寫字母開頭的變量用于解碼當前語法元素值的助記符和變量值的助記符與它們的值之間的關(guān)系在正文中說明。在某些位串的長度是4的整數(shù)倍時，可使用十六進制符號表示。十六進制的前綴是“0x”，例如“0x1a”表示位串“00011010”。4ue(v)/*花括號括起來的語句組是復(fù)合語句，在功能上視作單個語句。*/{…}則執(zhí)行alternative語句。如果alternative語句不需要執(zhí)行，結(jié)構(gòu)的“相關(guān)的alternative語句可忽略if(condition)for(initialstatement;co語義分割圖編碼單元（CU）的定義，具體過程的定義見章5min_cu_stream()predict_color1()預(yù)測CU左上角像素的顏色值，具體過程見章節(jié)7.3。返回值為-1代表無法進行預(yù)測。在其余情況下均可進行預(yù)測，返回值為預(yù)測的數(shù)目，為1或2。同時返回預(yù)測的顏色predict_initial_position在其余情況下均可進行預(yù)測，返回值為預(yù)測的數(shù)目，為1或2。同時返回預(yù)測的位置。predict_color2()判斷分界邊是否編碼完成，具體過程見章節(jié)7.3。返回值為1代表沒有完成，返回值為05.7.3描述符u(n)5.7.4保留、禁止和標記位本文件定義的位流語法中，某些語法元素的值被標注為“保留”（reserved）或“禁止”“禁止”定義了一些特定語法元素值，這些值不應(yīng)出現(xiàn)在符合本文件的位流中?！皹擞浳弧保╩arker_bit）指該位的值應(yīng)為‘1’。6u(16)u(16)u(16)u(1)u(1)u(8)u(8)}total_num_ctu=m_numCtuInRow×m_for(frame=0;framefor(ctuIdx=0;ctuIdx<total_num_ctu;CU_stream(location_r}}}}CU_stream(location_row,location_col,depth){side_length=CTU_size>>if(location_row+side_length>=image_h&&location_elseif(location_row+side_length>=image_h&&lo7}elseif(location_row+side_length<image_h&&locCU_stream(location_row+side_le}CU_stream(location_row+side_leCU_stream(location_row+side_length,location_c}}elseif(CTU_size>>depth==min_split_}chain_code_stream(min_spl}}chain_code_stream(CTU_size>>}CU_stream(location_row+side_leCU_stream(location_row+side_length,location_c}}}8predict=predict_color1()if(!predice_color1_true_flag1&&color_numif(!predict_color1_true}}chain_code_stream(side_len}predict_mode=predict_initial_positiopredict_initial_position_if(predict_initial_position_true_predict_initial_posipredict_initial_posi}}if(predict_mode==-1|}}9if(!predict_color2_true}}}}}}}1predict_color1_true_flag1predict_color1_true_flag2predict_initial_position_true_flagpredict_initial_position_sidepredict_initial_position_mode點，則使用0表示此點，1表示此點相鄰一點。如果預(yù)測初position_side表示分界邊初始點所在邊上的位置減一，位長與CU大小有關(guān)，與position_side共同確predict_color2_true_flag廣泛的領(lǐng)域。本文件定義的解碼過程輸出語義分割圖的數(shù)據(jù)形式為YUV400格式或UV分量都為0的YUV420格式，每個Y分量像素值代表一個語義類別。目前參考軟件支持最多255種在編碼開始時將圖像像素值用color_map映射為此像素值出現(xiàn)的順序序號便于自適應(yīng)算所以在解碼過程中首先需要重建出所有的顏色值。此方案采用四叉樹劃分的方法進行劃分與邊界處理。首先將語義分割圖劃分為若干無重疊的，長寬均為128像素的正方形塊（可出邊界命名為編碼樹單元(CTU)，然后將CTU形塊，命名為編碼單元(CU)，對CU也遞歸地進行同樣的操作。函數(shù)CU_stream()定義了1解碼框圖見圖1。根據(jù)模式選擇位對CU使用不同方法進行解碼，解碼方案中所有法元素都使用了自適應(yīng)算數(shù)編解碼方法。自適應(yīng)算數(shù)編解碼器使用32位整形算數(shù)編解如果CU需要進行四叉樹劃分，將此CU劃分為四個大小相同的CU。用一個標志位表示不再劃分。如果CU跨邊界則自動劃分，不需要解碼標志位。四叉樹劃分結(jié)構(gòu)的一個實例見解碼流程。為了降低碼率，首先對顏色值進行預(yù)測。用CUe）如果缺失其中的兩個像素，則用第三個顏色值進值置于列表首位，之前列表中位于解碼顏色值之前的顏色值在列表中后的位置，再根據(jù)找到位置的相鄰兩點優(yōu)化預(yù)測，具體過程見圖5，相鄰兩點的選取如圖中像1predict_initial_position()定義了預(yù)測流程。具體解碼方法是：2）如果左相鄰邊和上相鄰邊均可預(yù)測初始點，則解碼相鄰邊的序號，0為左相鄰界邊初始點所在邊的序號減一，再解碼其在所在邊的具體位置減一。見圖5，直接解碼分界顏色值時，見圖4，僅在分界邊初始點位于果沒有搜索到與CU左上方顏色值不同的顏色值或預(yù)測錯誤則解碼另一種顏色值在顏色值列表中的序號。在解碼后，使用move-to-fr兩種顏色間的分界邊可由連續(xù)的方向表示，見圖7。當方方向指向的像素位于CU邊界，根據(jù)方向指向的像素所處邊界，前邊初始點所在邊界判