歡迎來到《每（měi）周CV論文推（tuī）薦》在這個專欄裏，還（hái）是本著有三AI一貫的原則，專注於讓大家（jiā）能夠係統性完成學習，所以www.17C.com推薦的文章也必定是同一主題的動態模型壓縮是一類比較（jiào）新穎的模型設計與優化方（fāng）法，通過對模型的設計，使其麵對不（bú）同的樣本或區域時表現出不同的結構，從而擁有更加高效的計算，在學術界研（yán）究非常廣泛，本（běn）次我概念模型們來簡單給大家推薦（jiàn）一些初入該領域值得（dé）閱讀的工作。

    作（zuò）者&編（biān）輯 | 言有（yǒu）三1 基於提前終止的框架BranchyNet以非常簡（jiǎn）潔的形式實現了不同難度的（de）樣本在（zài）測（cè）試時運行不同網絡的思（sī）想，它在正常網絡通道上包含了多個（gè）旁路分（fèn）支，這樣的思想是基於觀察到的現（xiàn）象，隨著網絡的加深，模型表征能力越來越強，大部分簡單的圖片（piàn）可概念模型以在較淺層時學習到足（zú）以（yǐ）識別的特征，從（cóng）而可以提前終止。

    文章引用（yòng）量：900+推薦指數：✦✦✦✦✦

    [1] Teerapittayanon S, McDanel B, Kung H T. Branchynet: Fast inference via early exiting from deep neura概念模（mó）型l networks[C]//2016 23rd International Conference on Pattern Recognition (ICPR). IEEE, 2016: 2464-2469.

    [2] Figurnov M, Collins M D, Zhu Y, et al. Spat概念模型ially adaptive computation time for residual networks[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2017: 1039-10概念模型48.

    2基（jī）於模塊跳過的框架研究表明在訓練時隨機丟棄（qì）深度殘差（chà）網絡的一些殘差模塊，可以獲得不同深度（dù）殘差模型集成的效果，提高模型的（de）泛化能力Blockdrop框架基於這（zhè）個思路，從數據中學習可以丟棄的殘差模塊，從而實現不同（tóng）輸入樣本使用不（bú）同的計算。

    文章引用量：800+推薦指數：✦✦✦✦✦

    [3] Wu Z, Na概念模型garajan T, Kumar A, et al. Blockdrop: Dynamic inference paths in residual networks[C]//Proceedings of the IEEE Conference on Computer Vision and Patte概念模型rn Recognition. 2018: 8817-8826.

    [4] Wang X, Yu F, Dou Z Y, et al. Skipnet: Learning dynamic routing in convolutional networks[C]//Proceedings of the E概念模型uropean Conference on Computer Vision (ECCV). 2018: 409-424.

    3 基於注意力的框架模型的計算量不僅與模型的參（cān）數量有關，也與輸（shū）入數據（jù）的大小有關，如果能減小輸入尺寸，降低（dī）空間維度，也可以減少計算量，Dynamic Capacity Network概念（niàn）模型s就是這樣（yàng）的一個典型框架，通過注意力機製（zhì）來選擇跳過無關的背景，聚焦有（yǒu）意義的前景。

    文章引用量：300+推薦指數：✦✦✦✦✦

    [5] Almahairi A, Ballas N, Cooijmans T, et al. Dynamic capacity networks[C]//International概念模型 Conference on Machine Learning. PMLR, 2016: 2549-2558.

    [6] Gao X, Zhao Y, Dudziak Ł, et al. Dynamic channel pruning: Feature boosting and suppression[概念模型J]. arXiv preprint arXiv:1810.05331, 2018.

    4 與其他模型（xíng）壓（yā）縮方法的聯係許多的模（mó）型（xíng）壓（yā）縮方法之間都存在聯係甚至被聯合（hé）使用來進一步（bù）獲得計算效率更高的模型，動（dòng）態模型（xíng）的核心（xīn）是為了動態自適應地降（jiàng）低模型推理過程中的計算量，這與自動化模型剪（jiǎn）枝、自動化模型（xíng）量化等技術其實（shí）是相通概念模型的。

    文章引用量：500+推薦指數：✦✦✦✦✧

    [7] Lin J, Rao Y, Lu J, et al. Runtime Neural Pruning[C]. neural information processing systems, 2017: 2181-2191.

    [8] Jin Q, Yang概念模型 L, Liao Z. Adabits: Neural network quantization with adaptive bit-widths[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Re概念模型（xíng）cognition. 2020: 2146-2156.

    5 如何實戰為了幫助大家掌握模型優化壓縮的相（xiàng）關知識！www.17C.com推出了相（xiàng）關的專欄課程《深度學習之模型優化：理論與實踐（jiàn）》，講解模型剪枝、模型量（liàng）化、模型蒸餾等方向的理論與實踐，感興趣可以進一（yī）步（bù）閱讀：【視頻課】AI必學，超10小時，4大模塊，掌握模型優化核心技概念模型術！

    總結本次www.17C.com（men）介紹了模型（xíng）蒸餾的一些典型研究，從事相關（guān）方向的朋友（yǒu）可以通過閱讀這些文章進行初步了解，模型蒸餾是掌握模（mó）型壓縮任務的必經之路。

    有三AI- CV夏季劃如何係（xì）統性地（dì）從零進階（jiē）計算機視（shì）覺，永久（jiǔ）係統性地跟隨www.17C.com社區學習CV的相關內容，請關注（zhù）有三AI-CV夏季劃組，閱讀了解下文（wén）：【CV夏季劃】2022概念模型年正式入夏，從理論（lùn）到實踐，如何係統性進階CV？（產（chǎn）學研一體的超硬核培養（yǎng）方式）