國產視覺處理器企業獲得2億融資，這一應用技術或很快取得進展

日前肇觀電子完成2億人民幣D輪融資，由華山資本領投，本輪融資資金將用于肇觀電子下一代芯片和模組的研發和迭代。

肇觀電子于2016年在上海成立，聚焦計算機視覺和AI端側芯片及模組研發，服務工業、機器人、汽車、消費、安防等場景，致力于賦予所有的智能設備視覺能力，是硬氪長期關注的公司。此前，肇觀電子曾先后完成多輪融資，去年6月獲數億元C輪融資。

隨著智能設備的普及和發展，其中視覺能力的重要性也愈發凸顯，直觀體現在攝像頭數量越來越多，分辨率也越來越大，數據信息量也隨之爆增，進而拍攝的照片和視頻背后所需要的處理算法的復雜度也在不斷的上升。“這幾個因素使得智能設備理解一張圖片或者一段視頻，背后所需要的算力需求呈現指級數增長。”肇觀電子CEO馮歆鵬告訴硬氪。

但傳統的CPU、GPU芯片面對海量信息無法滿足處理需求，為此，肇觀電子研發的VPU 芯片，又稱視覺處理器，區別于傳統芯片，專門解決像素爆炸的痛點。


解決傳統相機光線干擾問題

面向車載領域布局

這一芯片一方面可以解決強光、弱光和逆光等各種特殊光照條件下的成像問題，同時其中3D計算引擎的設計使得設備擁有3D感知能力，直接通過采集的數據就能計算出遠處空間的 3D 的深度圖，并反過來推算出自身在空間環境中的位置，和其他物體進行互動。此外，SLAM （實時定位和構圖技術）加速，實現三維重建，使得設備能夠識別三維空間中不一樣的物體。

在成像、3D、AI、SLAM能力的基礎上，肇觀電子采用SoC單芯片方案，高度集成上述多種能力，單顆芯片具備性能高、功耗低、成本低、系統復雜度低的特點。

面向機器人行業，肇觀基于自研的芯片的3D智能深度相機的產品形態交付給客戶，同時也支持定制，幫助機器人擁有環境感知和理解能力，產品已導入機器人行業頭部供應商體系，其中費曼系列全年出貨預計超10萬套。

費曼相機支持在零下40度到70度這一溫度范圍內的高低溫環境中使用，對溫度的適應范圍較廣，相機內部就能進行AI算法處理，無需再利用工控機輸出信號部署算法，大大減輕系統復雜度，可靠性方面已做到10萬小時不間斷連接。

面向車載領域，肇觀主要給車上的CMS（電子后視鏡）提供芯片，采用其芯片方案的新一代智能外耳鏡可以做到1秒內冷機快速啟動出圖，并且從光子打到攝像頭的CMOS上到光子傳輸給顯示屏上面的延時可低至40毫秒以內，為業界最短之一。目前肇觀的全國產車規級SoC已進入二十余家Tier1供應鏈，還在部分車廠的ADAS（高級輔助駕駛）方案上有應用。

視覺芯片未來發展方向：感存算一體化

目前有兩種主要的智能視覺芯片架構。

（1）架構一：傳感單元內部計算。這種架構的光電探測器被置于模擬存儲器和計算單元中，以組成處理元件（PE），然后利用PE電路來實現原位傳感功能，并處理傳感器獲得的模擬信號。然而，模擬存儲器和計算單元占用了較大的面積，使得PE電路比傳統傳感單元大得多，這導致像素填充因子較低，并限制了成像分辨率。

（2）架構二：傳感單元附近計算。由于較低的填充因子，視覺芯片難以采用原位傳感和計算相結合的架構。相反，將像素陣列和處理電路物理分離，但仍然保持片上并行連接，這使得二者可以根據系統要求進行獨立設計和優化。這種架構具有廣域圖像處理、高分辨率和大規模并行處理的優勢，并且可以在數字處理電路中結合現有的AI算法（包括人工神經網絡等）。

目前，視覺芯片的神經元規模只有102~103個，遠少于視網膜和皮層（1010個），因此，感存算一體化智能視覺芯片需要更大規模的集成。其中一種方法是通過片上光學卷積神經網絡（CNN）和光學脈沖神經網絡（SNN）實現大規模高并行運算，以顯著提高計算效率。另一種方法是采用三維（3D）集成技術，使用硅通孔（TSV）垂直集成空間中的功能層（傳感器、存儲器、計算、通信等）。在2017年，索尼提出了一種3D集成視覺芯片，像素分辨率為1296×976，處理速度達到1000 fps。部分研究人員認為，3D集成芯片已經成為一種必然趨勢，但在架構設計和引線互連等方面仍然需要更深入的研究。研究證明，雖然短互連可以降低功耗和延遲，但由于層間距離較短可能會導致散熱難題。因此，解決3D集成的可靠性問題和提高性能至關重要。

近些年來，在AI發展需求的驅動下，涉及新型材料和先進器件的技術不斷涌現，也為感存算一體化智能成像系統提供了新方案。

（1）具有探測和記憶功能的材料（DAM）。光電突觸器件被視為構建感存算一體化智能成像系統的一種方式，并有望促進視網膜仿生技術的發展。研究發現，一些金屬氧化物（氧化物半導體、二元氧化物等）、氧化物異質結和二維（2D）材料在實現光電突觸器件方面有巨大的潛力。光電突觸具有臨時記憶能力和突觸可塑性，如短時程可塑性（STP）和長時程可塑性（LTP），可以通過光信號進行調制以完成實時圖像處理。這類器件有許多優點，它提供了一種非接觸式的寫入方法（光寫入），權重寫入過程具有高速并行的特點。然而，這類器件仍然面臨一些挑戰，包括脈沖寫入下電導非線性變化和由于較大的照明強度而導致的高能耗。在寫入過程中，光刺激用于實現增強突觸活性，而電刺激用于抑制突觸活性。具體來說，器件的電導在光脈沖作用下逐漸增加，而在負電脈沖作用下則逐漸減小，這類似于生物突觸中的增強和抑制，器件的電導變化對應突觸的活性變化。此外，研究指出負光響應或者光刺激用于抑制突觸活性可以實現全光調制的復雜神經功能。目前大多數研究側重于在器件中模擬突觸行為[如興奮性突觸后電流（EPSC）、成對脈沖易化（PPF）、STP、LTP等]，因為模仿人眼視網膜神經元仍然是一大挑戰。為了模仿視網膜，光電突觸器件的大規模集成有待進一步研究。在DAM材料中，基于二元氧化物（如ZnO、HfO2、AlOx等）的器件具有結構簡單和CMOS兼容性的優點，這是大規模集成的關鍵因素。相反，與集成電路（IC）基礎結構不兼容的材料可以通過采用異質集成、異質外延、鍵合和三維異質集成等技術來實現。

（2）結合傳感器與存儲器的器件結構。近些年來，隨著半導體器件的發展，部分研究提出采用先進器件代替PE電路，如新型存儲器件[如阻變存儲器（RRAM）和其他憶阻器等。例如，兩類器件通過串聯的方式來實現固有特性的結合，使傳感器陣列具有可編程性，并且將光學圖像轉變為易于識別的信息。這種結構將單個像素的占地面積顯著降低到4F2的理論極限（F是工藝的特征尺寸），可以實現高填充因子的集成方式。然而，與CCD不同的是，該陣列不顯示破壞性讀出，也不顯示任何積分行為。在該陣列中，乘加運算（MAC）可以通過模擬域中的基爾霍夫定律直接實現。然而，大規模集成引起的串擾是一個亟待解決的問題。有研究報道了一種由單光子雪崩二極管（SPAD）和憶阻器組成的系統，用于處理脈沖事件形式的信息，從而完成實時成像識別。

隨著新型材料與器件的發展，感存算一體化智能成像系統也同樣需要新的架構和算法來適配其應用。例如，深度學習算法（如DNN、CNN、SNN等）是目前較為成熟的圖像處理技術，而如何將其應用于感存算一體化智能成像系統是一個亟待解決的難題。SNN通過對時間并行編碼的神經信號進行編碼和處理，為提高計算效率提供了一種很有前景的解決方案。


腦機應用風口：讓“失明”人員重見光明

最近，科技大佬馬斯克宣布，他的公司Neuralink正在研發一種叫“視覺芯片”的植入設備，這對于失明的朋友來說無疑是一個巨大的福音。這種芯片能夠植入視覺皮層，直接解碼我們的視覺信息，讓失明者重拾視覺能力。

但是這項技術也面臨著巨大的科學難題，我們距離真正實現還任重道遠，需要視覺神經科學和植入技術雙管齊下，才能突破各種技術瓶頸。讓我們拭目以待，相信科技終將戰勝疾病，帶來光明。

要實現視覺芯片，我們需要從視覺機制和植入技術兩個方面進行突破。

首先是視覺機制。

光線進入眼睛后，必須轉換為腦中的神經信號，經過復雜的信息處理才形成我們的視覺圖像。馬斯克必須破解大腦對視覺信息的編碼機制，才能通過有限的電極植入，取得充分的視覺反饋。這需要整合神經科學多學科知識，對視網膜和視覺皮層有深入理解。

其次是植入技術。視覺芯片需要實現與特定腦神經元的無損耦合，獲取視覺神經沖動。

這需要電極植入技術和材料的革新，以及精準的定位與手術操作。否則可能造成大腦功能損傷。

要實現從電子信號到視覺圖像的轉換，還需要巨大的算法能力和測試優化。這條路遙遙無期，但馬斯克的宣言加速了這個魔幻領域的發展。也許在不遠的將來，視覺芯片真的可以讓失明者重見光明。

盡管從理論到實踐任重道遠，但相關核心技術的進展還是讓我們看到了光明的曙光。在視覺神經科學領域，通過對視覺皮層研究，科學家們已經初步證實了植入電極可以引起腦內視覺感受。這為視覺芯片奠定了基礎。腦機接口技術也取得重大進展，實現了受試者通過思維控制外部設備。

材料科學也創造了更加生物相容的植入電極，并實現了對機體內植入設備的無線供能。這為長期植入和應用保駕護航。手術機器人的應用也將大大減少手術風險。在算法方面，通過深度學習等AI技術，轉化編碼也成為可能。

當所有技術融會貫通，視覺芯片終將成為現實。我們要對科技報以濃厚的興趣與信心，并為病人提供更多關愛與支持。