由地震、滑坡、塌方等掩埋事故造成的視覺感知障礙對(duì)受困人員的搜索和定位造成阻礙。除了事故現(xiàn)場(chǎng)的不利因素，需要解決的難點(diǎn)還有很多。

常用的搜救方式包括人工搜索、動(dòng)物搜索和儀器搜索，常用的儀器有可視生命探測(cè)儀、紅外生命探測(cè)儀、聲波振動(dòng)探測(cè)儀、雷達(dá)生命探測(cè)儀等。但這三種搜救方式還存在一些缺陷，在極端環(huán)境中可能無法查看內(nèi)部被困人員，使搜救難上加難。

為了確保最佳救援時(shí)機(jī)、提升搜救和生還率，陶虎團(tuán)隊(duì)依托國家科技創(chuàng)新2030“新一代人工智能”重大項(xiàng)目，對(duì)受困人員的識(shí)別與救援需求開展研究。

星鼻鼴鼠長期生活在地下，其視覺和聽覺逐漸退化，并進(jìn)化出圍繞在鼻孔四周的星狀觸手，巧妙地把觸覺跟嗅覺集中在一起，幫助其捕獵或判斷危險(xiǎn)。該團(tuán)隊(duì)受“觸嗅融合”感知啟發(fā)，將MEMS嗅覺、觸覺柔性傳感器陣列與多模態(tài)機(jī)器學(xué)習(xí)算法融合，構(gòu)建了觸嗅一體智能機(jī)械手。

硅基MEMS氣體傳感器靈敏度超越人類1個(gè)數(shù)量級(jí)，壓力傳感器探測(cè)限也超越人類1個(gè)數(shù)量級(jí)。這兩種優(yōu)異性能使得機(jī)械手手指觸摸物體后可準(zhǔn)確獲取其局部微形貌、材質(zhì)硬度和整體輪廓等關(guān)鍵特征，掌心可同步嗅出物體“指紋”氣味。經(jīng)過仿生觸嗅聯(lián)覺 (BOT) 機(jī)器學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)實(shí)時(shí)處理，最終完成識(shí)別人體、確認(rèn)部位、判斷掩埋狀態(tài)、移開障礙物、閉環(huán)救援。

研究人員通過到一線消防救援單位實(shí)地調(diào)研，真實(shí)還原構(gòu)建人體被瓦礫石堆覆蓋的掩埋場(chǎng)景，在此環(huán)境下對(duì)包括人體在內(nèi)的11種典型物體進(jìn)行識(shí)別，觸嗅聯(lián)覺識(shí)別準(zhǔn)確率達(dá)96.9%，較單一感覺提升了15%。

此外，面對(duì)在實(shí)際救援中常見的存在干擾氣體或器件部分損壞等情況，通過多模態(tài)感知的互補(bǔ)和神經(jīng)網(wǎng)絡(luò)的快速調(diào)節(jié)，該系統(tǒng)仍保持超過80%的良好準(zhǔn)確率。