圖片


Houdini 是一款三維計算機圖形軟件,由加拿大Side Effects Software Inc.(簡(jiǎn)稱(chēng)SESI)公司開(kāi)發(fā),SESI公司由Kim Davidson和Greg Hermanovic創(chuàng )建于1987年。Houdini是在Prisms基礎上重新開(kāi)發(fā)而來(lái),可運行于Linux, Windows, Mac OS等操作系統,是完全基于節點(diǎn)模式設計地產(chǎn)物,其結構、操作方式等和其它地三維軟件有很大地差異。Houdini 自帶的渲染器是 Mantra,基于Reyes渲染架構,因此也能夠快速地渲染運動(dòng)模糊、景深和置換效果。


| 什么是合成數據?


圖片


合成數據是通過(guò)算法人工生成的,而不是從現實(shí)世界中收集的,因此不存在版權侵權或敏感信息泄露等問(wèn)題。它可以通過(guò)模擬或隨機過(guò)程生成,用以復制真實(shí)數據的結構和變異性,涵蓋文本、數值、圖像、音頻和三維幾何等多種格式。由于其質(zhì)量和內容完全可控,合成數據非常適合用于安全且合乎倫理的人工智能模型訓練,能夠基于完全原創(chuàng )的數據集進(jìn)行開(kāi)發(fā)。合成數據還具備高度的信息披露控制能力,有助于降低隱私和法律風(fēng)險。這使其在需要嚴格數據治理的環(huán)境中尤為有價(jià)值,能夠在公共與私有領(lǐng)域之間靈活使用與共享,而不犧牲數據機密性。


圖片


在獨特光譜中生成合成數據| Jon Hanzelka和Jacob Berrier | SIGGRAPH HIVE 2023


| 使用合成數據進(jìn)行機器學(xué)習與人工智能訓練


圖片


合成數據在機器學(xué)習和人工智能中發(fā)揮著(zhù)關(guān)鍵作用,它通過(guò)人工生成的數據集,克服了真實(shí)世界數據的諸多限制。通過(guò)算法和隨機過(guò)程,合成數據能夠創(chuàng )建大規模、多樣化且平衡的數據集,從而更高效地訓練模型,尤其適用于真實(shí)數據稀缺、敏感或獲取成本高昂的場(chǎng)景。合成數據還可以精確控制數據的質(zhì)量與變異性,使開(kāi)發(fā)者能夠覆蓋稀有案例并減少偏差。更重要的是,由于合成數據不包含真實(shí)的個(gè)人信息,因此大大降低了隱私風(fēng)險,并有助于遵守數據保護法規。這使得合成數據成為構建穩健、公平、注重隱私的人工智能系統不可或缺的工具,適用于各類(lèi)應用場(chǎng)景。


圖片

合成數據將真正擴展人工智能:宣布我們在并行領(lǐng)域的A系列


| 使用 Houdini 創(chuàng )建合成數據

圖片


Houdini 擁有完全程序化、基于節點(diǎn)的工作流程,為大規模生成合成數據提供了強大且靈活的解決方案,特別適用于滿(mǎn)足機器學(xué)習和人工智能的復雜需求。通過(guò)在 Houdini 中構建智能且可定制的系統,用戶(hù)可以快速生成高度多樣化的三維環(huán)境、隨機化的物體交互以及精細的模擬效果——如煙霧、流體、人群等,并能夠精確控制參數和隨機變異。這種方法支持可擴展地生產(chǎn)大量多樣的數據集,真實(shí)地反映現實(shí)世界的復雜性和變異性,是訓練穩健 AI 模型的關(guān)鍵。


此外,Houdini 支持導出元數據和標簽,并通過(guò)腳本和主流數據格式實(shí)現無(wú)縫集成,從而提高自動(dòng)化效率,簡(jiǎn)化與現有數據處理管道的整合。無(wú)論是在計算機視覺(jué)、機器人技術(shù)還是以模擬驅動(dòng)的 AI 應用中,Houdini 都能幫助用戶(hù)根據具體的機器學(xué)習需求,量身定制高質(zhì)量的合成數據集。


其程序化特性使得用戶(hù)能夠快速迭代和自動(dòng)化生成多樣化的場(chǎng)景和環(huán)境,大大加快 AI 的開(kāi)發(fā)進(jìn)程。通過(guò)在大規模生成中精細控制數據的變異性和注釋?zhuān)琀oudini 有助于提升模型的準確性、魯棒性與泛化能力,同時(shí)減少對稀缺或敏感真實(shí)數據的依賴(lài)。


圖片

使用Houdini、OpenUSD和NVIDIA Omniverse擴展仿真工作流


|  為訓練標注合成數據


圖片


SideFX與Endava合作,為AI和ML轉換合成數據


Endava 宣布與 Houdini 3D 軟件開(kāi)發(fā)商 SideFX 建立戰略合作伙伴關(guān)系,推動(dòng)合成數據在計算機視覺(jué)領(lǐng)域人工智能和機器學(xué)習應用中的生成與部署。此次合作旨在為藝術(shù)家和開(kāi)發(fā)者提供工具,創(chuàng )建高度逼真且帶有標注的數據集,以模擬復雜的真實(shí)環(huán)境——這對自動(dòng)駕駛車(chē)輛和制造檢測等應用至關(guān)重要。


通過(guò)結合 Endava 在合成數據與機器學(xué)習方面的專(zhuān)業(yè)經(jīng)驗與 SideFX 在程序化視覺(jué)特效(VFX)領(lǐng)域的技術(shù)能力,此次合作將提供可擴展且高效的工作流程,架起視覺(jué)特效與數據科學(xué)之間的橋梁。合作的核心目標是賦能致力于開(kāi)發(fā) AI 驅動(dòng)視覺(jué)解決方案的團隊。目前,SideFX Labs 已發(fā)布一套工具,專(zhuān)門(mén)用于生成適合計算機視覺(jué)訓練場(chǎng)景的數據集變體和標注。


圖片

Houdini文件ML儀表合成數據示例



| 案例研究

特斯拉-仿真平臺加速特斯拉自動(dòng)駕駛


圖片

Applied Intuition


基于應用直覺(jué)和豐田的程序生成-為自動(dòng)駕駛汽車(chē)創(chuàng )建仿真使用 Houdini 創(chuàng )建程序化地形

圖片

Amazon Robotics


Amazon Robotics結合NVIDIA Omniverse和Adobe Substance 3D的強大功能來(lái)模擬倉庫運營(yíng)

Amazon Robotics利用 Houdini 程序化生成多樣化的三維資產(chǎn),如虛擬包裹,用于倉庫操作中的 AI 模型訓練。通過(guò)將 Houdini 的程序化依賴(lài)圖(PDG)與 Adobe Substance 3D 及 NVIDIA Omniverse 集成,他們開(kāi)發(fā)了可擴展的工作流程,生成逼真且多樣的合成數據,從而提升了機器人感知系統的效率和準確性。

自 Houdini 20.5 版本起,我們能夠在 Houdini 中創(chuàng )建類(lèi)似于 Substance 的程序化紋理。


圖片圖片

Synthesis AI


自動(dòng)化人體合成:從真實(shí)文本到數字人


Synthesis AI 利用 Houdini 將生成式人工智能與傳統程序化工作流程相結合,構建了一個(gè)靈活的基于 AWS 云的平臺,實(shí)現了無(wú)限自動(dòng)化資產(chǎn)和合成數據的生產(chǎn)。

圖片

圖片


Bifrost


Bifrost 使用 Houdini 創(chuàng )建逼真的環(huán)境和多樣化場(chǎng)景, 并在 Unreal 引擎中渲染,用于計算機視覺(jué)訓練。

圖片

障礙物變化


圖片


多種天氣條件


圖片

不同場(chǎng)景變化



| 用戶(hù)案例


使用Houdini、Python和Tensorflow進(jìn)行圖像識別和合成數據生成


基于樂(lè )高說(shuō)明書(shū),使用 Houdini 訓練機器學(xué)習模型生成樂(lè )高模型


圖片

圖片

圖片