數碼資源網

文章頻道 軟件下載 安卓下載 蘋果下載

當前位置:首頁文章中心最新資訊軟件資訊 → 強氧Renderfarm的架構和實現

強氧Renderfarm的架構和實現

時間:2005-11-28 13:07:21人氣:172作者:網友整理
瀑布圈子安卓版(豐富的營銷方案) v1.5.9 正式版
瀑布圈子安卓版(豐富的營銷方案) v1.5.9 正式版 for Android
  • 類型:安卓其他大小:21.50M語言:簡體中文 評分:3.0
  • 營銷對任何的行業來說都是非常重要的,瀑布圈子安卓版就有著豐富的營銷方案來幫助你更...
立即下載
安辰通APP安卓版(ACryptCall) v7.4.5 手機版
安辰通APP安卓版(ACryptCall) v7.4.5 手機版 for Android
  • 類型:安卓安全優化大小:36.10M語言:簡體中文 評分:3.0
  • 非常專業的一款手機加密防護係統軟件,安辰通APP安卓版推薦給大家。安辰通APP安...
立即下載
有聯app安卓版(雲服務平台) v1.0.0.0 手機版
有聯app安卓版(雲服務平台) v1.0.0.0 手機版 for Android
  • 類型:安卓日常應用大小:44M語言:簡體中文 評分:3.0
  • 中國銀聯為企業打造了一個安全高效跨企業移動協同雲服務平台,它就是有聯app安卓版...
立即下載
關於Renderfarm(渲染農場)的話題目前開始談得多起來了,也算得近兩年CG行業熱門話題之一,但遍查Renderfarm技術方麵的文章,或者太理論,對於行業應用來說缺少可操作性,或者太淺顯,在遇到實際問題的時候很難對具體問題進行分析和應對,本文將著眼解釋Renderfarm的工作原理,並且以強氧Renderfarm係統為例進行分析和闡述。

關於Renderfarm

    Renderfarm(渲染農場)其實是一種通俗的叫法,實際上我們應該叫他“分布式並行集群計算係統”,這是一種利用現成的CPU、以太網和操作係統構建的超級計算機,它使用主流的商業計算機硬件設備達到或接近超級計算機的計算能力。

    集群(cluster)指的是一組計算機通過通信協議連接在一起的計算機群,它們能夠將工作負載從一個超載的計算機遷移到集群中的其他計算機上,這一特性稱為負載均衡(load balancing),它的目標是使用主流的硬件設備組成網格計算能力,達到、甚至超過天價的超級計算機的計算性能。

    典型的超級計算機生產廠商包括IBM、SGI,以及其他一些大學、科研組織,以IBM Blue Pacific超級計算機為例,它擁有5800 個處理器來計算核反應的物理模擬過程,這樣的計算機價格對於絕大部分商業用戶是很難承受的,而且要麵臨很多的技術和維護問題,並且換代成本也很高,升級能力差。因此,發展了利用通信技術連接其他計算機,組成一個網格計算係統,可以分配負載的工作給其他計算機的CPU進行處理的解決方法來模擬超級計算機的能力。目前很多超級計算機也是通過集群技術得到的,特別是近年,名列世界Top500的超級計算機多數指集群係統,集群計算已經是比較成熟技術,但它仍在繼續發展著。


昂貴的SGI Altix超級計算機

    目前的集群技術絕大多數都具有負載平衡的特性,他們主要應用與科學計算,包括航天航空、石油、科研、網絡等行業,這種技術應用於電影電視、CG行業時,因為主要用來解決長時間的圖像渲染問題,所以被稱為“Renderfarm(渲染農場)”,最近的幾部大片的製作都依賴Renderfarm係統來進行快速渲染,比如Weta製作的《魔戒》,如果沒有Renderfarm(渲染農場)平台,而是使用高性能計算機的話,我們不知需要多少年以後才能看到這部電影,或者導演根本就不可能考慮製作這樣視覺效果的電影。

負載均衡的工作原理

    分布式並行計算分為空間上的並行和時間上的並行。空間上的並行是指用多個處理器並發的執行計算,比如Mentalray渲染器就支持單幀畫麵分割渲染,時間上的並行就是指流水線技術,比如使用強氧Renderfarm提交渲染電影序列。現在的集群計算係統的前沿科學研究主要是空間並行方麵的,時間上的流式並行計算已經得到廣泛應用。

    以電影製作為例,一段電影圖像序列需要很長時間的渲染,(通常2K分辨率所需要的渲染時間能被大家接受的大概是在每幀1小時左右),管理節點將序列圖像分割為若幹單元通過Web分配給其他節點,這個過程是動態的,集群軟件會檢查每個節點的當前負載,如果某個計算節點硬件配置比較高,很快完成了第一次分配的渲染工作,那麼管理節點繼續會將剩餘工作分割為若幹單元然後再發送給這個已完成渲染的空閑計算節點,直到渲染工作完成。目前用於CG渲染的商業RenderFarm軟件的核心功能其實就是動態分配渲染進程、網絡監控和數據管理。

    負載均衡係統使計算負載可以在計算機集群中盡可能平均分攤處理。負載一般是需要應用程序處理,這樣的係統適合於運行同一組應用程序的大量用戶,比如用於Maya渲染的工作組,每個節點都可以處理一部分工作,並且可以在集群節點之間動態分配負載,以實現平衡。
集群計算管理需要涉及網絡流量和流量管理。負載均衡應用服務要求集群軟件檢查每個節點的當前負載,並確定哪些節點可以接受新的作業,這最適合運行如數據分析等串行和批處理作業,所以很容易允許具有批渲染能力的應用軟件加載集群功能,一些集群軟件被開發出來,它們通過TCP/IP 進行流量管理,並且針對特定的應用程序的API或Script接口編寫批處理命令,如Muster,並且這些集群軟件還可以配置成關注某特定節點的硬件或操作係統功能(受應用軟件製約),這樣,群集中的節點就沒有必要是一致的,硬件和係統異構也就很容易實現。

    實現負載均衡的方式可以分為軟件負載均衡和硬件負載均衡兩種方式,由於硬件負載均衡的實現非常昂貴,很多集群係統都采用了軟件負載均衡,強氧集群係統就是使用軟件均衡。

並行計算的問題

    並行原理是將整個數據分割成N個模塊分配給N個CPU計算,在每一個CPU中啟動計算進程,由主進程調度各CPU的計算。

    並行集群計算有一個效率發揮的問題,理論上CPU數量和渲染時間與實際會有差異,而且不同係統的實際時間也不盡相同。

    理論上說CPU數量越大,渲染時間越短,它們成反比關係。例如,一個任務由N顆CPU來完成,假設1顆CPU(N = 1)完成此任務所需要的時間T為1, 則n顆CPU的效率是1顆CPU效率的N倍,也即

    然而事實上,動畫渲染花費的時間和CPU的數量並非成線性反比。

    當計算節點到某個數量級別的時候,簡單地增加CPU數量或者計算節點根本無法有效地提高渲染的效率,這時的計算方式為:

    CPU個數達到一定數量後係統效率不但不增加,還有可能減少。造成這種問題的瓶頸主要在於通信(不止網絡通信,還包括PC內部CPU、內存和硬盤之間的通信)和軟件的算法,係統中使用多少個節點計算機(基於CPU的數量)也是需要考慮的問題。

    這就需要一個擁有優秀算法的集群渲染管理軟件進行調度並發揮每個CPU的效能並且使用性能優異的硬件配置。

強氧Renderfarm特性

    強氧Renderfarm是基於軟件和硬件應用的完美結合,采用基於微軟Windows的Render farm,最新的網絡管理方式,是用於管理複雜的和跨平台的高級3D和2D網絡渲染解決方案,在渲染效率、穩定性、靈活性方麵具有強有力的優勢!

    強氧Renderfarm獨特的“蜂群”構架消除了對集中“管理器“的需求――就像程序一樣。

1)基於1U平台解決方案

    在標準的42U機軌上輕鬆部署160顆處理器運算節點,提供業內獨一無二的高性能--它帶有眾多創新性的選項:多核處理器、NVIDIA Quadro FX 圖形處理和高性能千兆以太網。

2)強勁的處理器支持

    支持最新的雙核心處理器,在1U平台上集成四顆物理核心處理器,提供超過普通雙處理器平台雙倍的運算效率!

3)64位係統構架

    采用64位係統架構,良好兼容32位運算,平滑過渡到64位係統!

4)友善的用戶界麵

    針對廣大用戶的反饋,強氧Renderfarm對自身做出了相應的改進:沒有了緩慢的頁麵、晦澀難懂的術語和運行怪異的多平台用戶界麵窗口部件,取而代之的是一個單一完整的Monitor用戶界麵。

5)對當前各種渲染包的完美支持

    除了能夠支持所有標準命令行渲染工具,強氧Renderfarm帶有針對Maya,3ds max,Digital Fusion, Lightwave, Softimage XSI 和AfterEffects等軟件的自定義編寫窗口,通過專門的應用軟件腳本或者插件,以實現高效率及可配置性。廣泛的應用程序支持包括:

3dsmax
After Effects
Combustion
Digital Fusion
Gelato
Lightwave
Maya
Shake
Softimage XSI

基於RIB渲染引擎3Delight、AIR、BMRT、Entropy、PRMan、Pixie、RenderDotC
腳本和C++SDK插件
支持渲染引擎的腳本,SDK提供強大靈活的特性。
整合RPManager

6)多個工作時間表選項

    數字顯示的工作優先級、機器資源、指定的並發事件限製群以及特定工作黑名單使您既可以處理有限證件插件和渲染包,也能夠準確地在多部門間控製渲染資源的分配。

7)管理和審查

    管理特性可選擇密碼保護。任何對工作、任務及從屬項目更改都可被記錄並跟蹤。

    整合的遠程管理功能,如:設備統計報告(CPU、磁盤空間、存儲器、操作係統及修補包)、遠程啟動/停止/重啟從屬程序和設備、在遠程設備上執行任意命令行。

    遠程錯誤報告直接向Frantic Films Software報告渲染錯誤和一般應用程序錯誤可以縮短停工期並加快問題的解決。

9)良好的係統兼容性

    強氧Renderfarm可以良好的運行於Microsoft Windows 2000,Microsoft Windows Server 2000和Microsoft Windows XP和運行在Microsoft .NET 1.1平台的頂層,他通過向一個Windows共享的文件夾讀寫文件實現網絡渲染,沒有必要在貯藏庫主機上安裝客戶端軟件。

    對少於11台機器的Render farm,任意Windows 2000 或 Windows Xp機器都能作為貯藏庫主機使用,而對多於11台機器的較大Render farm,推薦下麵任意一種配置:

Microsoft Windows 2000 Server,
Microsoft Windows 2000 Advanced Server,
Microsoft Windows 2003 Server
如果沒有從微軟另購買用戶訪問證件,標準配置的Microsoft Windows 2000 和Windows XP不允許多於10個接入連接。

[page]

強氧集群係統的構成

強氧RenderFarm集群係統按照功能來進行分類,可以分為以下4類:
1.計算節點;
2.以太網交換機或者Myrinet交換機;
3.服務器端;
4.存儲節點。

1)管理節點

    管理節點主要承擔兩種任務,為計算節點提供基本的網絡服務,以及調度計算節點上的工作,通常集群的工作調度程序應該運行在這個節點上。在強氧Renderfarm集群係統中,允許服務器端以及所有的計算節點都可以作為管理節點管理渲染進程,當然也可以在服務器端限製用戶的權限。

2)計算節點

    計算節點是整個集群係統的計算核心,它的功能就是執行計算。這需要根據你的需要和預算來決定采用什麼樣的配置,對於集群係統來說,雙CPU工作站作為渲染節點具有廣泛的用戶群,以及更高的性價比。我們參考強氧RA1000做為渲染集群計算節點的硬件配置:

型號

強氧O2 RenderNodes RA1000

簡介與特性

O2 RenderNodes RA1000采用AMD高新技術,支持雙路雙核心AMD Opteron處理器,渲染性能優異,AMD 8131+8111芯片組組合,最新的PCI-X技術,以及其它的可擴展性、可管理性和可靠性,具有解決實時大量運算和高負載題所需的功能和性能。支持64位操作係統,兼容現在的32位係統,為以後平滑的升級到64位操作係統打下基礎。

標準配置:

CPU

雙顆AMD Opteron 248

內存

1GB DDR400 ECC.REG. SDRAM ( 2-512MB DIMMS)

硬盤驅動器

80GB SCSI

光盤驅動器

24X 機架式超薄光驅

圖形控製器

集成ATI RAGE XL視頻控製器(8MB顯存)

網絡控製器

集成2個Broadcom網絡連接,10/100/1000 Mb/s局域網數據傳輸率

可擴展插槽

2個PCI-X (64位/100-MHz)插槽 3.3V電壓

外形

機架外形(1U, 1.75英寸/4.45厘米)

I/O接口

1 x 串行接口(1個背麵),4 x USB (2個背麵,2個正麵),USB鍵盤鼠標接口

工業認證

FCC Class B ,CE ,UL/CUL,TUL

電源

411W 電源

操作係統

Microsoft Windows 2003 Server
Microsoft Windows 2000 Server/Advanced Server
Microsoft Windows NT Server
Linux

可選件

監控軟件

提供強大的硬件監控功能,其中包括係統和CPU的實時溫度,風扇的實時轉速,係統的工作電壓,以及機箱入侵檢測。

    點評:該係統選用全新的 AMD Opteron 處理器所體現出來的超強性能 , 令全球矚目。包括以夢工廠、工業光魔、先濤數碼為代表的一批頂尖後製公司都已經將其定義為 X86 工作站以及 Renderfarm 的標準應用平台,並成功的應用於《星站前轉 3 》、《蜘蛛俠》、《馬達加斯加》等視效大片。

3)存儲節點

    如果集群係統的應用運行需要大量的數據存儲,比如HD素材,就需要一個存儲節點。顧名思義,存儲節點就是集群係統的數據存儲器和數據服務器。

4)交換機

    集群計算的進程遷移需要高速硬件連接設備,進行計算機之間的數據傳輸,可選的設備包括千兆網卡、交換機或者光纖卡以及相應的光纖交換機。對於中小型的集群係統來說,千兆的傳輸速率完全能夠滿足了。下表是網絡連接技術比較:

互連

千兆以太網

光纖

MPI延遲

60us

8us

點對點帶寬

70-80MB/s

250MB/s

連接方式

主板集成

64bit/66MHz

Renderfarm工作流程

    在強氧Renderfarm裏,所有提交的工作被記錄在一個Repository 文件夾中,其他計算節點和工作站都可以通過監視程序看到渲染進程,這些正在渲染和等待渲染的工作,在Renderfarm管理程序中叫Queued(渲染隊列)。

    計算節點在沒有渲染的時候,會自動檢測Repository 文件夾,如果找到新的渲染工作,會將這個Queued(隊列)自動Active(激活),然後開始渲染。
用戶可以在渲染的時候通過RenderFarm Monitor 對渲染進程進行管理,比如停止一個渲染工作,以及激活工作繼續渲染等等。

    渲染完成以後,有時渲染得到的結果並不滿意,可以Requeue Task(重排任務),讓完成的工作重新渲染。

    渲染任務最終完成以後,隊列就可以Archive(存檔),存檔的工作將不能被修改,以便檢索和提交報告。

    強氧Renderfarm的工作流程非常簡單,任務的提交和管理也非常方便,特別是為應用軟件提供的插件和腳本,用戶直接可在Maya、3ds max等應用軟件內部提交渲染任務,避免由於一些複雜設置導致的問題,結合高效的計算能力和豐富的行業應用經驗,強氧Renderfarm在三維動畫和影視特效製作行業具有很高的可用性,是管理複雜三維和二維網絡渲染的優秀解決方案之一。

[page]

強氧Renderfarm促銷方案

    強氧公司針對目前國內市場的實際情況推出了一係列的針對不同製作規模的Renderfarm集群整體解決方案。以滿足不同檔次製作團隊的後台渲染工作的要求,在最大程度上體現穩定、高性能、可持續升級性、高興價比,
強氧Renderfarm 整體方案促銷1:

5節點小型強氧RenderFarm係統

型號

數量

強氧RenderNodes RA1000(促銷標準配置)

5

強氧RenderServer管理中心
(640G存儲容量,帶數據安全保護,支持熱插拔)2462G160G*4

1

8口切換器(USB

1

8口千兆網絡交換機

1

15寸LCD中控台(1U)

1

機櫃  42U

1

安裝、調試、3天培訓費

總價:145000

強氧Renderfarm 整體方案促銷2:

10節點小型強氧RenderFarm係統

型號

數量

強氧RenderNodes RA1000(促銷標準配置)

10

強氧RenderServer 管理中心
(12 T存儲容量,帶數據安全保護,支持熱插拔)160G*8

1

8口切換器*2

1

16口千兆網絡交換機

1

15寸LCD中控台

1

機櫃  42U

1

安裝、調試、3天培訓費

總價:250000

    上述方案,適合中、小型三維動畫和特效合成的渲染工作,對於繁重的欄目包裝、電視劇特效製作公司,該方案能夠大大提高工作效率,而不需要等待漫長的渲染時間。

強氧Renderfarm 整體方案促銷3:

20節點小型強氧RenderFarm係統

型號

數量

強氧RenderNodes RA1000(促銷標準配置)

20

強氧RenderServer 管理中心
(2T存儲容量,帶數據安全保護,支持熱插拔)250G*8

1

8口切換器*3

1

24口千兆網絡交換機

1

15寸LCD中控台

1

機櫃  42U

1

安裝、調試、3天培訓費

總價:450000

    該方案配置20台RA1000渲染節點促銷配置+32口千M交換機+4T存儲服務器,由於強氧配置的高性能計算節點,基本能夠滿足大多數中型製作公司的三維動畫、特效合成工作。

強氧Renderfarm 整體方案促銷4:

50節點小型強氧RenderFarm係統

型號

數量

強氧RenderNodes RA1000(促銷標準配置)

50

強氧RenderServer
(4T存儲容量,帶數據安全保護,支持熱插拔)500G*8

1

8口切換器堆疊

1

千兆網絡交換機堆疊24*2+16口*1(套)

1

15寸LCD中控台

1

機櫃  42U

2

安裝、調試、3天培訓費

1

總價:1020000

    該方案配置50台RA1000渲染節點,能夠滿足專門的三維動畫電影和三維動畫電視劇製作機構的龐大的渲染任務。對於Renderfarm技術服務公司,同樣也是性價比很高的方案,高性能AMD平台的配置,能夠以最快的速度完成複雜的渲染工作,縮短回收成本的周期。

    注:上述係統價格當中均不包含任何操作係統以及應用、管理軟件的費用。如有需要,請至電強氧公司谘詢。全國免費客服電話:800-810-0119或010-51661116(中繼線)

感謝速聯科技、八度網絡、九九數據、億恩科技、群英網絡讚助部分帶寬!

關於本站 | 聯係方式 | 版權聲明 | 下載幫助(?) | 網站地圖

Copyright 2002-2020 95262.com 【數碼資源網】 版權所有 粵ICP備2020128507號-1

本站所有軟件來自互聯網,版權歸原著所有。如有侵權,敬請來信告知 ,我們將及時撤銷。