S3D & WibbleWobble

Dành cho game thủ tò mò
Mô tả ở cấp độ phổ thông về công nghệ, cách nó được xây dựng và hoạt động. Nếu bạn không quan tâm, không cần phải đọc - đó là tài liệu khô khan.

Cách game tạo ra 3D
Cách thông thường để tạo ra hình ảnh 3D trong game là kết xuất cảnh hai lần - riêng cho mắt trái và mắt phải, dịch chuyển ảo camera so với tâm của cảnh. Điều này tốn nhiều tài nguyên và yêu cầu hỗ trợ tích hợp từ engine game. Không phải game nào cũng có thể làm được điều này. WibbleWobble cung cấp hai con đường khác nhau, và sự khác biệt giữa chúng là cơ bản - nó quyết định cả chất lượng hình ảnh và tập hợp các hiện vật hình ảnh.

Con đường một: ReShade Client - tổng hợp stereo từ một khung hình phẳng
Game kết xuất một khung hình thông thường duy nhất. Hiệu ứng SuperDepth3D ReShade lấy khung hình đó cùng với bộ đệm độ sâu của cảnh và tái tạo một góc nhìn thứ hai từ nó bằng cách dịch chuyển pixel theo độ sâu. Engine game không biết gì về stereo. Điều này rẻ về mặt hiệu suất và hoạt động với hầu hết mọi game DX11/DX12. Sự đánh đổi là các hiện vật vốn có của phương pháp này. Chúng được mô tả bên dưới, trong các phần "Nhược điểm".

Con đường hai: OpenVR Client - kết xuất 3D thực sự
WibbleWobble tự đăng ký trong SteamVR như một tai nghe VR ảo. Một game hỗ trợ VR, hoặc có bản mod VR, kết xuất cảnh hai lần từ hai camera cách nhau bằng khoảng cách đồng tử, chính xác như một tai nghe thực. IPD, độ phân giải mỗi mắt và tiêu cự được đặt trong VR Config. Ở đây WibbleWobble không tổng hợp gì cả: nó lấy cặp stereo có sẵn và xuất ra màn hình theo trình tự khung hình, đồng bộ hóa kính màn trập. Điều này tốn nhiều hiệu suất hơn, nhưng hình học 3D hoàn toàn chính xác. Không có lỗ hổng dọc theo đường viền, không có hiệu ứng "bìa cứng"; mỗi mắt nhận được phản xạ và điểm sáng riêng của nó. Về bản chất, đây là một cách để chơi game VR trên màn hình thông thường với kính 3D nhưng không cần tai nghe.

Tái chiếu - cơ chế mở rộng trường nhìn
Tái chiếu hoạt động ở cả hai chế độ, bao gồm cả một mắt. Một shader hiệu suất cao lấy khung hình game và ánh xạ nó lên hình học của không gian làm việc của bạn: lên một màn hình, hoặc bốn màn hình, hoặc một màn hình cong. Thông qua theo dõi đầu (OpenTrack), hình ảnh dịch chuyển theo đầu của bạn, và các màn hình bắt đầu hoạt động như một cửa sổ vào thế giới ảo - hiệu ứng "bể cá VR". Mục đích của tái chiếu là để có được tỷ lệ thế giới chính xác và trường nhìn (FOV) chính xác cho việc sử dụng nhiều màn hình. Tái chiếu có thể được tắt hoàn toàn (Client Config -> Reprojection: Disabled) và bạn chỉ có thể sử dụng đầu ra stereo, BFI và bộ upscaler - kịch bản thông thường cho một màn hình duy nhất.
* Phải nói rằng tác giả của dự án đã quá lạc quan về ý tưởng "mở rộng thế giới" trên nhiều bảng điều khiển. Ngay cả các card đồ họa mạnh mẽ cũng không có đủ hiệu suất cho việc này. Bạn sẽ may mắn nếu tốc độ đủ cho một màn hình 4K duy nhất. Nó sẽ không hoạt động với nhiều màn hình...

FOV (Trường nhìn): góc nhìn. Nó xác định khu vực nào của thế giới mà camera ảo chụp được trong khung hình. Nó được đo bằng độ, riêng cho chiều dọc và chiều ngang. Một FOV nhỏ (40-50°) trông giống như ống kính tele: một khu vực hẹp với các vật thể lớn. Một FOV lớn (100-120°) là góc rộng, giống như camera hành động. Bạn nhìn thấy nhiều ở hai bên, nhưng các cạnh bị kéo căng và các vật thể xuất hiện xa hơn và nhỏ hơn. Đây là một tham số chính trong WibbleWobble. Chương trình phải biết góc mà game đã vẽ khung hình để chiếu nó một cách chính xác lên màn hình vật lý của bạn. Đó là lý do tại sao Game Config có hai trường, FOV Vertical và FOV Horizontal, với một yêu cầu: giá trị phải khớp với giá trị được đặt trong chính game. Thay đổi một giá trị và giá trị kia sẽ được tính toán lại tự động để phù hợp với tỷ lệ khung hình của cửa sổ.

Nếu FOV:
quá lớn thế giới trông giống như đồ chơi và tỷ lệ của các vật thể bị biến dạng
quá thấp thế giới có vẻ khổng lồ và mọi thứ đều sừng sững trước mặt bạn
trong 3D, độ sâu bị phá vỡ cùng với tỷ lệ và mỏi mắt xảy ra

Theo dõi đầu như một "cửa sổ vào thế giới"
Sử dụng phương pháp OpenTrack, trình xử lý ứng dụng theo dõi vị trí của đầu và dịch chuyển phép chiếu để màn hình kết xuất một cửa sổ ảo vào cảnh 3D. Điều này tạo ra hiệu ứng thị sai. Khi bạn di chuyển đầu, hình ảnh dịch chuyển nhẹ, như thể bạn thực sự đang nhìn qua một cửa sổ.

Đầu ra stereo theo trình tự khung hình
Ứng dụng nhận các khung hình từ game ở tốc độ thay đổi khi chúng sẵn sàng, "bất kể chúng đến như thế nào." Sau đó, client điều chỉnh tốc độ khung hình để phát lại ở 60 Hz. Nguồn của cặp stereo có thể là SuperDepth3D, một bản mod VR hoặc nội dung 3D có sẵn. WibbleWobble chấp nhận nó ở định dạng side-by-side hoặc checkerboard (Client Config -> Source Format) và giải mã nó trong FrameBufferDecode. Trình kết xuất sau đó chuyển đổi nó thành luồng 120 Hz theo trình tự khung hình trong khi đồng bộ hóa kính màn trập. Các bộ phát sau được hỗ trợ: NVIDIA 3D Vision, Open3DOLED, máy chiếu DLP, 3D Ready và bộ phát hồng ngoại Arduino/VESA tự chế.

Chống nhòe chuyển động và nhiễu xuyên âm
Nhòe chuyển động là độ mờ do màn hình tạo ra. Các bảng LCD và OLED hiện đại giữ một pixel sáng trong suốt thời gian của khung hình - chế độ sample-and-hold. Trong khi pixel vẫn sáng và cố định ở một vị trí, mắt theo bản năng tiếp tục theo dõi vật thể đang di chuyển. Kết quả là, hình ảnh bị "vệt" trên chính võng mạc, mặc dù mỗi khung hình riêng lẻ trên màn hình hoàn toàn sắc nét. Pixel càng sáng lâu, vệt càng mạnh. Khiếm khuyết này che giấu các chi tiết nhỏ và làm giảm thêm chất lượng hình ảnh ở chế độ 3D.

Để giảm thời gian sáng của pixel, WibbleWobble cung cấp hai công cụ:
Chèn khung hình đen - chèn một khung hình đen giữa các khung hình hữu ích (tham số Black Frame Insertion Interval trong Client Config).
Trình mô phỏng tia CRT của Blur Busters - một shader bắt chước quét của chùm tia điện tử CRT: nó làm tối hình ảnh theo từng dòng thay vì toàn bộ khung hình. Nó cho kết quả tốt hơn nhưng đòi hỏi màn hình: cần gamma 2.2 hoặc 2.4, ABL/APL bị tắt và OLED ở chế độ SDR. Trên các bảng FALD và MiniLED, nó hoạt động kém vì quán tính của đèn nền.

Hai chế độ này không được bật cùng lúc. Khi sử dụng CRT Sim, tham số Black Frame Insertion Interval trong Client Config phải bằng không. Cần nhấn mạnh riêng rằng game có thể chạy ở tốc độ thấp hơn tốc độ màn hình xuất ra khung hình, và chương trình sẽ điền vào các khung hình còn thiếu cho đến tốc độ của màn hình. Nhưng đây không phải là việc tạo ra các hình ảnh trung gian mới - đó là sự lặp lại các khung hình có sẵn. Nói cách khác, không có sự mượt mà nào mà phương pháp lấy mẫu lại cung cấp.

Nhiễu xuyên âm là hiệu ứng trong đó hình ảnh dành cho một mắt một phần đến được mắt kia. Kết quả là, người xem nhìn thấy các đường viền kép hoặc "bóng ma" bán trong suốt bên cạnh các vật thể. Điều này làm giảm chất lượng của hình ảnh 3D và giảm cảm giác về chiều sâu. Để chống lại điều này, hỗ trợ cho Chèn khung hình đen và trình mô phỏng tia CRT của Blur Busters được tích hợp sẵn. Để triệt tiêu nhiễu xuyên âm toàn diện, một chế độ thông minh được sử dụng: hình ảnh game được vẽ ở 60 Hz, kính nhận đồng bộ ở 120 Hz và đầu ra màn hình chạy ở 240 Hz với sự lặp lại khung hình.

Đối với tất cả các ưu điểm của nó, phương pháp này có những hạn chế cần được nêu riêng. Chúng không bắt nguồn từ bất kỳ sự không hoàn hảo nào của chương trình mà từ nguyên tắc hoạt động đã chọn. Góc nhìn stereo thứ hai không được kết xuất từ mô hình cảnh mà được tái tạo từ một khung hình đã hoàn thành và bản đồ độ sâu. Nếu không có dữ liệu về những gì ẩn sau các vật thể ở tiền cảnh trong khung hình nguồn, thì không có nơi nào để khôi phục nó.

Lỗ hổng ở các cạnh vật thể - disocclusion
Đây là khiếm khuyết chính của phương pháp. Khi chương trình dịch chuyển góc nhìn cho mắt thứ hai hoặc cho một cái quay đầu, một phần của nền mà bị che khuất bởi cạnh của vật thể ở tiền cảnh trong khung hình nguồn sẽ trở nên hiển thị. Nhưng không ai kết xuất những pixel đó - chúng thực sự không tồn tại. Chương trình không có gì để lấp đầy khoảng trống, vì vậy nó hoặc kéo căng các pixel cạnh, tạo ra một quầng mờ "cao su" dọc theo các đường viền, hoặc thay thế một mảng "có vẻ hợp lý" nhưng thường không chính xác. Sự dịch chuyển góc nhìn càng mạnh, các dải quầng càng rộng. Đây không phải là lỗi triển khai mà là hạn chế của chính phương pháp: bạn không thể trích xuất từ một hình ảnh duy nhất những gì ẩn sau các vật thể và không nhìn thấy trong đó.

Chuyển động đầu khuếch đại các biến dạng
Trong stereo thông thường, khoảng cách giữa các góc nhìn nhỏ và không đổi - bằng khoảng cách giữa các đồng tử. Nhưng với "cửa sổ vào thế giới," đầu di chuyển hàng chục centimet theo các hướng khác nhau, do đó sự dịch chuyển góc nhìn tương đối lớn hơn nhiều lần so với tự nhiên, và các lỗ hổng và vệt mờ trở nên lớn hơn. Nó hoạt động như thế này: ngồi yên và hầu như không có hiện vật, nhưng hiệu ứng 3D cũng yếu; di chuyển nhiều và hiệu ứng có, nhưng mọi thứ dọc theo các cạnh của vật thể bị mờ và trôi nổi.

Đồ họa phụ thuộc vào bản đồ độ sâu
Chương trình cần thông tin chính xác về khoảng cách đến mọi điểm trong cảnh. Game không phải lúc nào cũng cung cấp nó, hoặc cung cấp tất cả. Các bề mặt trong suốt - nước, thủy tinh, khói, lửa, tán lá - thường không có độ sâu chi tiết, hoặc engine không tạo ra nó. Kết quả là, các vật thể kết thúc ở khoảng cách sai: nước dính sai chỗ, khói nhân đôi, các hạt lơ lửng trong không khí ở những điểm khác nhau. Trên hết, không phải game nào cũng xuất ra bộ đệm độ sâu tương thích - trong một số game, nó bị đảo ngược, trong những game khác, nó được bảo vệ và không thể đọc được.

Phản xạ và điểm sáng bị hỏng nhiều nhất
Gương, nước, nhựa đường ướt và kim loại được xác định bởi độ sâu của bề mặt của chúng, không phải bởi hình ảnh phản chiếu trong chúng. Khi góc nhìn dịch chuyển, sự phản chiếu trôi đi không biết đến đâu. Nếu một điểm sáng được "vẽ" lên bề mặt, nó không hoạt động theo cách nó nên làm trong thế giới thực. Chính xác là nội dung bóng bẩy nổi bật nhất trông phẳng và sai trong stereo.

Giao diện, điểm ngắm và HUD
Các yếu tố hai chiều trên đầu khung hình - thanh máu, menu, điểm ngắm - được vẽ ở độ sâu bằng không, vì vậy sau khi xử lý, chúng kết thúc ở khoảng cách stereo sai. Giao diện hoặc dính vào màn hình hoặc lơ lửng trước cảnh. Điểm ngắm là một vấn đề đau đầu; vị trí độ sâu của nó hầu như luôn phải được điều chỉnh bằng tay.

Một khung hình cho cả hai mắt
Cả hai mắt nhìn thấy cùng một hình ảnh, chỉ được dịch chuyển. Với kết xuất stereo trung thực, mỗi mắt nhận được các điểm sáng, bóng đổ và khúc xạ chính xác riêng; ở đây điều đó sẽ không xảy ra. Bởi vì điều này, các vật thể xuất hiện dưới dạng các lớp phẳng được cắt ra từ ván ép và sắp xếp theo độ sâu, thay vì các vật thể có thể tích. Trong tài liệu tiếng Anh, hiệu ứng này được gọi là hiệu ứng "cardboard cutout".

Điều chỉnh theo từng game
Trường nhìn, phạm vi độ sâu và độ hội tụ được đặt bằng tay cho từng game riêng biệt. Sai sót dẫn đến mỏi mắt do hội tụ quá mức, hoặc tỷ lệ sai, nơi thế giới trông giống như đồ chơi hoặc khổng lồ, hoặc thậm chí độ sâu bị đảo ngược hoàn toàn. Đây là giải pháp "chỉnh sửa và tìm hiểu", không phải "cài đặt và chơi".

Độ trễ và khung hình không đều
Game kết xuất các khung hình không đều, và client điều chỉnh chúng theo fps ổn định của màn hình bằng cách lặp lại các khung hình có sẵn. Bản thân việc lặp lại không gây ra biến dạng, nhưng độ trễ giữa hành động và hình ảnh tích lũy: chụp khung hình, xử lý, đầu ra. Đối với theo dõi đầu, bất kỳ độ trễ nào như vậy đều được cảm nhận như một sự "trôi nổi" của cảnh. Game Config có tham số Frame Capture Delay cho việc này, để điều chỉnh thời điểm chụp.

Nhiễu xuyên âm còn sót lại và yêu cầu màn hình cao
Các kỹ thuật phần mềm - chèn khung hình đen và chế độ 60/120/240 - triệt tiêu bóng ma, nhưng không loại bỏ hoàn toàn, bởi vì nhiễu xuyên âm được xác định bởi nhiều yếu tố: vật lý của bảng điều khiển màn hình và bản thân kính. Nó phụ thuộc vào thời gian phản hồi pixel, tốc độ chuyển đổi, độ tương phản của thấu kính kính và tốc độ vẽ dọc của màn hình. Ngoài ra, chế độ tích cực nhất yêu cầu bảng điều khiển 240 Hz nhanh với thời gian tồn tại pixel ngắn, mà không phải người dùng nào cũng có. Không giống như NVIDIA 3D Vision, ReShade không tái tạo một khối lượng có sẵn mà tổng hợp nó từ một khung hình phẳng. Đó là lý do tại sao các lỗ hổng dọc theo đường viền, phản xạ không chính xác và các cạnh trôi nổi là các hiện vật ổn định của phương pháp, không phải là một thiếu sót tạm thời.

Hình học stereo ở đây là trung thực và không có hiện vật tổng hợp hình ảnh nào - disocclusion, "bìa cứng," phản xạ bị hỏng - có ở đây. Nhưng phương pháp này cũng có chi phí riêng của nó, và nó khác.

Game phải hỗ trợ VR
Đây là hạn chế chính. Phương pháp này không hoạt động với một game bất kỳ: nó yêu cầu hỗ trợ VR tích hợp hoặc một bản mod VR. Nếu không có bản mod sẵn có, đường dẫn OpenVR sẽ không hoạt động, và chỉ còn lại ReShade với tất cả các hiện vật của nó. Nói cách khác, khả năng tương thích rộng rãi mà con đường đầu tiên tồn tại bị mất hoàn toàn ở đây.

Tải gấp đôi lên card đồ họa
Cảnh thực sự được kết xuất hai lần, từ hai camera. Không có sự tiết kiệm nào mà tái chiếu một góc nhìn duy nhất cung cấp: hiệu suất giảm giống như trong VR thực. Điều này được bù đắp một phần bằng cài đặt Độ phân giải trong VR Config - độ phân giải mỗi mắt có thể được hạ xuống và WibbleWobble sẽ phóng to hình ảnh lên độ phân giải của màn hình.

Cài đặt phức tạp
SteamVR phải được cài đặt. Trình điều khiển được đăng ký thông qua Install.bat với quyền quản trị viên, sau đó phải thêm hai dòng thủ công vào tệp config\steamvr.vrsettings: "forcedDriver": "WibbleWobbleVR" và "activateMultipleDrivers": "true". Sau đó hoàn thành Room Setup ở chế độ STANDING ONLY. Lỗi ở bất kỳ bước nào và thay vì stereo, bạn nhận được màn hình đen mà không có thông báo rõ ràng về nguyên nhân.

Hạn chế của chính OpenVR
Một số cài đặt không thể thay đổi khi đang chạy. Nếu bạn thay đổi độ phân giải hoặc tốc độ đầu ra, cần khởi động lại SteamVR. Đây là hạn chế của nền tảng, không phải của chương trình, nhưng nó làm chậm đáng kể việc điều chỉnh game.

Tối ưu hóa kết xuất làm hỏng một số game
VR Config có tham số Optimise Single Eye cho phép kết xuất chỉ một mắt hoặc cả hai ở một nửa FOV. Tác giả dự án cảnh báo trực tiếp: chế độ "Both" là chế độ có vấn đề nhất - có thể xảy ra hiện tượng tối viền và mất đồng bộ mắt, và hình ảnh có thể "dịch chuyển." Trong một số game, sẽ phải tắt hoàn toàn tối ưu hóa.

Đấu tranh cho tiêu điểm cửa sổ
Một số game không chuyển tiêu điểm cho giao diện WibbleWobble: tổ hợp phím SHIFT + END không kích hoạt, hoặc UI được vẽ nhưng không thể điều khiển. Bạn phải chuyển đổi thủ công qua ALT + TAB. Một vấn đề riêng: không được đóng cửa sổ WibbleWobble - chương trình sẽ không phục hồi sau đó và game sẽ phải được khởi động lại.

Căn giữa lại mỗi lần khởi chạy
Theo dõi phải được căn giữa thủ công (SHIFT + .) mỗi lần khi khởi động, đặt chính xác ở trung tâm của khu vực làm việc trước màn hình. Nếu đầu không ở đó trong quá trình căn giữa, tái chiếu bắt đầu hoạt động kỳ lạ và tỷ lệ "trôi dạt." Theo sự thừa nhận của chính tác giả, việc đạt đúng vị trí cần thực hành. Điều này sau đó có thể được khắc phục bằng cách sử dụng phần mềm theo dõi thông minh hơn.

Các đặc điểm riêng của từng ứng dụng
Một số chương trình chỉ hoạt động với một số thương hiệu tai nghe nhất định. Đối với chúng, VR Config có tham số Headset Identification làm cho WibbleWobble tự nhận dạng là một thiết bị khác - ví dụ: Vive - nếu không có nó, theo dõi đầu không hoạt động trong DEOVR. Nói cách khác, khả năng tương thích ở một số chỗ dựa vào các giải pháp thay thế như thế này.

Điểm chung với con đường đầu tiên
Mọi thứ liên quan đến phần cứng đều áp dụng cho cả hai phương pháp: nhiễu xuyên âm còn sót lại, yêu cầu bảng điều khiển nhanh, nhu cầu đồng bộ hóa kính chính xác. Đầu ra stereo, bộ phát, BFI và CRT Sim hoạt động giống nhau bất kể cặp stereo đến từ đâu.