Kodowanie grafiki za pośrednictwem protokołu pulpitu zdalnego

Dane graficzne z sesji zdalnej są przesyłane do urządzenia lokalnego za pośrednictwem protokołu RDP (Remote Desktop Protocol). Proces obejmuje kodowanie danych graficznych na zdalnej maszynie wirtualnej przed wysłaniem ich do urządzenia lokalnego. Każda ramka jest przetwarzana na podstawie jej zawartości, przechodząc przez procesory obrazów, klasyfikator i koder, zanim zostanie dostarczona do urządzenia lokalnego przy użyciu transportu grafiki RDP.

Celem kodowania i przesyłania danych graficznych jest zapewnienie optymalnej wydajności i jakości z doświadczeniem, które jest takie samo jak lokalne korzystanie z urządzenia. Ten proces jest ważny w przypadku korzystania z usługi Azure Virtual Desktop, komputerów w chmurze w Windows 365 i rozwiązania Microsoft Dev Box, gdzie użytkownicy oczekują wysokiej jakości środowiska podczas pracy zdalnej.

Protokół RDP używa różnych funkcji i technik do przetwarzania i przesyłania danych graficznych, które sprawiają, że są odpowiednie dla szerokiego zakresu scenariuszy, takich jak produktywność w biurze, produkcja wideo, projektowanie i odtwarzanie wideo. Te funkcje i techniki obejmują:

• Kodowanie sprzętowe i programowe: używa procesora CPU lub procesora GPU do kodowania danych graficznych.

  • Kodowanie przyspieszane sprzętowo: odciąża przetwarzanie kodowania grafiki z procesora CPU do procesora GPU na zdalnej maszynie wirtualnej wyposażonej w capabable GPU. Procesor GPU zapewnia lepszą wydajność dla aplikacji intensywnie korzystających z grafiki, takich jak modelowanie 3D lub edytowanie wideo w wysokiej rozdzielczości. Zgodne procesory GPU obejmują również wyspecjalizowane aparaty kodowania wideo, które rdp może wykorzystać do kodowania zawartości sesji.

  • Kodowanie oprogramowania: używa procesora CPU do kodowania danych graficznych przy niskich kosztach. Kodowanie oprogramowania to domyślny profil kodowania używany na zdalnej maszynie wirtualnej bez dyskretnego procesora GPU.

• Tryb mieszany: oddziela kodowanie tekstu, obrazów i wideo przy użyciu różnych koderów, aby zapewnić najlepszą jakość i najniższy koszt kodowania dla każdego typu wykrytej zawartości. Tryb mieszany jest dostępny tylko w przypadku kodowania oprogramowania.

• Grafika adaptacyjna: dostosowuje jakość kodowania na podstawie dostępnej przepustowości i zawartości ekranu.

• Kodowanie wideo na pełnym ekranie: zapewnia wyższą szybkość klatek i lepsze środowisko użytkownika w scenariuszach z wysoką zawartością obrazu/wideo.

• Wykrywanie i buforowanie różnicowe: zmniejsza ilość danych, które muszą zostać przesłane.

• Obsługa wielu koderów: używa dekoderów sprzętowych na urządzeniu lokalnym. Koderki obejmują koder wideo Advanced Video Coding (AVC), znany również jako H.264, oraz koder wideo wysokiej wydajności (HEVC), znany również jako H.265. Obsługa protokołu HEVC/H.265 wymaga zgodnej zdalnej maszyny wirtualnej z obsługą procesora GPU.

• 4:2:0 i 4:4:4 chroma subsampling: zapewnia równowagę między jakością obrazu a użyciem przepustowości.

Możesz użyć kombinacji tych funkcji i technik w zależności od dostępnych zasobów sesji zdalnej, urządzenia lokalnego i sieci, aby zapewnić środowisko użytkownika, które chcesz zapewnić.

W tym artykule opisano proces kodowania i dostarczania danych graficznych za pośrednictwem protokołu RDP przy użyciu niektórych z tych funkcji i technik.

Tryb mieszany

Domyślnie dane graficzne są oddzielone w zależności od zawartości. Tekst, obrazy i filmy wideo są kodowane przy użyciu kombinacji koderów w celu uzyskania optymalnej wydajności kodowania dla różnych typów zawartości tylko w przypadku korzystania z kodowania oprogramowania. Ten proces jest nazywany trybem mieszanym.

Średnio około 80% danych graficznych sesji zdalnej to tekst. Aby zapewnić najniższy koszt kodowania i najlepszą jakość tekstu, protokół RDP używa niestandardowego kodera, który jest zoptymalizowany pod kątem tekstu. Ze względu na to, że efektywne kodowanie zawartości obrazu jest trudniejsze, kluczowe znaczenie ma użycie kodera, który dobrze dostosowuje się do dostępnej szybkości transmisji bitów.

Pozostała część zawartości jest oddzielona obrazami i filmami wideo:

• Obrazy są oprogramowaniem zakodowanym za pomocą grafiki AVC/H.264 lub RemoteFX, w zależności od możliwości urządzenia lokalnego. Domyślne kodowanie wykrytej zawartości obrazu używa protokołu AVC/H.264, gdy jest obsługiwane przez konfigurację punktu końcowego sesji.

• Wideo to oprogramowanie zakodowane za pomocą AVC/H.264.

AVC/H.264 to powszechnie obsługiwany koder, który ma dobry współczynnik kompresji dla obrazów, jest zdolny do progresywnego kodowania i ma możliwość dostosowywania jakości na podstawie szybkości transmisji bitów. Opiera się na dekoderze sprzętowym na urządzeniu lokalnym, które jest szeroko obsługiwane na nowoczesnych urządzeniach. Użycie dekodera sprzętowego na urządzeniu lokalnym zmniejsza użycie procesora CPU na urządzeniu lokalnym i zapewnia lepsze środowisko użytkownika. Skontaktuj się z producentem urządzenia, aby upewnić się, że obsługuje dekodowanie sprzętu AVC/H.264.

Na poniższym diagramie przedstawiono proces kodowania i dostarczania danych graficznych za pośrednictwem protokołu RDP przy użyciu trybu mieszanego w scenariuszu kodowania oprogramowania:

Ten proces jest opisany w następujący sposób:

1. Mapa bitowa ramki jest najpierw przetwarzana przez wykrycie, czy zawiera ona wideo. Jeśli zawiera wideo, ramka jest wysyłana do kodera wideo, który w scenariuszu opartym na oprogramowaniu jest kodowany za pomocą AVC/H.264, a następnie ramka przechodzi do kanału graficznego.

2. Jeśli ramka nie zawiera wideo, procesory obrazów określają, czy występują zmiany różnicowe, czy ruch jest wykrywany lub czy zawartość jest dostępna w pamięci podręcznej. Jeśli zawartość spełnia określone kryteria, ramka jest przekazywana do kanału graficznego.

3. Jeśli ramka wymaga dalszego przetwarzania, klasyfikator obrazu określa, czy zawiera tekst, czy obrazy.

4. Tekst i obrazy są kodowane przy użyciu różnych koderów, aby zapewnić najlepszą jakość i najniższy koszt kodowania dla każdego typu zawartości. Po zakodowanie ramka przechodzi do kanału graficznego.

Zamiast używać dwóch oddzielnych koderów dla tekstu i obrazów w trybie mieszanym, możesz włączyć kodowanie wideo na pełnym ekranie , aby przetwarzać całą zawartość ekranu przy użyciu kodera wideo AVC/H.264.

Kodowanie wideo pełnoekranowe

Kodowanie wideo pełnoekranowe jest przydatne w scenariuszach, w których zawartość ekranu jest w dużej mierze oparta na obrazach i jest używana jako alternatywa dla trybu mieszanego. Kodowanie wideo pełnoekranowe przetwarza wszystkie dane graficzne za pomocą AVC/H.264 lub HEVC/H.265. W rezultacie działa gorzej niż kodowanie w trybie mieszanym, gdy zawartość ekranu jest w dużej mierze oparta na tekście.

Pełnoekranowy profil wideo zapewnia większą szybkość klatek i lepsze środowisko użytkownika, ale używa większej przepustowości sieci i zasobów zarówno na zdalnej maszynie wirtualnej, jak i na urządzeniu lokalnym. Jest to korzystne dla aplikacji, takich jak modelowanie 3D, CAD/CAM lub odtwarzanie i edytowanie wideo.

Jeśli włączysz przyspieszanie sprzętowe HEVC/H.265 i AVC/H.264, ale hevc/H.265 nie jest dostępny na urządzeniu lokalnym, zamiast tego jest używany system AVC/H.264. HeVC/H.265 umożliwia kompresję danych o 25–50% w porównaniu z AVC/H.264, w tej samej jakości wideo lub lepszą jakość przy tej samej szybkości transmisji bitów.

Możesz włączyć kodowanie wideo na pełnym ekranie za pomocą AVC/H.264 nawet bez przyspieszania procesora GPU, ale hevc/H.265 wymaga zgodnej zdalnej maszyny wirtualnej z obsługą procesora GPU.

Aby dowiedzieć się więcej, zobacz Włączanie przyspieszania procesora GPU dla usługi Azure Virtual Desktop.

Sprzętowe przyspieszanie procesora GPU

Usługi Azure Virtual Desktop, Komputery w chmurze w Windows 365 i Microsoft Dev Box obsługują przyspieszanie procesora graficznego (GPU) podczas renderowania i kodowania w celu zwiększenia wydajności i skalowalności aplikacji przy użyciu protokołu RDP (Remote Desktop Protocol). Przyspieszanie procesora GPU ma kluczowe znaczenie dla aplikacji intensywnie korzystających z grafiki, takich jak aplikacje używane przez grafików, edytory wideo, modelarzy 3D, analityków danych lub specjalistów ds. wizualizacji.

Istnieją dwa składniki przyspieszania procesora GPU, które współpracują ze sobą w celu ulepszenia środowiska użytkownika:

• Renderowanie aplikacji przyspieszane przez procesor GPU: użyj procesora GPU do renderowania grafiki w sesji zdalnej.

• Kodowanie ramek przyspieszane przez procesor GPU: protokół RDP koduje wszystkie grafiki renderowane na potrzeby transmisji do urządzenia lokalnego. Gdy część ekranu jest często aktualizowana, jest ona kodowana za pomocą AVC/H.264.

Jeśli zawartość ekranu w obciążeniach jest w dużej mierze oparta na obrazach, możesz również włączyć kodowanie wideo na pełnym ekranie , aby przetworzyć całą zawartość ekranu, aby zapewnić wyższą szybkość klatek i lepsze środowisko użytkownika.

Aby dowiedzieć się więcej, zobacz Włączanie przyspieszania procesora GPU.

Obsługa subsamplingu Chroma dla wersji 4:2:0 i 4:4:4

Wartość chroma określa przestrzeń kolorów używaną do kodowania. Domyślnie wartość chroma jest ustawiona na 4:2:0, co zapewnia dobrą równowagę między jakością obrazu a przepustowością sieci. Aby poprawić jakość obrazu, można zwiększyć wartość chroma do 4:4:4, włączając kodowanie pełnoekranowe AVC/H.264 i ustawiając wartość Jakość obrazu na Wysoka za pośrednictwem zasad grupy. Nie musisz używać przyspieszania procesora GPU, aby zmienić wartość chroma, jednak wartość chroma 4:4:4 będzie używać większej przepustowości dla tych samych ramek przy użyciu 4:2:0.

Aby dowiedzieć się więcej, zobacz Zwiększanie wartości chromy do 4:4:4 przy użyciu koderów wideo AVC (Advanced Video Coding).