Interfejs IntraopNumThreads

Umożliwia zmianę liczby wątków używanych w puli wątków przez operatory CPU podczas wykonywania wewnętrznego operatora za pośrednictwem LearningModelSessionOptions. Domyślnie winML ustawia wartość jako maksymalną liczbę wątków, która jest tą samą liczbą rdzeni logicznych procesora CPU użytkownika. Ustawienie tej wartości wyższej niż liczba rdzeni logicznych procesora CPU może spowodować nieefektywną pulę wątków i wolniejszy proces oceny.

Przykładowy kod

void SetIntraOpNumThreads(LearningModel model) {
    // Create LearningModelSessionOptions
    auto options = LearningModelSessionOptions();
    auto nativeOptions = options.as<ILearningModelSessionOptionsNative>();
 
    // Set the number of intra op threads to half of logical cores.
    uint32_t desiredThreads = std::thread::hardware_concurrency() / 2;
    nativeOptions->SetIntraOpNumThreadsOverride(desiredThreads);
 
    // Create session
    LearningModelSession session = nullptr;
    WINML_EXPECT_NO_THROW(session = LearningModelSession(model, LearningModelDeviceKind::Cpu, options));
}

Wymagania