IntraopNumThreads-interface

Biedt de mogelijkheid om het aantal threads te wijzigen dat in de threadpool wordt gebruikt voor intra-operatoruitvoering van CPU-operators via LearningModelSessionOptions. WinML stelt standaard de waarde in als het maximum aantal threads, dat hetzelfde aantal logische kernen op de CPU van de gebruiker is. Als u deze waarde hoger instelt dan het aantal logische kernen op de CPU, kan dit leiden tot een inefficiënte threadpool en een tragere evaluatie.

Voorbeeldcode

void SetIntraOpNumThreads(LearningModel model) {
    // Create LearningModelSessionOptions
    auto options = LearningModelSessionOptions();
    auto nativeOptions = options.as<ILearningModelSessionOptionsNative>();
 
    // Set the number of intra op threads to half of logical cores.
    uint32_t desiredThreads = std::thread::hardware_concurrency() / 2;
    nativeOptions->SetIntraOpNumThreadsOverride(desiredThreads);
 
    // Create session
    LearningModelSession session = nullptr;
    WINML_EXPECT_NO_THROW(session = LearningModelSession(model, LearningModelDeviceKind::Cpu, options));
}

Behoeften