แชร์ผ่าน

ข้อกําหนดของสภาพแวดล้อม

บทความนี้มีการแบ่งรายละเอียดของโครงสร้างข้อกําหนดสําหรับรายการสภาพแวดล้อม

ส่วนคําจํากัดความ

เส้นทางของส่วนข้อกําหนด type จำเป็น คำอธิบาย
Libraries/CustomLibraries/<libraryname>.jar CustomLibraries (JAR) เท็จ ไลบรารี jar แบบกําหนดเองในรูปแบบการเข้ารหัส Base64
Libraries/CustomLibraries/<libraryname>.py CustomLibraries (PY) เท็จ ไฟล์สคริปต์ Python แบบกําหนดเองในรูปแบบการเข้ารหัส Base64
Libraries/CustomLibraries/<libraryname>.whl CustomLibraries (WHL) เท็จ ไฟล์ล้อแบบกําหนดเองในรูปแบบเข้ารหัส Base64
Libraries/CustomLibraries/<libraryname>.tar.gz CustomLibraries (TAR) GZ) เท็จ ไฟล์เก็บถาวร R แบบกําหนดเองในรูปแบบการเข้ารหัส Base64
Libraries/PublicLibraries/environment.yml ExternalLibraries (YAML) เท็จ ไฟล์ YAML ของสภาพแวดล้อมที่มีไลบรารีภายนอกในรูปแบบเข้ารหัส Base64
Setting/Sparkcompute.yml SparkComputeSettings (YAML) เท็จ การตั้งค่าการคํานวณ Spark YAML ในรูปแบบการเข้ารหัส Base64
.platform PlatformDetails (JSON) เท็จ อธิบายเมตาดาต้าของรายการ

แต่ละส่วนข้อกําหนดของรายการสภาพแวดล้อมจะถูกสร้างขึ้นดังนี้:

คําอธิบายสําหรับเนื้อหาไลบรารีภายนอกของ Spark

อธิบายฟิลด์ที่ใช้ในการสร้าง environment.yml.

ชื่อ ชนิด จำเป็น คำอธิบาย
อ้าง อิง พจนานุกรม จริง รายการของแพคเกจ conda ที่จะติดตั้งในสภาพแวดล้อม รูปแบบ จะถูก <package_name>==<version_number>
pip พจนานุกรม เท็จ ระบุแพคเกจ Python เพิ่มเติมที่จะติดตั้งโดยใช้ pip ซึ่งอาจเป็นรายการของสตริงที่แต่ละสตริงเป็นแพคเกจ pip ที่จะติดตั้งในรูปแบบ <package_name>==<version_number>

คําอธิบายสําหรับเนื้อหาการตั้งค่า Spark

อธิบายฟิลด์ที่ใช้เพื่อสร้าง SparkCompute.yml

ชื่อ ชนิด จำเป็น คำอธิบาย
enable_native_execution_engine บูลีน จริง เปิดใช้งานกลไกการดําเนินการแบบดั้งเดิม True - เปิดใช้งาน เท็จ - ปิดใช้งาน
instance_pool_id สตริง จริง สระว่ายน้ําสภาพแวดล้อม ต้องเป็นกลุ่มกําหนดเองที่ถูกต้องที่ระบุโดย ID กลุ่มอินสแตนซ์ เมื่อไม่ได้ระบุ (null) กลุ่มเริ่มต้นจะถูกสร้างขึ้น
driver_cores Integer จริง แกนขับเคลื่อน Spark ค่าที่อนุญาตคือ 4, 8, 16, 32 และ 64
driver_memory สตริง จริง หน่วยความจําโปรแกรมควบคุม Spark ค่าที่อนุญาตคือ 28g, 56g, 112g, 224g, 400g
executor_cores Integer จริง แกนปฏิบัติการ Spark ค่าที่อนุญาตคือ 4, 8, 16, 32, 64
executor_memory สตริง จริง หน่วยความจําเครื่องปฏิบัติการ Spark ค่าที่อนุญาตคือ 28g, 56g, 112g, 224g, 400g
dynamic_executor_allocation วัตถุ จริง การปันส่วนผู้ปฏิบัติการแบบไดนามิก ดู คําอธิบาย สําหรับเนื้อหา dynamic_executor_allocation
spark_conf พจนานุกรม เท็จ การกําหนดค่า Spark
runtime_version สตริง จริง เวอร์ชันรันไทม์ ค้นหารันไทม์ fabric ที่รองรับ

คําอธิบายสําหรับเนื้อหา dynamic_executor_allocation

อธิบายฟิลด์ที่ใช้เพื่อสร้าง dynamic_executor_allocation

ชื่อ ชนิด จำเป็น คำอธิบาย
เปิด บูลีน จริง สถานะของการปันส่วนผู้ปฏิบัติการแบบไดนามิก True - เปิดใช้งาน เท็จ - ปิดใช้งาน
min_executors Integer จริง หมายเลขตัวดําเนินการต่ําสุดสําหรับการปันส่วนแบบไดนามิก ค่าต่ําสุดคือ 1 ค่าสูงสุดต้องต่ํากว่า maxExecutors
max_executors Integer จริง หมายเลขตัวดําเนินการสูงสุดสําหรับการปันส่วนแบบไดนามิก ค่าต่ําสุดคือ 1 ค่าสูงสุดต้องต่ํากว่ากลุ่มอินสแตนซ์ maxNodeCount

ส่วนของแพลตฟอร์ม

ส่วนแพลตฟอร์มเป็นไฟล์ที่ประกอบด้วยข้อมูลเมตาดาต้าของสภาพแวดล้อม

  • สร้าง รายการตามข้อกําหนดของไฟล์แพลตฟอร์มถ้ามี
  • รับรายการ ข้อกําหนด จะส่งกลับไฟล์แพลตฟอร์มเสมอ
  • ข้อกําหนด Update Item ยอมรับไฟล์แพลตฟอร์มหากมี แต่เฉพาะในกรณีที่คุณตั้งค่าพารามิเตอร์ URL ใหม่ updateMetadata=true

ตัวอย่างของไลบรารีสาธารณะของ Spark environment.yml เนื้อหาที่ถอดรหัสจาก Base64

dependencies:
  - matplotlib==0.10.1
  - scipy==0.0.1
  - pip:
      - fuzzywuzzy==0.18.0
      - numpy==0.1.28

ตัวอย่างของการตั้งค่า Spark Sparkcompute.yml เนื้อหาที่ถอดรหัสจาก Base64

enable_native_execution_engine: false
instance_pool_id: 655fc33c-2712-45a3-864a-b2a00429a8aa
driver_cores: 4
driver_memory: 28g
executor_cores: 4
executor_memory: 28g
dynamic_executor_allocation:
  enabled: true
  min_executors: 1
  max_executors: 2
spark_conf:
  spark.acls.enable: true
runtime_version: 1.3

ตัวอย่างข้อกําหนด

{
    "format": "null",
    "parts": [
        {
            "path": "Libraries/CustomLibraries/samplelibrary.jar",
            "payload": "eyJuYmZvcm1hdCI6N..",
            "payloadType": "InlineBase64"
        },
        {
            "path": "Libraries/CustomLibraries/samplepython.py",
            "payload": "FyJuYmZvcm1hdCI6N..",
            "payloadType": "InlineBase64"
        },
        {
            "path": "Libraries/CustomLibraries/samplewheel-0.18.0-py2.py3-none-any.whl",
            "payload": "LyJuYmZvcm1hdCI6N..",
            "payloadType": "InlineBase64"
        },
        {
            "path": "Libraries/CustomLibraries/sampleR.tar.gz",
            "payload": "ZyJuYmZvcm1hdCI6N..",
            "payloadType": "InlineBase64"
        },
        {
            "path": "Libraries/PublicLibraries/environment.yml",
            "payload": "IyJuYmZvcm1hdCI6N..",
            "payloadType": "InlineBase64"
        },
        {
            "path": "Setting/Sparkcompute.yml",
            "payload": "GyJuYmZvcm1hdCI6N..",
            "payloadType": "InlineBase64"
        },
        {
            "path": ".platform",
            "payload": "ZG90UGxhdGZvcm1CYXNlNjRTdHJpbmc",
            "payloadType": "InlineBase64"
        }
    ]
}
  • Last updated on