o òh)Ýã @s²UddlZddlZddlZddlZddlZddlmZmZmZm Z er\dZ eed<dZ e eed<e ¡Zeed<dZeed<d Zeed <dZe eed<dZe eed<d Zeed<dZeed<dZeed<dZe eed<dZeed<dZe eed<d Zeed<dZe eed<dZe eed<dZe eed<dZ e eed<dZ!e eed<ej" #d¡Z$eed<ej" #d¡Z%eed<dZ&eed<dZ'eed <dZ(eed!<dZ)eed"<d#Z*eed$<d%Z+eed&<dZ,eed'<d(Z-eed)<dZ.e eed*<dZ/e eed+<d,Z0e1ed-<dZ2eed.<dZ3e eed/<dZ4e eed0<dZ5e eed1<dZ6e eed2<dZ7eed3<dZ8e eed4<d Z9eed5<dZ:eed6<ej" ;e$d7¡Zeed;<d Z?eed<<dZ@eed=<dZAeed><d?ZBeed@<dZCeedA<d ZDeedB<dZEeedC<dDZFeedE<ej" ;e$dF¡ZGeedG<dHZHeedI<dJZIeedK<dLZJeedM<dNZKeedO<dPZLeedQ<dRZMeedS<dTZNeedU<dVZOeedW<dZPe eedX<dZQe eedY<dZReedZ<dZSeed[<dZTeed\<dZUeed]<dZVe eed^<dZWeed_<dZXeed`<daZYeedb<dHZZeedc<dZ[e e\eedd<dZ]e eede<dZ^e eedf<dZ_eedg<dZ`eedh<d Zaeedi<dZbeedj<dZceedk<dZdeedl<dZeeedm<gZfe\eedn<d Zgeedo<dZheedp<dZieedq<d Zjeedr<d Zkeeds<d Zleedt<d Zmeedu<d Zneedv<d Zoeedw<d Zpeedx<d Zqeedy<d Zreedz<d Zseed{<d Zteed|<d}Zue1ed~<dZveed<d€Zweed<d€Zxeed‚<dƒZyeed„<dZzeed…<d†Z{eed‡<dZ|eedˆ<d‰Z}e1edŠ<dZ~eed‹<dZe eedŒ<dZ€eed<d}ZeedŽ<d#Z‚eed<dZƒeed<dZ„eed‘<d’Z…eed“<dZ†eed”<dZ‡eed•<dZˆe eed–<dZ‰eed—<dZŠeed˜<dZ‹eed™<dZŒe eedš<dZeed›<dZŽeedœ<d Zeed<dZeedž<dZ‘eedŸ<d Z’eed <dZ“eed¡<dZ”eed¢<d£Z•eed¤<dZ–eed¥<d’Z—eed¦<dZ˜eed§<d¨Z™eed©<dªZšeed«<d¬Z›eed<d®Zœeed¯<d#Zeed°<dZžeed±<d²ZŸeed³<d´Z eedµ<dZ¡e eed¶<dZ¢eed·<dZ£eed¸<d¹Z¤eedº<d Z¥eed»<dZ¦e eed¼<d½Z§eed¾<dZ¨eed¿<dZ©eedÀ<dZªeedÁ<dZ«eedÂ<dZ¬eedÃ<dZe eedÄ<dZ®eedÅ<dZ¯eedÆ<dZ°eedÇ<dZ±eedÈ<dZ²eedÉ<dZ³eedÊ<dZ´e eedË<dZµeedÌ<dZ¶eedÍ<dZ·eedÎ<dZ¸eedÏ<d Z¹eedÐ<dÑdÒ„ZºdÓdÔ„Z»dÕe edÖe efd×dØ„Z¼dÕe edÖe efdÙdÚ„Z½dÖe efdÛdÜ„Z¾idWdÝdÞ„“dXdßdÞ„“dYdàdÞ„“dZdádÞ„“d[dâdÞ„“d\dãdÞ„“d^dädÞ„“d_dådÞ„“ddædÞ„“ddçdÞ„“ddèdÞ„“de¾“ddédÞ„“ddêdÞ„“d dëdÞ„“dìdídÞ„“ddîdÞ„“iddïdÞ„“ddðdÞ„“ddñdÞ„“ddòdÞ„“ddódÞ„“dôdõdÞ„“död÷dÞ„“ddødÞ„“ddùdÞ„“ddúdÞ„“ddûdÞ„“düdýdÞ„“ddþdÞ„“ddÿdÞ„“dddÞ„“dddÞ„“d ddÞ„“¥id!ddÞ„“d"ddÞ„“d$ddÞ„“d*ddÞ„“d&ddÞ„“d)ddÞ„“d'd dÞ„“d+d dÞ„“d-ddÞ„“d.ddÞ„“d/d dÞ„“d0ddÞ„“d1ddÞ„“d2ddÞ„“d3ddÞ„“d4ddÞ„“d5ddÞ„“¥id6ddÞ„“d=ddÞ„“d>ddÞ„“d@ddÞ„“dAddÞ„“dBddÞ„“dEddÞ„“dGddÞ„“dIddÞ„“dKddÞ„“dMddÞ„“dOddÞ„“dQd dÞ„“dSd!dÞ„“dUd"dÞ„“d8d#dÞ„“d9d$dÞ„“¥idCd%dÞ„“d;d&dÞ„“d<d'dÞ„“d]d(dÞ„“d`d)dÞ„“d*d+dÞ„“d,d-dÞ„“dbd.dÞ„“dcd/dÞ„“ddd0dÞ„“ded1dÞ„“dfd2dÞ„“dgd3dÞ„“dhd4dÞ„“did5dÞ„“djd6dÞ„“dkd7dÞ„“¥idld8dÞ„“dmd9dÞ„“dnd:dÞ„“dod;dÞ„“dpddÞ„“dsd?dÞ„“dtd@dÞ„“dudAdÞ„“dvdBdÞ„“dwdCdÞ„“dxdDdÞ„“dydEdÞ„“dzdFdÞ„“d{dGdÞ„“dºdHdÞ„“¥id»dIdÞ„“d¼dJdÞ„“ddKdÞ„“d‚dLdÞ„“d„dMdÞ„“d|dNdÞ„“d~dOdÞ„“ddPdÞ„“d…dQdÞ„“d‡dRdÞ„“dˆdSdÞ„“dŠdTdÞ„“d‹dUdÞ„“dŒdVdÞ„“ddWdÞ„“dŽdXdÞ„“ddYdÞ„“¥iddZdÞ„“d‘d[dÞ„“d“d\dÞ„“d”d]dÞ„“d^d_dÞ„“dd`dÞ„“d•dadÞ„“d–dbdÞ„“d—dcdÞ„“d˜dddÞ„“d™dedÞ„“dšdfdÞ„“d›dgdÞ„“dœdhdÞ„“ddidÞ„“dždjdÞ„“dŸdkdÞ„“¥id dldÞ„“d¡dmdÞ„“d¢dndÞ„“dÇdodÞ„“dÉdpdÞ„“dÈdqdÞ„“d¥drdÞ„“d¦dsdÞ„“d§dtdÞ„“d©dudÞ„“d«dvdÞ„“ddwdÞ„“d¤dxdÞ„“d¯dydÞ„“dzd{dÞ„“d|d}dÞ„“d°d~dÞ„“¥id±ddÞ„“d³d€dÞ„“dµddÞ„“d¶d‚dÞ„“d·dƒdÞ„“d¸d„dÞ„“d¾d…dÞ„“d¿d†dÞ„“dÄd‡dÞ„“dÅdˆdÞ„“dÆd‰dÞ„“dŠd‹dÞ„“dÀdŒdÞ„“dÌddÞ„“dÁdŽdÞ„“dddÞ„“dÂd‘dÞ„“¥d’dÞ„d“dÞ„d”dÞ„d•dÞ„d–dÞ„d—dÞ„d˜dÞ„d™œ¥Z¿eÀeegeffedš<d›efdœd„ZÁdždŸ„ZÂd›efd d¡„ZÃd¢efd£d¤„ZÄdÖefd¥d¦„ZÅdS(§éN)Ú TYPE_CHECKINGÚAnyÚCallableÚOptionalÚÚVLLM_HOST_IPÚ VLLM_PORTÚVLLM_RPC_BASE_PATHFÚVLLM_USE_MODELSCOPEé<Ú VLLM_RINGBUFFER_WARNING_INTERVALÚVLLM_NCCL_SO_PATHÚLD_LIBRARY_PATHTÚVLLM_USE_TRITON_FLASH_ATTNÚ$VLLM_V1_USE_PREFILL_DECODE_ATTENTIONÚ VLLM_USE_AITER_UNIFIED_ATTENTIONÚVLLM_FLASH_ATTN_VERSIONÚ LOCAL_RANKÚCUDA_VISIBLE_DEVICESÚVLLM_ENGINE_ITERATION_TIMEOUT_SÚVLLM_API_KEYÚS3_ACCESS_KEY_IDÚS3_SECRET_ACCESS_KEYÚS3_ENDPOINT_URLÚVLLM_MODEL_REDIRECT_PATHz ~/.cache/vllmÚVLLM_CACHE_ROOTz~/.config/vllmÚVLLM_CONFIG_ROOTúhttps://stats.vllm.aiÚVLLM_USAGE_STATS_SERVERÚVLLM_NO_USAGE_STATSÚVLLM_DO_NOT_TRACKÚVLLM_USAGE_SOURCEéÚVLLM_CONFIGURE_LOGGINGÚINFOÚVLLM_LOGGING_LEVELÚVLLM_LOGGING_PREFIXúext://sys.stdoutÚVLLM_LOGGING_STREAMÚVLLM_LOGGING_CONFIG_PATHÚVLLM_LOGITS_PROCESSOR_THREADSç$@ÚVLLM_LOG_STATS_INTERVALÚVLLM_TRACE_FUNCTIONÚVLLM_ATTENTION_BACKENDÚVLLM_USE_FLASHINFER_SAMPLERÚVLLM_PP_LAYER_PARTITIONÚVLLM_CPU_KVCACHE_SPACEÚVLLM_CPU_OMP_THREADS_BINDÚVLLM_CPU_NUM_OF_RESERVED_CPUÚVLLM_CPU_MOE_PREPACKÚVLLM_CPU_SGL_KERNELÚ xla_cacheÚVLLM_XLA_CACHE_PATHÚVLLM_XLA_CHECK_RECOMPILATIONiÚVLLM_FUSED_MOE_CHUNK_SIZEÚ)VLLM_ENABLE_FUSED_MOE_ACTIVATION_CHUNKINGÚVLLM_USE_RAY_SPMD_WORKERÚVLLM_USE_RAY_COMPILED_DAGÚautoÚ&VLLM_USE_RAY_COMPILED_DAG_CHANNEL_TYPEÚ&VLLM_USE_RAY_COMPILED_DAG_OVERLAP_COMMÚVLLM_USE_RAY_WRAPPED_PP_COMMÚVLLM_XLA_USE_SPMDÚforkÚVLLM_WORKER_MULTIPROC_METHODÚassetsÚVLLM_ASSETS_CACHEéÚVLLM_IMAGE_FETCH_TIMEOUTéÚVLLM_VIDEO_FETCH_TIMEOUTé ÚVLLM_AUDIO_FETCH_TIMEOUTéÚVLLM_MEDIA_LOADING_THREAD_COUNTéÚVLLM_MAX_AUDIO_CLIP_FILESIZE_MBÚopencvÚVLLM_VIDEO_LOADER_BACKENDéÚVLLM_MM_INPUT_CACHE_GIBÚcudaÚVLLM_TARGET_DEVICEÚMAX_JOBSÚNVCC_THREADSÚVLLM_USE_PRECOMPILEDÚVLLM_DOCKER_BUILD_CONTEXTÚ'VLLM_TEST_USE_PRECOMPILED_NIGHTLY_WHEELÚVLLM_KEEP_ALIVE_ON_ENGINE_DEATHÚCMAKE_BUILD_TYPEÚVERBOSEÚVLLM_ALLOW_LONG_MAX_MODEL_LENi'ÚVLLM_RPC_TIMEOUTÚVLLM_HTTP_TIMEOUT_KEEP_ALIVEÚVLLM_PLUGINSÚVLLM_LORA_RESOLVER_CACHE_DIRÚVLLM_TORCH_PROFILER_DIRÚ!VLLM_TORCH_PROFILER_RECORD_SHAPESÚ'VLLM_TORCH_PROFILER_WITH_PROFILE_MEMORYÚVLLM_TORCH_PROFILER_WITH_STACKÚVLLM_TORCH_PROFILER_WITH_FLOPSÚVLLM_USE_TRITON_AWQÚ VLLM_ALLOW_RUNTIME_LORA_UPDATINGÚVLLM_SKIP_P2P_CHECKÚVLLM_DISABLED_KERNELSÚVLLM_USE_V1ÚVLLM_ROCM_USE_AITERÚVLLM_ROCM_USE_AITER_PAGED_ATTNÚVLLM_ROCM_USE_AITER_LINEARÚVLLM_ROCM_USE_AITER_MOEÚVLLM_ROCM_USE_AITER_RMSNORMÚVLLM_ROCM_USE_AITER_MLAÚVLLM_ROCM_USE_AITER_MHAÚVLLM_ROCM_USE_AITER_FP8BMMÚVLLM_ROCM_USE_SKINNY_GEMMÚVLLM_ROCM_FP8_PADDINGÚVLLM_ROCM_MOE_PADDINGÚVLLM_ROCM_CUSTOM_PAGED_ATTNÚVLLM_ENABLE_V1_MULTIPROCESSINGéÿÿÿÿÚVLLM_LOG_BATCHSIZE_INTERVALÚVLLM_DISABLE_COMPILE_CACHEéÈÚQ_SCALE_CONSTANTÚK_SCALE_CONSTANTédÚV_SCALE_CONSTANTÚVLLM_SERVER_DEV_MODEé€ÚVLLM_V1_OUTPUT_PROC_CHUNK_SIZEÚVLLM_MLA_DISABLEgð?ÚVLLM_RAY_PER_WORKER_GPUSÚVLLM_RAY_BUNDLE_INDICESÚVLLM_CUDART_SO_PATHÚVLLM_DP_RANKÚVLLM_DP_RANK_LOCALÚVLLM_DP_SIZEÚVLLM_DP_MASTER_IPÚVLLM_DP_MASTER_PORTéÚVLLM_MOE_DP_CHUNK_SIZEÚVLLM_RANDOMIZE_DP_DUMMY_INPUTSÚVLLM_MARLIN_USE_ATOMIC_ADDÚVLLM_MXFP4_USE_MARLINÚVLLM_V0_USE_OUTLINES_CACHEÚVLLM_V1_USE_OUTLINES_CACHEÚVLLM_TPU_BUCKET_PADDING_GAPÚVLLM_TPU_MOST_MODEL_LENÚVLLM_TPU_USING_PATHWAYSÚVLLM_USE_DEEP_GEMMÚVLLM_USE_DEEP_GEMM_E8M0ÚVLLM_USE_DEEP_GEMM_E8M0_HOPPERÚVLLM_SKIP_DEEP_GEMM_WARMUPÚVLLM_USE_FUSED_MOE_GROUPED_TOPKÚVLLM_USE_FLASHINFER_MOE_FP8ÚVLLM_USE_FLASHINFER_MOE_FP4Ú throughputÚVLLM_FLASHINFER_MOE_BACKENDÚVLLM_XGRAMMAR_CACHE_MBÚ VLLM_MSGPACK_ZERO_COPY_THRESHOLDÚ!VLLM_ALLOW_INSECURE_SERIALIZATIONÚ localhostÚVLLM_NIXL_SIDE_CHANNEL_HOSTiµÚVLLM_NIXL_SIDE_CHANNEL_PORTÚnaiveÚVLLM_ALL2ALL_BACKENDi€Ú"VLLM_MAX_TOKENS_PER_EXPERT_FP4_MOEÚ%VLLM_TOOL_PARSE_REGEX_TIMEOUT_SECONDSÚVLLM_SLEEP_WHEN_IDLEéÚVLLM_MQ_MAX_CHUNK_BYTES_MBi,Ú"VLLM_EXECUTE_MODEL_TIMEOUT_SECONDSÚVLLM_KV_CACHE_LAYOUTÚVLLM_COMPUTE_NANS_IN_LOGITSÚVLLM_USE_NVFP4_CT_EMULATIONSÚNONEÚ#VLLM_ROCM_QUICK_REDUCE_QUANTIZATIONÚ(VLLM_ROCM_QUICK_REDUCE_CAST_BF16_TO_FP16Ú(VLLM_ROCM_QUICK_REDUCE_MAX_SIZE_BYTES_MBéxÚVLLM_NIXL_ABORT_REQUEST_TIMEOUTÚVLLM_USE_CUDNN_PREFILLÚVLLM_ENABLE_CUDAGRAPH_GCÚVLLM_LOOPBACK_IPÚ2VLLM_ALLOW_CHUNKED_LOCAL_ATTN_WITH_HYBRID_KV_CACHEÚVLLM_ENABLE_RESPONSES_API_STOREÚVLLM_USE_TRTLLM_ATTENTIONÚ&VLLM_FLASHINFER_DISABLE_Q_QUANTIZATIONÚVLLM_HAS_FLASHINFER_CUBINÚ#VLLM_USE_FLASHINFER_MOE_MXFP4_MXFP8Ú"VLLM_USE_FLASHINFER_MOE_MXFP4_BF16Ú+VLLM_USE_FLASHINFER_MOE_MXFP4_MXFP8_CUTLASSÚVLLM_ALLREDUCE_USE_SYMM_MEMÚVLLM_TUNED_CONFIG_FOLDERÚVLLM_DISABLE_PAD_FOR_CUDAGRAPHÚVLLM_GPT_OSS_USE_CONTAINER_TOOLÚ(VLLM_GPT_OSS_HARMONY_SYSTEM_INSTRUCTIONSÚ VLLM_CUSTOM_SCOPES_FOR_PROFILINGÚ#VLLM_KV_EVENTS_USE_INT_BLOCK_HASHEScCót dtj tj d¡d¡¡S)NÚXDG_CACHE_HOMEú~z.cache©ÚosÚgetenvÚpathÚjoinÚ expanduser©rÓrÓú4/usr/local/lib/python3.10/site-packages/vllm/envs.pyÚget_default_cache_root´óþrÕcCrÊ)NÚXDG_CONFIG_HOMErÌz.configrÍrÓrÓrÓrÔÚget_default_config_root»rÖrØÚvalueÚreturncCs|durdSt|ƒS©N)Úint©rÙrÓrÓrÔÚmaybe_convert_intÂsrÞcCs|durdStt|ƒƒSrÛ)ÚboolrÜrÝrÓrÓrÔÚmaybe_convert_boolÈsràc Cs|dtjvrdSt dd¡}zt|ƒWSty=}zddlm}||ƒ}|jr0td|›dƒd‚td|›dƒ|‚d}~ww) zìGet the port from VLLM_PORT environment variable. Returns: The port number as an integer if VLLM_PORT is set, None otherwise. Raises: ValueError: If VLLM_PORT is a URI, suggest k8s service discovery issue. rNÚ0r)ÚurlparsezVLLM_PORT 'zœ' appears to be a URI. This may be caused by a Kubernetes service discovery issue,check the warning in: https://docs.vllm.ai/en/stable/serving/env_vars.htmlz' must be a valid integer)rÎÚenvironrÏrÜÚ ValueErrorÚurllib.parserâÚscheme)ÚportÚerrrâÚparsedrÓrÓrÔÚ get_vllm_portÎs* ÿü ÿÿ€÷rêcCót dd¡ ¡S)NrUrT©rÎrÏÚlowerrÓrÓrÓrÔÚ÷órîcCót dd¡S)NrV©rÎrÏrÓrÓrÓrÔrîüócCrð)NrWrñrÓrÓrÓrÔrîròcCs*tj dd¡ ¡ ¡dvpttj d¡ƒS)NrXr©Ú1ÚtrueZVLLM_PRECOMPILED_WHEEL_LOCATION)rÎrãÚgetÚstriprírßrÓrÓrÓrÔrîsÿcCótj dd¡ ¡ ¡dvS)NrYrró©rÎrãrör÷rírÓrÓrÓrÔrîsÿcCóttt dd¡ƒƒS)NrZrá©rßrÜrÎrÏrÓrÓrÓrÔrîócCó t d¡S)Nr\rñrÓrÓrÓrÔrîó cCrú)Nr]rárûrÓrÓrÓrÔrîrüc Có tj t dtj tƒd¡¡¡S)NrÚvllm)rÎrÐrÒrÏrÑrØrÓrÓrÓrÔrî%óþÿc Crÿ)Nrr©rÎrÐrÒrÏrÑrÕrÓrÓrÓrÔrî0rcCót dd¡S)NrrrñrÓrÓrÓrÔrî;ròcCst dt ¡¡S)Nr )rÎrÏÚtempfileÚ gettempdirrÓrÓrÓrÔrîGrïcCótj dd¡ ¡dkS)Nr ÚFalserõ©rÎrãrörírÓrÓrÓrÔrîLscCóttj dd¡ƒS)NrÚ60©rÜrÎrãrörÓrÓrÓrÔrîPóÚ CUDA_HOMEcCótj dd¡S)Nr ©rÎrãrörÓrÓrÓrÔrîUócCr)Nr rrÓrÓrÓrÔrîZrcCr)NrrrÓrÓrÓrÔrî_rcCstj dd¡ ¡dvS)NrÚTrue©rõrôrrÓrÓrÓrÔrîcsÿcCót dd¡ ¡dvS)NrrrrìrÓrÓrÓrÔrîióÿcCr)NrrrrìrÓrÓrÓrÔrîorcCóttj dd¡ƒS)Nr©rÞrÎrãrörÓrÓrÓrÔrîvrÚ"VLLM_TEST_DYNAMO_FULLGRAPH_CAPTUREcCsttj dd¡dkƒS)Nrrôrá)rßrÎrãrörÓrÓrÓrÔrîzsÿÚVLLM_USE_STANDALONE_COMPILEcCstj dd¡dkS)NrrôrrÓrÓrÓrÔrîrcCr )NrrárrÓrÓrÓrÔrî†rcCr)NrrrÓrÓrÓrÔrîŠrcCr )Nrr rrÓrÓrÓrÔrîŽrcCr)NrrrÓrÓrÓrÔrî’rÚ"VLLM_DEBUG_LOG_API_SERVER_RESPONSEcCr)NrrrõrrÓrÓrÓrÔrî–sÿcCr)NrrrÓrÓrÓrÔrî›rcCr)NrrrÓrÓrÓrÔrîrcCr)NrrrÓrÓrÓrÔrîŸrcCótj dd¡S)NrrrrÓrÓrÓrÔrî£rcCótj dd¡dkS)NrrárôrrÓrÓrÓrÔrî¥rcCs$tj dd¡ptj dd¡pddkS)Nr ZDO_NOT_TRACKrárôrrÓrÓrÓrÔrî§s ÿÿcCr)Nr!Ú productionrrÓrÓrÓrÔrîªrcCótt dd¡ƒS)Nr#rô©rÜrÎrÏrÓrÓrÓrÔrî±rïcCrý)Nr)rñrÓrÓrÓrÔrî³rþcCrë)Nr%r$©rÎrÏÚupperrÓrÓrÓrÔrî·rïcCr)Nr(r'rñrÓrÓrÓrÔrî»ròcCr)Nr&rrñrÓrÓrÓrÔrî¿ròcCódtjvr tt dd¡ƒSdS)Nr*rá©rÎrãrÜrÏrÓrÓrÓrÔrîÆó ÿcCs tt dd¡ƒ}dkr|SdS)Nr,z10.gr+©ÚfloatrÎrÏ)ÚvalrÓrÓrÔrîÌsÿcCr)Nr-rárrÓrÓrÓrÔrîÓrïcCrð)Nr.rñrÓrÓrÓrÔrîßròcCs dtjvrtttjdƒƒSdS)Nr/)rÎrãrßrÜrÓrÓrÓrÔrîãs ÿcCrð)Nr0rñrÓrÓrÓrÔrîèròcCr!)Nr1rár"rÓrÓrÓrÔrîír#cCr)Nr2r=rñrÓrÓrÓrÔrîóròcCr!)Nr3rár"rÓrÓrÓrÔrîør#cCrú)Nr4rôrûrÓrÓrÓrÔrîÿrücCrú)Nr5rárûrÓrÓrÓrÔrîrücCrú)Nr;rárûrÓrÓrÓrÔrî rücCrú)Nr<rárûrÓrÓrÓrÔrîrücCr)Nr>r=rñrÓrÓrÓrÔrîròcCrú)Nr?rárûrÓrÓrÓrÔrî$rücCrú)Nr@rôrûrÓrÓrÓrÔrî,rücCr)NrCrBrñrÓrÓrÓrÔrî1ròc Có"tj t dtj tƒdd¡¡¡S)NrErrDrrÓrÓrÓrÔrî5óþÿcCr)NrGÚ5rrÓrÓrÓrÔrî>rïcCr)NrIZ30rrÓrÓrÓrÔrîCrïcCr)NrKÚ10rrÓrÓrÓrÔrîHrïcCr)NrMÚ8rrÓrÓrÓrÔrîNrïcCr)NrOZ25rrÓrÓrÓrÔrîTrïcCr)NrQrPrñrÓrÓrÓrÔrî^ròcCr)NrSÚ4rrÓrÓrÓrÔrîcrïc Cr')Nr7rr6rrÓrÓrÓrÔrîhr(cCrú)Nr8rárûrÓrÓrÓrÔrîprücCrú)NrArárûrÓrÓrÓrÔrîtrücCr)Nr9Z32768rrÓrÓrÓrÔrîvrïcCrú)Nr:rôrûrÓrÓrÓrÔrî{óÿcCr)Nr[r©rßrÎrÏrÓrÓrÓrÔrîrïcCrø)Nr^rárórùrÓrÓrÓrÔrîˆóÿÚVLLM_TEST_FORCE_FP8_MARLINcCrø)Nr0rárórùrÓrÓrÓrÔrîr/ÚVLLM_TEST_FORCE_LOAD_FORMATcCr)Nr1ÚdummyrñrÓrÓrÓrÔrî“ròcCr)Nr_Z10000rrÓrÓrÓrÔrî˜rïcCr )Nr`r)rrÓrÓrÓrÔrîœrcCsdtjvrdStjd d¡S)Nraú,©rÎrãÚsplitrÓrÓrÓrÔrî¢óÿcCrð)NrbrñrÓrÓrÓrÔrî©ròcCs0t dd¡dur dStj tj t dd¡¡¡S)NrcÚ.)rÎrÏrÐÚabspathrÒrÓrÓrÓrÔrî°sÿcCótt dd¡dkƒS)Nrdrár.rÓrÓrÓrÔrî¸rücCr9)Nrerár.rÓrÓrÓrÔrî¾r-cCstt dd¡dkƒS)Nrfrôrár.rÓrÓrÓrÔrîÅrücCr9)Nrgrár.rÓrÓrÓrÔrîËrücCrú)NrhrárûrÓrÓrÓrÔrîÏrücCrø)NrirárórùrÓrÓrÓrÔrîÓr/cCst dd¡dkS)NrjrôrñrÓrÓrÓrÔrîÞrïcCsdtjvrgStjd d¡S)Nrkr3r4rÓrÓrÓrÔrîår6cCrú)NrlrôrûrÓrÓrÓrÔrîêrücCr)NrmrrrìrÓrÓrÓrÔrîïóÿcCr)NrnrrrìrÓrÓrÓrÔrîõr:cCr)NrorrrìrÓrÓrÓrÔrîür:cCr)NrprrrìrÓrÓrÓrÔrîr:cCr)NrqrrrìrÓrÓrÓrÔrîr:cCr)NrrrrrìrÓrÓrÓrÔrî r:cCr)NrsrrrìrÓrÓrÓrÔrîr:cCr)NrtrrrìrÓrÓrÓrÔrîr:cCr)NrurrrìrÓrÓrÓrÔrîr:cCrú)NrvrôrûrÓrÓrÓrÔrî#rücCrú)NrwrôrûrÓrÓrÓrÔrî'rücCr)NrxrrrìrÓrÓrÓrÔrî+r:cCrë)Nr³r²rrÓrÓrÓrÔrî2rïcCr)Nr´rrrìrÓrÓrÓrÔrî9rcCr)NrµrrÓrÓrÓrÔrîDsÿcCr)Nr~Ú200rrÓrÓrÓrÔrîIrïcCr)Nrr;rrÓrÓrÓrÔrîLrïcCr)NrÚ100rrÓrÓrÓrÔrîOrïcCrú)NryrôrûrÓrÓrÓrÔrîSrücCr)Nr{z-1r$rÓrÓrÓrÔrîUrïcCrú)Nr|rárûrÓrÓrÓrÔrîWrücCrú)Nr‚rárûrÓrÓrÓrÔrî]rücCr)Nr„Z128rrÓrÓrÓrÔrîgrïcCrú)Nr…rárûrÓrÓrÓrÔrîkrücCr)Nr†z1.0r$rÓrÓrÓrÔrîqrïcCr)Nr‡rrñrÓrÓrÓrÔrîwròcCrð)NrˆrñrÓrÓrÓrÔrî|ròcCr)Nr‰rárrÓrÓrÓrÔrî€rïcCstt dtjtj¡ƒS)NrŠ)rÜrÎrÏÚsysÚmodulesÚ__name__r‰rÓrÓrÓrÔrî…sÿcCr)Nr‹rôrrÓrÓrÓrÔrîŠrïcCr)NrŒz 127.0.0.1rñrÓrÓrÓrÔrîŽròcCr)NrrárrÓrÓrÓrÔrî’rïcCr)NrÚ256rrÓrÓrÓrÔrîšrïcCr)NrrárôrrÓrÓrÓrÔrîžrÚVLLM_CI_USE_S3cCr)NrArárôrrÓrÓrÓrÔrî¢rcCr)NrrrÓrÓrÓrÔrî«rcCr)Nr‘rárôrrÓrÓrÓrÔrî¯rcCr)Nr’)ràrÎrãrörÓrÓrÓrÔrî³rcCr)Nr“rárôrrÓrÓrÓrÔrî¹rcCr)Nr”rárôrrÓrÓrÓrÔrî¿rcCsdtjvrttjdƒSdS)Nr•r)rÎrãrÜrÓrÓrÓrÔrîÄs ÿcCr)Nr–rrÓrÓrÓrÔrîÇrcCstdt dd¡ ¡vƒS)NÚproxyZ JAX_PLATFORMSr)rßrÎrÏrírÓrÓrÓrÔrîËscCrú)Nr˜rárûrÓrÓrÓrÔrîÏrücCrú)Nr™rôrûrÓrÓrÓrÔrîÓrücCrú)NršrárûrÓrÓrÓrÔrî×rücCrú)Nr›rárûrÓrÓrÓrÔrîÞrücCrú)NrœrôrûrÓrÓrÓrÔrîârücCrú)NrrárûrÓrÓrÓrÔrîærücCrú)NržrárûrÓrÓrÓrÔrîêrücCrú)NrÀrárûrÓrÓrÓrÔrîïrücCrú)NrÂrárûrÓrÓrÓrÔrîös ÿcCrú)NrÁrárûrÓrÓrÓrÔrîýrücCr)Nr¡Z512rrÓrÓrÓrÔrîrïcCr)Nr¢r@rrÓrÓrÓrÔrî rïcCrú)Nr£rárûrÓrÓrÓrÔrîrücCr)Nr¥r¤rñrÓrÓrÓrÔrîròcCr)Nr¦Z5557rrÓrÓrÓrÔrîrïcCr)Nr¨r§rñrÓrÓrÓrÔrî$ròcCr)Nr rŸrñrÓrÓrÓrÔrî0sÿcCr)Nr©Z163840rrÓrÓrÓrÔrî9rïÚ.VLLM_FLASHINFER_ALLREDUCE_FUSION_THRESHOLDS_MBcCst t dd¡¡S)NrCz{})ÚjsonÚloadsrÎrÏrÓrÓrÓrÔrîBsÿÚ$VLLM_MOE_ROUTING_SIMULATION_STRATEGYcCstj dd¡ ¡S)NrFrrrÓrÓrÓrÔrîLrcCr)NrªrôrrÓrÓrÓrÔrîPrïcCrú)Nr«rárûrÓrÓrÓrÔrîUrücCr)NrZ16rrÓrÓrÓrÔrî[rïcCr)Nr®Z300rrÓrÓrÓrÔrî`rïcCrð)Nr¯rñrÓrÓrÓrÔrîjròcCrú)Nr°rárûrÓrÓrÓrÔrîprücCrú)Nr±rárûrÓrÓrÓrÔrîvrücCr)Nr·Z120rrÓrÓrÓrÔrî}rïcCrú)Nr¸rárûrÓrÓrÓrÔrîrücCrð)Nr½rñrÓrÓrÓrÔrî…ròcCrú)Nr¾rárûrÓrÓrÓrÔrî‰rücCr)Nr¿FrñrÓrÓrÓrÔrîŽròÚVLLM_USE_TRTLLM_FP4_GEMMcCrú)NrGrárûrÓrÓrÓrÔrî”rücCrú)Nr¹rárûrÓrÓrÓrÔrîšrücCrú)NrÅrárûrÓrÓrÓrÔrî rücCr)NrºrrñrÓrÓrÓrÔrî¤ròÚVLLM_PROCESS_NAME_PREFIXcCr)NrHZVLLMrñrÓrÓrÓrÔrîªròcCrú)Nr»rárûrÓrÓrÓrÔrî´sÿcCrú)Nr¼rárûrÓrÓrÓrÔrîÁrücCrú)NrÃrárûrÓrÓrÓrÔrîÅrücCrð)NrÄrñrÓrÓrÓrÔrîÉròcCrú)NrÆrárûrÓrÓrÓrÔrîÍrücCrú)NrÇrárûrÓrÓrÓrÔrîÑr-cCrú)NrÈrárûrÓrÓrÓrÔrîÖrücCrú)NrÉrôrûrÓrÓrÓrÔrîÛrü)r¼rÃrÄrÆrÇrÈrÉÚenvironment_variablesÚnamecCs&|tvr t|ƒStdt›d|›ƒ‚)Númodule ú has no attribute )rIÚAttributeErrorr?©rJrÓrÓrÔÚ__getattr__áó rOcCstt ¡ƒSrÛ)ÚlistrIÚkeysrÓrÓrÓrÔÚ__dir__èsrScCs&|tvr |tjvStdt›d|›ƒ‚)z3Check if an environment variable is explicitly set.rKrL)rIrÎrãrMr?rNrÓrÓrÔÚis_setìrPrTÚuse_v1cCs&tdƒrtdƒ‚|rdndtjd<dS)NrlzšShould not call set_vllm_use_v1() if VLLM_USE_V1 is set explicitly by the user. Please raise this as a Github Issue and explicitly set VLLM_USE_V1=0 or 1.rôrá)rTrärÎrã)rUrÓrÓrÔÚset_vllm_use_v1ós ÿrVcCsNgd¢}|D] }|tvsJdƒ‚qdd„|Dƒ}tjt|ƒ ¡dd ¡}|S)aÁ WARNING: Whenever a new key is added to this environment variables, ensure that it is included in the factors list if it affects the computation graph. For example, different values of VLLM_PP_LAYER_PARTITION will generate different computation graphs, so it is included in the factors list. The env vars that affect the choice of different kernels or attention backends should also be included in the factors list. )*r0r…rrhr‰r‹rr9r rrr.r/rkr˜r™ršrGrœrržrÀrÂrÁr¸r½r¾rmrnrorprqrrrsrtrurvrwrxr³r´rµz6Please update environment_variables_to_hash in envs.pycSsg|]}t|ƒ‘qSrÓ)rI)Ú.0ÚkeyrÓrÓrÔÚ =s ÿz compute_hash..F)Úusedforsecurity)rIÚhashlibÚmd5ÚstrÚencodeÚ hexdigest)Zenvironment_variables_to_hashrXZfactorsZhash_strrÓrÓrÔÚcompute_hashüs, ÿÿÿÿr`)Ær[rDrÎr=rÚtypingrrrrrr]Ú__annotations__rrÜrr r rßrr rrrrrrrrrrrrrrÐrÒrrrrr r!r#r%r&r(r)r*r,r%r-r.r/r0r1r2r3r4r5rÑr7r8r9r:r;r<r>r?r@rArCrErGrIrKrMrOrQrSrUrVrWrXrYrZr[r\r]r^r_r`rarQrbrcrdrerfrgrhrirjrkrlrmrnrorprqrrrsrtrurvrwrxryr{r|r~rrr‚r„r…r†r‡rˆr‰rŠr‹rŒrrrr‘r’r“r”r•r–r—r˜r™ršr›rœrržr r¡r¢r£r¥r¦r¨r©rªr«rr®r¯r°r±r³r´rµr·r¸r¹rºr»r¼r½r¾r¿rÀrÁrÂrÃrÄrÅrÆrÇrÈrÉrÕrØrÞràrêrIÚdictrOrSrTrVr`rÓrÓrÓrÔÚsV "ùôîêä!Þ(×,Ó4Ë?ÀJµQ®V©[¤_ d›i–n‘rx‡~ù õîéåá"Ý&Ù+Ô-Ò/Ð3Ì5Ê7È:ÅA¾C¼G¸K´O°V©\£cœosŒx‡}‚û öïëä$Û/Ð5Ê=ÂB½F¹O°T«Y¦_ ešot‹y†ýù÷ òìå!Þ%Ú*Õ.Ñ4Ë;ÄB½JµP¯W¨]¢ažešpwˆ|ƒý÷ðêå ß&Ù,Ó1Î6É:Å>ÁEºL³W¨\£_ bf™h—j•pz…~úôïëæá"Ý&Ù.Ñ2Í6É?ÀC¼G¸M²S¬X§[¤_ cœg˜k”rv‰z…~ûôíç"Ý(×,Ó0Ï9Æ FºN±W¨ažešj•puŠÿùóìèäà$Û*Õ0Ï6É:Å@¿JµX$Žx