o [+ ix3@sdZddlZddlZddlmZmZddlmZddlm Z ddl m Z ddl Z ddl Z ddlmZddlmZdd lmZdd lmZddlZGd d d eZe jd ZdZddZddZddZdd'e(d*e(d+e(fd,d-Z*d>d'e(d*e(d+e(fd.d/Z+ 0d?d'e(d1e(d2e,fd3d4Z-d?d'e(d1e(d2e,fd5d6Z.d'e(d7e/d2e,fd8d9Z0d'e(d7e/d2e,fd:d;Z1dS)@uS 本文件实现了请求产线任务 Authors: suoyi@baidu.com Date: 2024/7/20 N)configlog)BceClientConfiguration)BceCredentials) BosClient)ThreadPoolExecutor)tqdm)urljoin)Pathc@seZdZdZdS)RequestDatasetExceptionz1 exception for requesting dataset server N)__name__ __module__ __qualname____doc__rri/home/app/PaddleOCR-VL-test/.venv_paddleocr/lib/python3.10/site-packages/aistudio_sdk/requests/dataset.pyr sr z~/.download_max_workersc Cslz!ttd}t|WdWS1swYWdSty5}ztWYd}~Sd}~ww)zmax download workerrN)openMAX_WORKERS_FILEintreadstrip ExceptionDEFAULT_MAX_WORKERS)ferrrget_max_workers(s (rcCs>d|i}tj||d}||di}|dg}|S)z file info datasetId)dataresultfileIds)requestspostraise_for_statusjsonget)urlrrresponser file_idsrrrpost_request_get_file_ids1s  r*cCsNtjtjs dSttjd}|WdS1s wYdS)z load Nr)ospathexistsrZ TOKEN_FILErrr)rrrr load_token;s  $r.cCs8|r|}ntjddd}d|d}|r|||S)u 填充header ZAISTUDIO_ACCESS_TOKENr/defaultapplication/json) Content-Type Authorization)r+getenvupdate)paramstokenauthheadersrrr _header_fillEs r;cCsvd|d|d}t||}t}t||durt|d}nt}tj||d}|t||ddS) zget url/llm/files/datasets/z/file/z /downloadN)r8)r:r ZfileUrl)r r.printr;r"r&r$r%)hostrfileIdr,r'r8r:r(rrr get_file_urlVs   r@i cCs$|sdStd|}|r|dSdS)filenameNzfilename="?([^";]+)"?r)refindall)Z cd_headerfnamerrrparse_filename_from_cdhs rEcCs`tj|dd}|t|jdd}|jdd}t|}|s,tj | dd}||fS)u获取文件大小和文件名T)allow_redirectszContent-LengthrzContent-Dispositionr/?) r"headr$rr:r&rEr+r,basenamesplit)file_urlr file_sizecdrArrr get_file_infopsrNc Csdd|d|i}tj||dd}|t|d7}|||jddD]"} | rI|| ||t| Wd n1sDwYq'Wd d S1sUwYd S) downloadRangezbytes=-T)r:streamzrb+i ) chunk_sizeN) r"r&r$rseek iter_contentwriter6len) rKstartend local_pathpbarlockr:r(rchunkrrrdownload_chunk|s   "r^c Cs|durt}t|\}}tj||}tj|ddtj|s;t|d }||Wdn1s6wYg}t d|t D]}|} t |t d|d} | | | fqCddl m} t|dd|d } | } t|d D}g}|D].\} } tj|rtj|}|| dkr| | | dqu| |t|| | || | qu|D]}|qWdn1swY| dS) z multi threadNTexist_okwbr)LockB)totalunitZ unit_scaleZdesc max_workers)rrNr+r,joinmakedirsr-rtruncaterange CHUNK_SIZEminappend threadingrcrrgetsizer6submitr^r close)rK local_dirrhrLrArZrchunksirXrYrcr[r\executorfuturesZ current_sizerrrdownload_file_multithreadedsB            rycCs>|dur td}tjdtjd}|d}t||||dS)z old datasetNHOMEZSTUDIO_GIT_HOSTr0z/studio/dataset/detail)r+r5r#STUDIO_MODEL_API_URL_PREFIX_DEFAULTdownload_all_files)rrtr>r'rrrdownload_datasetss   r}c Cst||}tj|ddg}t}tdd}|D]}t|||} ||t | ||qWdn1s8wY|D]} | q?dS)z all Tr_rgN) r*r+rjrprcrr@rorrryr ) r'r>rZlocalDirr)tasksZ pbar_lockrwr?rKtaskrrrr|s    r|r8cCsZtjd}|dd}i}|r||d<tj|||d}|jdkr%|Std|j)u 申请ak/sk response: { "logId": "", "errorCode": 0, "errorMsg": "", "timestamp": 0, "result": { "accessKeyId": "", "secretAccessKey": "", "sessionToken": "", "fileKey": "", "serverTime": 0, "expiresIn": 0, "endpoint": "", "bucketName": "" } } z/llm/files/aclr2r4r3 bucketName)r:r7zFailed to get bos acl: )rr{r"r& status_coder%r text)r8 bucket_namer'r:r7r(rrrbos_acl_dataset_files  rfile_origin_namefile_keyc CsptdD]1}z t|||||}|WSty5}ztd|ddt|WYd}~qd}~wwdS)u? 上传文件到指定的bucket，并返回文件ID。 uadd file 失败，重试第rb次N)rladd_filer rerror)r8rrrfile_absrvfile_idrrrradd_file_with_retrys  rc Cstdtjd}|dd}||||d}tj|||d}|jdkrU|dd krBtd |} | d id } | St d t d|d|j dSt d|j )uY 上传文件到指定的bucket，并返回文件ID。 Args: token (str): 认证token。 file_origin_name (str): 文件的原始名称。 file_key (str): 文件在存储中的键值。 bucket_name (str, optional): 如果提供，则上传到此bucket，否则使用默认bucket。 file_abs (str, optional): 文件的绝对路径，可选。 Returns: dict: 包含操作结果的字典，其中包括logId, errorCode, errorMsg, timestamp和result（包含fileId）。 Raises: HTTPError: 如果请求失败，抛出异常。 z add file..z/llm/files/addfiler2r)ZfileOriginNameZfileKeyrZfileAbsr:r%r errorCoderadd file successr r?u 落库失败add file failed, response:  NzFailed to add file: ) rdebugrr{r"r#rr%r&rrr ) r8rrrrr'r:rr(r rrrrrs*     rrb dataset_namer)c CsrtdD]2}zt||||||}|WSty6}ztd|ddt|WYd}~qd}~wwdS)u? 创建一个新的数据集，并返回数据集ID。 ru!create dataset 失败，重试第rbrN)rlcreate_datasetr rr) r8rr) dataset_type dataset_absdataset_licenserv dataset_idrrrrcreate_dataset_with_retry1s  rc Cstjd}|dd}|||||d}tj|||d} | jdkrYtd| dd kr>| } | d id } | St d | d td|d| j dSt d| j )ud 创建一个新的数据集，并返回数据集ID。 Args: token (str): 认证token。 dataset_name (str): 数据集的名称。 file_ids (list of int): 包含在数据集中的文件ID列表。 dataset_type (int, optional): 数据集的类型，1 表示私有，2 表示公开。默认为0（私有）。 dataset_abs (str, optional): 数据集的简介，可选。 Returns: dict: 包含操作结果的字典，其中包括logId, errorCode, errorMsg, timestamp和result（包含datasetId）。 None: 如果请求失败，返回None。 z/llm/files/datasetsr2r)Z datasetNameZ datasetAbsr!Z datasetTypeZ protocolIdrrrrrr ru数据集创建失败:errorMsgrrNzFailed to create dataset: ) rr{r"r#rrrr%r&rrr ) r8rr)rrrr'r:rr(r rrrrr?s*   rrc CsltdD]/}z t|||}|WSty3}ztd|ddt|WYd}~qd}~wwdS)u1 向指定的数据集中添加文件。 ru&add file to dataset 失败，重试第rbrN)rladd_files_to_datasetr rr)r8rr)rvr rrrradd_files_to_dataset_with_retryns   rcCstjd|d}|dd}d|i}tj|||d}|jdkr]|dd krBtd |d t d |d |d |St d|dt d|d|j dSt d|j )u 向指定的数据集中添加文件。 Args: token (str): 认证token。 dataset_id (int): 数据集的ID。 file_ids (list of int): 需要添加到数据集的文件ID列表。 Returns: dict: 包含操作结果的字典，其中包括logId, errorCode, errorMsg, timestamp和result。 None: 如果请求失败，返回None。 r<z/addfiler2rr!rrrru 向数据集[u]中添加文件成功!u]中添加文件成功[]u添加文件失败: rrrNz Failed to add files to dataset: ) rr{r"r#rr%r&rinforrrr )r8rr)r'r:rr(rrrrzs  r)Nr/)N)NN)rbr/rb)2rr%r"Z aistudio_sdkrrZ!baidubce.bce_client_configurationrZbaidubce.auth.bce_credentialsrZ baidubce.services.bos.bos_clientrr+rpconcurrent.futuresrr urllib.parser pathlibr rBrr r, expanduserrrrr*r.r;r@rmrErNr^ryr}r|strrrrlistrrrrrrrrrsP            ,  ' -/