远程存储配置

阅读(163) 标签: 远程存储配置,

该功能为企业版集算器中的功能。

集算器【工具】菜单下提供远程存储配置功能,用来连接各种远程存储平台,连接成功后,在SPL脚本中可通过Qfile Qmove  Qload 等函数操作远程存储平台中的文件。

【缺省远程存储】远程存储配置中可以同时连接多个远程存储,IDE中使用Qfile等函数时,会连接缺省远程存储中选择的存储平台进行计算。缺省远程存储置空则表示不连接任何远程存储平台。

 

在远程存储配置窗口中,可选择远程存储类型,目前支持【Amazon S3】、【NFS】、【HDFS】、【Microsoft Azure】和【Google cloud storage】。

选择远程存储类型后,点击新建按钮,进入相对应的存储服务配置窗口,可配置远程存储平台相关的连接信息。

使用远程存储配置功能前,需要将【集算器安装目录】\esProc\q-extlib目录下远程存储类型对应的第三方jar放置到【集算器安装目录】\esProc\lib下,例如配置Amazon S3类型的远程存储信息:

需要将【集算器安装目录】\esProc\q-extlibs3目录下的jar复制到【集算器安装目录】\esProc\ lib下,然后新建存储服务配置连接:

【启用缓存】:读取远程存储数据文件时,是否启用缓存生成缓存文件。启用缓存后会优先读取缓存文件。

【缓存路径】:远程存储平台文件计算时,文件对象默认会自动下载到【缓存路径/store Type/bucketName】位置,缓存路径缺省为系统缓存目录,如C:\Users\UserName\AppData\Roaming\__scudatacache\s3

【最小空闲空间】:存放缓存文件目录的最小空闲空间,当剩余空间小于最小空闲空间时,会自动删除目录下的缓存文件。

【缓存块大小】:指定下载块的大小。

 

注意:

1,连接远程存储类型为【Google cloud storage】时,对应的jar存放在【集算器安装目录】\esProc\q-extlibgoogle-gcs目录下。在使用Google cloud storage类型时,要在启动文件中增加java代理参数: Djava.net.useSystemProxies=true ,例如IDE启动文件startup.bat:

@echo off

call "D:\raqsoft\esProc\bin\setEnv.bat"

start "dm" %EXECJAVAW% -Xms128m -Xmx9444m  -cp %START_HOME%\esProc\classes;%RAQCLASSPATH% -Duser.language=zh -Djava.net.useSystemProxies=true -Dstart.home=%START_HOME%\esProc  com.scudata.ide.spl.EsprocEE

2,连接远程存储类型为【NFS】时,对应的jar存放在【集算器安装目录】\esProc\q-extlibnfs目录下。

3,连接远程存储类型为【HDFS】时,对应的jar存放在【集算器安装目录】\esProc\q-extlibhdfs目录下。

4,连接远程存储类型为【Microsoft Azure】时,对应的jar存放在【集算器安装目录】\esProc\q-extlibazure目录下。