開發與維運

MaxCompute问答整理之2020-01月

问题一、如果把MaxCompute计算费用从按量付费变为包年包月,是否会引起数据变化或者服务重启?
不会,目前,MaxCompute支持在按量计费和包年包月两种计费方式之间进行转换,但您必须提前开通好两种模式的MaxCompute资源。具体限制以及操作步骤可参考官方文档:
https://help.aliyun.com/document_detail/35455.html

问题二、在MaxCompute中可以在Java业务代码中调起一个任务开始执行吗?
可以,在业务代码中调MaxCompute的Java sdk执行SQL任务。可参考官方文档:
https://help.aliyun.com/document_detail/34614.html

问题三、在MaxCompute中如何获取系统当前时间?
可以使用MaxCompute内建函数GETDATE,可参考官方文档日期函数查看函数说明:
https://help.aliyun.com/document_detail/48974.html

问题四、使用日期函数YEAR、QUARTER、MONTH、DAY时报错信息如下:FAILED: ODPS-0130071:[1,8] Semantic analysis exception - function or view 'year' cannot be resolved
YEAR、QUARTER、MONTH、DAY为MaxCompute2.0扩展函数,如果用到的这些函数时,在使用新函数的SQL前,需要加一个set语句。set odps.sql.type.system.odps2 = true; --开启新类型。
示例:set odps.sql.type.system.odps2 = true;select year('2020-01-10 12:30:00') ;--返回2020

问题五、MaxCompute表的默认生命周期是多少呢? 如何查看具体的值?以及各分区的lifecycle的值?
如果您没有为表指定生命周期,则表(分区)不会根据生命周期规则被MaxCompute自动回收,所以默认周期为永久。如果设置了lifecycle,可以通过desc table命令来查看。可参考官方文档了解:
https://help.aliyun.com/document_detail/55297.html

问题六、在MaxCompute中如果一个表下面有很多分区,需要清空这个表所有的分区,应该怎么操做?
使用删除分区语法:ALTER TABLE TABLE_NAME DROP [IF EXISTS] PARTITION partition_spec; 需要一个个删除分区,如果要删除大量分区,建议重建一个新表。具体操作可参考文档:
https://help.aliyun.com/document_detail/73771.html

问题七、最近都没有进行MaxCompute的计算, 或者购买的为包年包月计费,为什么最近的几个月都有扣费?
MaxCompute扣费项包含存储、计算、下载。这些费用是存储费用,可在控制台账单明细中核实一下。

问题八、MaxCompute表dim_xxxx正在使用时找不到了。使命令行show p;查看运行的SQL,没有发现DROP语句,这个表是谁在什么时间删除的?
如果没有DROP语句,表是因为设置了lifecycle导致的。当设置lifecycle后数据没有更新的,到时间后表会被MaxCompute自动回收。

问题九、在MaxCompute中,INSERT语句执行过程中出现错误,会损坏原有数据吗?
不会损坏原有数据。MaxCompute 满足原子性(Atomicity),INSERT要么成功更新,要么失败回滚。

问题十、使用PyODPS如何下载全量数据?
PyODPS默认不限制从Instance读取的数据规模。但是对于受保护的Project,通过Tunnel下载数据将受限。此时,如果未设options.tunnel.limit_instance_tunnel,则数据量限制会被自动打开,可下载的数据条数受到Project配置限制,通常该限制为10000条。如果您需要手动限制下载数据的规模,可以为open_reader方法增加limit选项, 或者设置options.tunnel.limit_instance_tunnel = True 。

更多阿里巴巴大数据计算技术和产品信息,可点击链接加入 MaxCompute开发者社区2群
https://h5.dingtalk.com/invite-page/index.html?bizSource=____source____&corpId=dingb682fb31ec15e09f35c2f4657eb6378f&inviterUid=E3F28CD2308408A8&encodeDeptId=0054DC2B53AFE745
或扫码加入
2群.png


Leave a Reply

Your email address will not be published. Required fields are marked *