使用
数学建模
Shell脚本
Typora
yarn
网络字节序
硬件架构
hdfs
activity7
信奥
主备
素数
文件共享
ubuntu-18.04
cuda
移动端
android大作业
reference手册
RSS
gradle
odps
2024/4/11 20:31:10
Ali MaxCompute SDK
ALI MC 文件读写 public abstract BufferedInputStream readResourceFileAsStream(String var1) throws IOException;LocalExecutionContext.java Overridepublic BufferedInputStream readResourceFileAsStream(String resourceName) throws IOException {try {return wareHou…
玩转MaxCompute SQL训练营! 数据分析挖掘迅速出师
用MaxCompute在数据里面挖呀挖呀挖，写花样的sql分析花样的数据！云原生大数据计算服务 MaxCompute 是企业级Serverless智能数仓，向用户提供了完善的数据导入方案以及多种经典的分布式计算模型，能够更快速的解决用户海量数据计算问题…
阿里云大数据实战记录9：MaxCompute RAM 用户与授权
文章目录 问题来源：maxcompute 管理员无法访问敏感列？主线问题：如何提高用户等级衍生问题1：怎么知道自己的等级和表单的等级衍生问题2：为什么 dataworks 空间管理员也没有设置等级的权限？衍生问题3…
MaxCompute获取当前季度的第一天日期(odps sql)
工作中遇到获取当前季度的第一天，如下所示
SELECT CASE WHEN QUARTER(GETDATE()) 1 THEN DATETRUNC(GETDATE(),yyyy)
WHEN QUARTER(GETDATE()) 2 THEN DATEADD(DATETRUNC(GETDATE(),yyyy),3,mm)
WHEN QUARTER(GETDATE()) 3 THEN DATEADD(DATETRUNC(GETDATE(),…
《ODPS权威指南》笔记
《ODPS权威指南》笔记
ODPS简介
ODPS是什么
**ODPS（Open Data Processing Services）**是一个海量数据处理平台，提供大数据处理的云计算服务，基于阿里巴巴自主研发的分布式操作系统开发，主要提供结构化和半结构化数据…
那些常忘的ODPS函数用法
前言
经常用不会忘记的，我这就不再赘述了
字符串相关
常用函数汇总 函数名 函数功能 函数定义 CHAR_MATCHCOUNT 返回str1中有多少个字符出现在str2中 bigint char_matchcount(string str1, string str2) CHR 将给定ASCII码ascii转换成字符 string chr(bi…
涤生大数据实战：基于Flink+ODPS历史累计计算项目分析与优化（上）
涤生大数据实战：基于FlinkODPS历史累计计算项目分析与优化（一）
1.前置知识
ODPS（Open Data Platform and Service）是阿里云自研的一体化大数据计算平台和数据仓库产品，在集团内部离线作为离线数据处理和存…
PS软件下载安装以基本配置
先访问地址 PS下载地址 下载需要付费
给你的下载地址链接一定要保存好
然后根据自己的电脑系统和配置选择一个适合自己的
最后 会下下来一个解压包 然后 我们在 一个盘下 注意 不要用C盘 这里我选择D盘 创建一个文件夹 叫PS设计工具 然后将解压包解压到对应的 PS开发工具文…
ODPS 不同格式的日期比较大小（取极值）
思路：SQL实现，正则表达式匹配到不同格式然后将其转为同一种格式的日期时间进行比较
例如：将所有的日期格式转换为yyyyddMMhhmmsss的格式
这里是在odps的写的实例，用到正则匹配和正则替换
#取最小值
select distinct tmp1.birth…
DataWorks(ODPS)性能优化技巧指南
使用阿里云DataWorks进行数据处理的时候，有时候会遇到一个sql或pyodps（本质上还是转化为sql）执行很长的情况，这个时候有必要对代码进行性能优化。
一、打开ODPS运行评估报告
一个sql脚本执行完毕后，在运维中心的周期…
【大数据】-- maxcompute/odps 存储优化之小文件合并
1、背景 在 flink 写入 odps 表时，发现抛出了异常。经过查询知道原因是该 odps table 表的小文件过多，超过了最大数量，导致写入失败。
2、小文件的定义 分布式文件系统按块（Block）存放数据，文件大小比块大小（64MB）小的文件称为小文件。分布式系统不可避免会产生小文件…
【ODPS新品发布第1期】DataWorks全新发布：增强分析/数据建模个人版等新能力
阿里云ODPS系列产品以MaxCompute、DataWorks、Hologres为核心，致力于解决用户多元化数据的计算需求问题，实现存储、调度、元数据管理上的一体化架构融合，支撑交通、金融、科研、等多场景数据的高效处理，是目前国内最早自研、应用最…
【大数据】-- dataworks 创建odps 的 hudi 外表
文档：创建OSS外部表_云原生大数据计算服务 MaxCompute(MaxCompute)-阿里云帮助中心
举例：创建 odps 的 hudi 外表
CREATE EXTERNAL TABLE IF NOT EXISTS my_project.ods_hudi_mysql_words_h_all
(id BIGINT COMMENT 主键id,`words` STRING COMMENT 词…
Odps执行SQL报错，提示Please set odps.sql.type.system.odps2=true to use it.
Odps执行SQL报错，提示Please set odps.sql.type.system.odps2true to use it.或提示Please add put { "odps.sql.submit.mode" : "script"} for multi-statement query in settings的解决方案
odps错误信息
AnonymousSQLTask--ODPS-0130071:[…
ETLCloud+MaxCompute实现云数据仓库的高效实时同步
MaxCompute介绍
MaxCompute是适用于数据分析场景的企业级SaaS（Software as a Service）模式云数据仓库，以Serverless架构提供快速、全托管的在线数据仓库服务，消除了传统数据平台在资源扩展性和弹性方面的限制，最小化用…
亚马逊云科技为全球的可持续发展进程做出贡献
可持续发展是一个涉及经济、环境和社会三个方面的复杂问题。经济发展必须在保护环境和社会公正的前提下进行，这样才能实现真正的可持续发展。为了实现这一目标，人们需要借助技术手段，更好地理解和解决环境和社会问题。
亚马逊云科技是全球领…
ACP(MaxCompute篇)-MaxCompute开发工具
创建MaxCompute项目 第一种创建项目方式
1.知道MaxCompute服务。 2.创建项目。 3.创建成功。 第二种创建项目的方式
1.进入DataWorks控制台。 2.创建工作空间。 3.创建的类型。 4.创建计算方式。 5.自定义选择。 6.创建成功。 MaxCompute开发工具简介 Odpscmd
安装配置 下…
ODPS(MaxComputer)清空分区表的数据
insert overwrite table test_500w partition(f120200702,f220:00)select (f1|f2)?. from test_500w where 12; 其中f1,f2为分区字段名，子查询的含义是查询分区字段之外的其他字段 直接删除分区
alter table 表A drop if EXISTS PARTITION(分区名123)
SQL中通过QUALIFY语法过滤窗口函数简化代码
MaxCompute和hive都支持使用QUALIFY语法对窗口函数的数据进行过滤，该语法类似于HAVING对聚合和GROUP BY之后的结果的处理。这个语法在很多场景中都可以用到，可以用于简化代码，少写一个子查询，如统计排名，分组内部排序等…
【云栖2023】张治国：MaxCompute架构升级及开放性解读
简介： 本文根据2023云栖大会演讲实录整理而成，演讲信息如下
演讲人：张治国|阿里云智能计算平台研究员、阿里云MaxCompute负责人
演讲主题：MaxCompute架构升级及开放性解读
活动：2023云栖大会
MaxCompute发展经历了…
odps多行合并为一行
在ODPS中，多行合并为一行可以通过使用ODPS SQL语句中的聚合函数来实现。
假设我们有一个表格，其中包含多行数据：
name score
Tom 20
Jack 20
Lucy 30
将上述表格中的相同分数的人合并为一行，并用逗号分隔每个值：…
使用Java根据约定格式生成ODPS建表语句(MaxCompute建表语句)
记录：281
场景：在实际开发中，开发文档中的建表信息以表格的方式提供，包括字段名称、字段类型、字段注释、是否为空等。本例就是先把表格信息转换为约定格式的txt文件，在使用Java代码生成完整的ODPS建表语句(MaxComput…