Linkis(微服务架构)v0.11.0官方版
Linkis是一个连接多种计算和存储引擎的平台,例如Spark、TiSpark、Hive、Python和HBase。 Linkis基于微服务架构,提供财务级多租户隔离、资源管控、权限隔离等企业级功能,并支持统一变量。UDF、函数、用户资源文件管理,具有高并发、高性能、高可用的大数据作业/请求全生...
- 版本:v1.0.0
- 平台:WinAll
- 类型:编程开发
- 发布:2025-02-08
- 大小:11.9M
- 星级:
Linkis是一个连接多种计算和存储引擎的平台,例如Spark、TiSpark、Hive、Python和HBase。 Linkis基于微服务架构,提供财务级多租户隔离、资源管控、权限隔离等企业级功能,并支持统一变量。UDF、函数、用户资源文件管理,具有高并发、高性能、高可用的大数据作业/请求全生命周期管理能力。
Linkis是一个连接多种计算和存储引擎的平台,例如Spark、TiSpark、Hive、Python和HBase。 Linkis基于微服务架构,提供财务级多租户隔离、资源管控、权限隔离等企业级功能,并支持统一变量。UDF、函数、用户资源文件管理,具有高并发、高性能、高可用的大数据作业/请求全生命周期管理能力。
软件特点
1.统一作业执行服务:分布式REST/WebSocket服务,用于接收用户提交的各种脚本请求。
目前支持的计算引擎包括:Spark、Python、TiSpark、Hive 和Shell 等。
支持的脚本语言包括:SparkSQL、Spark Scala、Pyspark、R、Python、HQL和Shell等;
2、资源管理服务:支持对各个系统和用户的资源使用情况进行实时管理和控制,限制系统和用户的资源使用情况和并发数,提供实时资源动态图表,方便系统和用户的查看和管理用户资源;
目前支持的资源类型:Yarn队列资源、服务器(CPU和内存)、并发用户数等。
3、应用管理服务:管理所有系统的所有用户应用,包括离线批量应用、交互式查询应用和实时流式应用,为离线和交互式应用提供强大的复用能力,提供应用的全生命周期管理。自动释放用户多余的闲置应用;
4、统一存储服务:通用IO架构可以快速连接各种存储系统,提供统一的调用入口,支持所有常见的数据格式,集成度高,简单易用;
5、统一上下文服务:统一用户和系统资源文件(JAR、ZIP、Properties等),统一管理用户、系统、计算引擎的参数和变量,一处设置,各处自动引用;
6、素材库:系统级和用户级素材管理,可共享和转移,支持全生命周期的自动化管理;
7.元数据服务:实时显示数据库表结构和分区状态。
特征
1.Linkis管理控制台
用户可以查看和管理自己的作业
用户可以查看和管理自己的引擎
用户可以查看Yarn的资源使用情况以及用户资源使用情况排名
用户可以配置引擎启动参数
用户可以设置变量
2.支持标签功能
支持标注EngineManager
启动发动机时,支持给发动机贴标签
支持通过标签访问目标引擎
3.AppGovernance应用治理实施
系统级和用户级应用程序生命周期管理,包括离线批量、交互式查询和实时流应用程序
为离线、交互式应用提供复用能力和智能切换能力
智能限流、应用智能保护
4. 支持Flink和Spark结构化流
相关下载
更多
游戏攻略
更多
- 《人间诡视》游戏攻略全结局分享 04.15
- 《洛克王国:世界》PVP精灵选择推荐 04.15
- 《原神》琉鳞石全收集位置图文介绍 04.15
- 《无期迷途》黎莎洛培养建议 04.15
- 《艾塔纪元》终末原罪技能介绍 04.15
- 《原神》瓦雷莎雷火队搭配推荐 04.15