亚马逊AWS官方博客
基于开源工具构建 EMR 数据分析平台(五)EMR 最佳实践
本文系统的从版本选择、节点选择、自动扩缩机制、集群配置等各个角度介绍和总结了常用的 EMR 最佳实践,从性能、可靠性、成本多方面阐述了 EMR 的优化方案和原理,最后通过项目实践展示了应用最佳实践后的效果,进一步验证了基于 EMR 和开源组件构建的数据分析平台在性能、成本和可靠性上的优势。
基于开源工具构建 EMR 数据分析平台(四)使用 Kyuubi 进行 Spark SQL 任务提交
通过将 Kyuubi 与 DolphinScheduler 集成,可以轻松实现 Spark Sql 任务的调度和管理,进一步提升了大数据工作流的效率和可视化管理能力。Kyuubi 在数据分析和处理场景中提供了强大的支持,为企业级大数据处理提供了一个灵活且高效的解决方案。
基于开源工具构建 EMR 数据分析平台(三)使用 DolphinScheduler 进行 EMR 任务调度
本文介绍了如何在基于开源工具构建的 EMR 数据分析平台中,通过引入 Apache DolphinScheduler,实现对 EMR 任务的统一管理和调度。DolphinScheduler 不仅提供了可视化的任务编排界面,还支持多种任务提交方式,能够满足不同场景下的 EMR 任务调度需求。
基于 Vanna.AI 和 Amazon Bedrock 构建 Text-to-SQL 方案
结合 Vanna 框架与 Amazon Bedrock 所提供的大模型能力,构建面向 Amazon RDS/Aurora MySQL 和 Amazon Redshift 的高效查询分析解决方案。该方案融合了大模型强大的自然语言理解能力与 AWS 数据库服务的高性能特性,为用户开辟了一条低门槛、高效能的 Text-to-SQL 实现路径。
在 AWS EC2 上快速部署 NebulaGraph:图数据分析实战
随着数据关联性的日益增强,传统关系型数据库在处理复杂关系和大规模连接查询时表现出瓶颈。图数据库以其强大的关系表达能力和高效的遍历性能,成为社交网络、推荐系统、知识图谱等领域的首选技术。NebulaGraph 作为一款开源分布式图数据库,具备高性能、可扩展的特点,适合处理海量图数据。 本文将带你一步步在 AWS EC2 上快速部署 NebulaGraph,并通过一个示例场景完成图数据的生成与分析,帮助你快速上手 NebulaGraph 图数据库的实战应用。
使用 Amazon EventBridge 和 AWS Lambda 在 AWS Secrets Manager 自动创建和备份密钥历史版本
这个方案能够为客户的每一次 AWS Secrets Manager 密钥更改自动生成 staging label 并保留最新的 20 个历史版本,不需要人为干预和手动操作。方案支持将密钥以及历史版本保存在当前区域,也可以跨区域跨账号保存和备份。
智能化 Graviton 迁移:Amazon Q CLI 加速应用架构现代化
在这篇技术博客中,将通过一个实际的 Java 演示应用为例,带您一步步探索如何借助 Q CLI 的强大功能,轻松识别潜在的迁移障碍,获取针对性的解决方案建议,并最终实现应用在 Graviton 平台上的顺利部署与运行。从依赖分析到代码适配,从构建多架构镜像到应用部署,这将是一次从 x86 到 ARM 架构的完整迁移实战之旅。无论您是考虑大规模微服务迁移,还是评估关键业务应用的架构转换,这篇文章都将为您提供实用的技术指导和决策参考。
打造 CI/CD 平台:Jenkins 在 AWS 上的一键部署指南
Jenkins 作为业界最流行的开源 CI/CD 工具之一 ,为自动化构建、测试和部署提供了理想的解决方案。本文将介绍如何利用 AWS 服务,实现 Jenkins 的一键式部署,该方案已在多个场景下得到验证。
AWS Lake Formation 数据权限管控实践指南:从 EMR 集成到 BI 工具访问控制
本文详细介绍 AWS Lake Formation 数据湖权限管控实践,展示如何通过集中式权限模型实现从元数据到底层数据的精细化访问控制。重点阐述 Lake Formation 与 EMR 的无缝集成及 BI 工具通过 Athena 访问数据时的权限控制,提供完整配置步骤和实战案例,助力企业构建安全可控的数据湖方案。
AWS 一周综述:Amazon Bedrock 中的 Claude 4、EKS 控制面板、社区活动等(2025 年 5 月 26 日)
在科技社区中,我们有许多机会与其他志同道合的人一起学习并交流。上周,AWS 客户参加了迪拜 AWS Summi […]