GIS、向量、文字检索...火山引擎ByteHouse集成全场景分析能力

2024-10-12 10:36:42     来源:

企业业务场景增多、规模扩大,对于底层数据架构来说,可能也会愈加复杂。

比如,某企业因自身业务发展,需要引入向量检索能力,但前期选型的技术架构并不能直接支持,只能重新引入向量数据库。这意味着,研发团队要维护多个组件,让底层架构非常复杂,不仅带来数据冗余,也给数据运维带来压力,造成整体成本增加。

而火山引擎推出的云原生数据仓库ByteHouse不仅能满足海量数据下高性能分析需求,还通过GIS时空分析、全文检索、Vector向量检索,为分析型数据库加持更多能力,让企业用户用一套架构满足多元化分析需求,节省企业资源人力成本,提升数据效能。

据介绍,ByteHouse以 ClickHouse 技术路线为基础,为用户提供极速分析体验,支撑实时数据分析和海量数据离线分析,具备便捷的弹性扩缩容能力,极致分析性能和丰富的企业级特性。特别是随着数据量的爆炸性增长,企业对分析性能的要求水涨船高,ByteHouse能更好以应对大规模数据处理需求。

ByteHouse 在 OLAP 引擎上实现了一系列增强,能支撑宽表、星型模型、雪花模型等更复杂的分析模型,且能实现基础模型的范式化建模,具备流批一体、优化器、增强型易聚合等技术特点,已经在实时数仓、用户圈选、行为分析、广告推荐等场景中落地。

基于全能型的OLAP引擎能力,ByteHouse还集成了适用于不同场景的三大引擎,为用户提供更极致的分析服务。

首先,作为OLAP的ByteHouse在支持结构化数据检索方面具备先天优势,ByteHouse全文检索引擎则补齐了对非结构化、半结构化等数据的快速检索能力,支持商品搜索、知识库搜索、日志分析等场景下对文本数据进行关键字检索,让用户可以构建一体化的数据管理、查询服务,降低运维成本和资源成本。

与行业常见的非结构化数据处理引擎,如ElasticSearch相比,ByteHouse也具备明显优势。在性能层面,相关测试数据显示,当单服务器日志写入量在50MB-200MB/s,每秒写入超过30w记录数的情况下,ByteHouse是ElasticSearch性能的5倍以上。在成本层面,ByteHouse具备更高数据压缩比、消耗更少的CPU资源,在保障高效查询的基础上,还能进一步压缩服务器成本。在稳定性层面,ByteHouse冷热分离机制、负载均衡策略,让数据稳定性更高。

其次,ByteHouse还推出了GIS时空分析引擎,在功能层面,ByteHouse兼容OGC标准,支持导入标准GIS文件格式,目前已支持超过50个主流的空间函数。为了提供更极致的使用体验,ByteHouse还在探索自研优化器适配GIS特性,以及GPU硬件层面优化二维空间函数。通过选取两个关键 GIS 函数ST_DistanceSphere 和 ST_Within,ByteHouse 在优化器、硬件等层面的优化,使其在测试函数的性能上显著超越其他产品。

最后,随着大模型的火热,ByteHouse已支持多种向量检索算法,如 HNSW、Flat、IVFFlat、IVFPQ,并且基于 vector-centric 的思路,构建了高效的执行链路,可以支撑大规模向量检索场景,达到毫秒级的查询延迟。通过开源软件VectorDBBench测试工具,在 cohere 1M 标准测试数据集上,recall 98 的情况下,ByteHouse QPS性能已可以超过专用向量数据库。

“一元化数据、多元化引擎”是ByteHouse的产品理念,旨在通过构建统一的平台为用户提供更丰富的数据分析能力,实现数据效能最大化。通过全文检索引擎、GIS引擎、Vector引擎,ByteHouse让用户在享受OLAP极致性能的同时,无需引入其他架构,就能使用文字检索、地理空间分析、向量检索能力,进一步提升使用体验。

 

标签:

猜你喜欢

有机生活遇上小红书外人节,看金典如何破圈!
合源生物源瑞达新增自身免疫性疾病适应症新药临床试验(IND)申请获默示许可
两大智能联合实验室正式揭牌亮相 新奥集团与南开大学战略合作升级提速
2024相约鹭岛,共话养老金融 | 大咖齐聚,对话养老金融领航者
张雪峰领航蓝鹰立德,打造物业服务数字化管理新典范
沈骏阳:吉他音乐的革新者,行业成就的典范
2024年“千载古乐浓情铸·薪火相传永流芳”冀中笙管乐交流演出活动圆满举办
税优健康险有必要买吗?这一护理险节税又安心,引领健康保障潮流
粮管所、普安堂、芳疗堂、时光照相馆......这个重阳节一张粮票带你重回爸妈“青头”时
国内首款基于OpenHarmony的加油设备在南京发布
鸿蒙原生应用开发者激励计划发布,冲刺HarmonyOS NEXT正式商用
新商家0佣金入驻!京东官宣文具文创用品史上最大力度商家扶持计划
六大扫黑除恶主题公园 覆盖深圳龙华区
深圳通高乐科技双奖加冕,闪耀2024年度经济盛会
官方点赞!爱奇艺《唐朝诡事录·西行》VR全感剧场入选北京市文化和旅游科技创新应用场景十佳案例
上海佛罗伦萨小镇推出3D导览系统,引领智慧“导”“购”新趋势
老年斑成 “心病”?周达春教授妙手除斑
中德先锋 瞩目上海
孩子的航天梦,从探月开始——探月主题伊思沃智能点读地球仪
华为擎云亮相2024中国移动全球合作伙伴大会
空气能展会|“春光圣普森”携最新空气能热泵,亮相德国Chillventa
交易之外,海昌选择经营“年轻力”
胡耕端:企业破卷,必过五关 ——Alpha五维大增长系统鼎力相助
全国水表名企整装亮相中国(宁波)国际水表展览会即将召开
又获近亿元助力,舆芯半导体宣布完成天使+轮融资
京东调研500位银发族与500位年轻人:消费结构重合、运动喜好重合、旅行目的地重合、护肤习惯重合……
还原小时候的味道!小熊电器铁铁煲煮出地道柴火饭
连开7店、日翻台10轮!别人收缩他扩张,蔡澜点心底气何在?
无畏极限,够硬对决!G-SHOCK 助力FISE极限运动世界巡回赛·上海站
2024中国(浙江)环保产业与水科技博览会即将在甬隆重举办