货拉拉携手亚马逊云科技快速落地 15 项业务生成式 AI 应用,敏捷创新打造智慧物流
货拉拉携手亚马逊云科技快速落地 15 项业务生成式 AI 应用,敏捷创新打造智慧物流

”作为一家互联网物流企业,货拉拉一直致力于利用创新技术,将社区与简化递送服务无缝连接。通过创新物流解决方案赋能广大用户和合作伙伴,将助力数字化进程,推动社会数字包容性的提升。针对海外业务,我们借助亚马逊云科技生成式 AI 方面的能力和服务,探索生成式 AI 前沿技术,优化业务运营,并将生成式 AI 融入商业模式之中。”

——客户评价

概述

货拉拉是一家专注于货运物流领域的科技公司,公司的核心业务包括同城和跨城货运,以及为企业专门定制的企业版物流服务、跑腿、汽车租赁及后市场等等。公司使命是通过互联网和移动互联网技术,打造一个高效、透明、便捷的货运物流服务平台,为货主和货车司机提供优质的货运服务,提高物流效率,降低物流成本。目前,货拉拉的海外业务使用的亚马逊云科技产品与解决方案包括:Amazon Bedrock 中 Anthropic Claude 3 Haiku、Amazon Bedrock 中 Anthropic Claude 3 Sonnet、Amazon API Gateway、Amazon Lambda 等。

项目背景

积极拥抱生成式 AI,平衡应用中的成本、收益和安全问题,提升货拉拉智能化运营水平

通过庞大的货车司机网络和货源网络,快速高效地完成货物运输是货拉拉拥有高度竞争优势的重要因素之一。随着业务的蓬勃壮大,货拉拉期望不断引入最新的人工智能、大数据等新技术来提升运营智能化水平,实现货车调度智能化,提高运力利用率。

 

生成式 AI 技术问世以来,货拉拉迅速成立专门项目组,评估生成 AI 的能力范围及对其业务影响后,坚定地认为,生成式 AI 必将重构公司大部分面向海外的业务场景如营销类和提质增效类场景,并开始积极拥抱生成式 AI。除了产品、算法团队持续研究和推动生成式 AI 技术的应用外,越来越多面向海外客户的业务部门开始主动关注,如何应用大模型来解决和优化业务中的问题。如何应用大语言模型服务好业务,货拉拉主要关注 3 大方面:采用生成式 AI 技术所带来的成本、生成式 AI 对业务带来的收益、以及应用生成式 AI 的同时如何保障数据安全和合规。

 

成本:货拉拉海外业务广、场景多,Token 数巨大,以质检业务为例,每天有数万通电话,且质检包含多个维度,因此每月需要的 Token 数非常庞 大,采用业界大模型无论是自己部署还是调用 API,成本都较高;

 

货拉拉与亚马逊云科技有坚实的合作基础,之前已经依托于亚马逊云科技广泛而深入、灵活可靠、安全合规的基础设施,快速实现了在东南亚和拉丁美洲的业务突破,打造了高性能、高可

解决方案

通过亚马逊云科技 Amazon Bedrock 快速落地生成式 AI 创新应用,多模态识别能力缩短交互、提升客户体验

货拉拉海外业务部门对生成式 AI 技术的应用需求非常旺盛,目前诸多业务已经进行了探索和实践,包括 HR、PMO、邀约客服培训、质检培训、安全风控、财务、金融客服问答等 14 类场景的数十个应用,都针对海外业务基于亚马逊云科技已经部署或开始测试生成式 AI 应用。

 

技术亮点 | 从模型选择与评估、提升数据质量到模型微调,亚马逊云科技端到端生成式 AI 应用创新服务让快速落地

在面向海外业务的各类场景的生成式 AI 应用部署中,货拉拉还需解决模型评估和筛选、数据准备和模型微调等问题,亚马逊云科技提供了一站式端到端的生成式 AI 服务,帮助货拉拉加速在其海外业务中的生成 AI 应用落地。

 

模型评估和筛选:业界LLM(Large Language Model,大语言模型)众多,由于参数量、训练数据及模型架构不同,LLM 能力存在 些显著差异,需要根据具体业务需求和场景选择合适的模型。对于 LLM 的全面的基准测试和评估,需要消耗大量的人力和计算资源。

针对货拉拉的海外业务流程,亚马逊云科技 AI 应用科学家先后对 10 款模型进行测试评估,评估数据包括 1000 条线上真实数据以及 LLM 生成的数据相结合,将准确率、召回率、任务完成率作为模型选择标准。以邀约质检场景邀约话术场景为例,Claude3 Sonnet 在基准测试中准确率为0.98,精准度为 0.99,召回率为 1,F1-Score 为 0.99,横向评估中获得第 。

 

数据生成和数据质量提升:通过亚马逊云科技调用 LLM,根据基本业务流程和提示词来生成数据、清洗数据并提升数据质量,使用 AmazonBedrock API 共生成 3000 条数据,并过滤掉轮次过短、说话主体不明确、没有模拟生成 API 接口输出的对话,以确保数据质量满足业务需求。

 

模型微调:亚马逊云科技基于货拉拉的业务需求对多款开源模型进行了微调,由于当前训练数据相对较少,因此最终采用了 Lora 的方法进行训练。此外,还尝试构造更多样化的数据及人工清洗的方式,在保证数据的质量和多样性的基础上,进行全参微调,进一步提高模型泛化能力。

 

项目管理亮点 | 通过亚马逊云科技 Amazon Bedrock 调用 Claude 3 模型,多模态识别让货拉拉更丝滑处理问题、提升用户体验

货拉拉的海外业务处理中,接收到的信息从原来的文字版信息,越来越多地转变为各类图文信息,接收到的图文问答、保险单比价,都需要从图片里面去解析和提取信息。货拉拉通过亚马逊云科技 Amazon Bedrock 调用 Claude 3 模型,利用其优秀的多模态识别能力进行图文问答、图文推荐、比价等,海外业务实际应用效果非常好。

成果与效益

应用敏捷上线,生成式 AI 让业务更低成本、更好覆盖客户

生成式 AI 实验时间从 3 个月缩短到 6 周,15 个海外业务已部署生成式 AI 应用

 

生成式 AI 在货拉拉内部已经处于爆发阶段,很多海外业务部门带着业务的应用场景来主动来寻求产品和算法团队的支持,积极推进生成式 AI 应用的落地。通过与亚马逊云科技的通力合作,货拉拉业务的各个领域,包括针对海外业务的 14 类业务场景和数十个业务已经开始尝试采用生成式 AI,其中 15 个业务的生成式 AI 应用已经上线。

 

利用亚马逊云科技生成式 AI 能力,货拉拉可以减少模型训练的时间,高效检验不同 LLM 与业务场景需求的匹配度,快速进行业务创新实验,将实验时间从 3 个月缩短到 6 周,将更多的时间用来提升数据的质量和精确度及优化提示词。

 

效率提升、成本降低,应用上线时间从 1 至 2 天缩短为 10 多分钟

 

以前货拉拉上线一项新应用或功能,可能需要一至两天。货拉拉通过构建悟空平台,集成业界主流 LLM,面向公司的海外业务,通过低代码或零代码方式快速搭建应用,利用模型组件化,可视化、采取拖拉拽式的操作,仅十几分钟就能把一项业务搭建起来,大大地促进业务上线效率。引入生成式 AI 不仅提升了业务效率,还为海外业务实现了成本节省,比如培训业务中引入生成式 AI 后,除了提升司机体验外,每年预计为培训师节省上千小时的培训时长,大大降低公司的培训成本。

 

邀约质检覆盖抽样率提升 10 倍,更高效审核对话规范性

 

通过大模型进行质检,可以更多地去检测发现业务运营中的问题。以前由于人力、成本的限制,质检抽样率较低。 现在,货拉拉基于亚马逊云科技的生成式 AI 能力可以将抽检率提升 10 倍,将对客服邀约人员与司机对话的规范性进行更为广泛、高效的审核,规范邀约人员话术行为,必将增强司机的体验。

 

未来,货拉拉将继续与亚马逊云科技加大包括图片在内的其他多模态方面应用,包括视频、音频等,提升运营效率和服务质量,构建了更敏捷、高性能、低成本的智慧货运平台,为海外客户带去更加优质的货运