基于区块链的算力并网交易平台研究报告2023.docx

一、研究背景1（一）算力交易平台国内发展现状1（二）算力交易平台海外发展现状2二、问题与挑战5三、关键技术7（一）分布式数字身份与可信凭证技术7（二）链上链下结合的交易处理技术9（三）多维度激励机制9（四）数据访问控制10（五）算力资源调度 11（六）区块链监管11四、解决方案13（一）数字身份链13（二）交易链141、交易模式142、数据访问授权机制183、激励机制184、资源调度机制205、交易监管26（三）算力交易平台DAPP28（四）交易服务通道控制器28五、总结与展望34术语与缩略词表35参考文献36一、研究背景2020年以来，国家发布了以“新基建”为导向的一系列加快数字化基础设施 建设的政策，旨在提升“联结+计算”能力，重塑产业升级模式。2021年5月， 国家四部委发布全国一体化大数据中心协同创新体系算力枢纽实施方案，提 出“东数西算”架构，打通网络传输，提升跨区域算力调度水平。随着网络通信 设备、云计算、边缘计算等基础设施算力能力持续提升，算力泛在化已成为趋势， 呈现云网边端多级计算服务架构。算力并网可以整合各种算力资源，形成一个统 一的算力网络，对各类应用提供普适多样的算力服务。区块链的防篡改、可追溯、 分布式等特性可以为算力并网提供交易技术支撑，激发算力服务提供商的积极性, 同时为用户提供安全、可靠且便捷的统一算力服务交易接口，有助于构建基于算 力的价值网络，推动基于算力的共享经济和数字经济的发展。(-)算力交易平台国内发展现状国内目前算力并网技术主要以政府机构为主导，联合上游硬件厂和下游云计 算、科学计算和网络服务提供商，构建算力交易平台。比较有代表性的有宁夏的 “东数西算” 一体化算力交易平台、国家新兴互联网交换中心主导的上海算力交 易平台(SHIXP)以及中国信通院牵头的全国一体化算力算网调度平台。 “东数西算” 一体化算力服务平台东数西算一体化算力服务平台2023年2月24日在宁夏银川正式上线运营。 作为国内首个算力交易平台，该平台通过资源整合，已将曙光、华为、中兴、阿 里云、天翼云等国内大算力领先的企业，国家信息中心、北京大数据研究院等国 内主要的大数据机构，以及商汤、百度等大模型头部企业共计27家纳入平台。 该平台作为国内首个可以支持算力交易调度的应用系统，为智算、超算、通用算 力等各类算力产品提供算力发现、供需撮合、交易购买、调度使用等综合服务， 将有效结合东西部算力发展需求，助力形成自由流通、按需配置、有效共享的数 据要素市场，赋能东西部数字化发展。 上海算力交易平台在2023年4月26日举办的“算力浦江”（首届）数字经济发展论坛上，上 海算力（试运行）交易平台正式启动，这是依托国家（上海）新型互联网交换中 心（简称"SfflXP "）平台交换架构的独特性，先行先试探索打造的全国首个算 力交易集中平台。依托SHlXP,上海算力（试运行）交易平台的近景目标是：到 2023年底，初步建成算力调度平台，探索算力交易运营机制；进一步扩大交换流 量规模，实现上海市内算力资源调度。据悉，上海电信、上海移动、上海联通、 上海铁塔、东方有线、腾讯云、有孚云等已入驻上海算力（试运行）交易平台。 本次论坛上，14家首批入驻算力交易平台的企业与SHIXP分别签约，将展开深 度合作，资源共享、协同合作，共同推进数字产业的发展。目前上海算力指数排 名位列全国第一，综合算力指数排名位列全国第二。截至2022年底，上海在用 标准机架数41.5万，同比增长15%,算力总规模近9E flops。 全国一体化算力算网调度平台2023年6月5日，由国家工业和信息化部主办，中国信息通信研究院等承办 的“算力创新发展高峰论坛”在京召开。会上，中国信通院联合中国电信共同发 布我国首个实现多元异构算力调度的全国性平台“全国一体化算力算网调度 平台（1.0版）”。该平台统一整合通用算力、并行算力、边缘算力等多源异构 算力资源，实现不同厂家、不同硬件结构资源池的算力只能管理分发调度。尤其 在对算力要求较高的AI训练应用中，该平台通过整合跨资源池、跨平台、跨厂 商的异构算力实现分配调度。目前，已有天翼云、华为云、阿里云等云服务厂家 接入该平台。“全国一体化算力算网调度平台”的发布，不仅有利于贯彻落实国 家“东数西算”工程要求，促进东部数字经济产业链向西部延伸拓展，同时还将 推动算力资源的精准配置和按需获取，有效降低算力能源消耗，助力区域协调发 展和信息通信行业碳达峰、碳中和目标达成。（-）算力交易平台海外发展现状海外算力并网项目大多基于现有的分布式计算（DiStribUtedCOmPUting）和云 计算（CIoUdComPUting）项目进行开发和扩展。本节主要介绍两个规模和知名度 最高的项目：美国的BOINe和欧盟的EGI” 伯克利开放计算网络(BerkerIey Open Infrastructure for Network Computing, BOINC)BOINC是由伯克利提出的网络计算开放基础设施项目。其主要面向志愿计 算(Volunteer computing,是一种分布式计算构架)的开源中间件分布式计算系 统。BOINC最早设计是用于支持SETIHome项目，该项目旨在通过计算分析 外太空无线电信号来探索地外生命和文明的研究计划。目前BolNC已经在医药 学、分子生物学、数学、语言学、气候变化研究、环境科学以及星体物理学等领 域展开了广泛的应用。截止2021年月，BolNC项目包含了 34236名志愿者、 136341台活跃计算节点共计20.164PetaFLOPS算力。BOINC的软件系统可以将 并入计算网络中结点的空闲CPU和GPU用于共享计算网络中的科学计算任务。 2008年BOINC与英伟达合作开发了 BOINC系统的CUDA支持。2009年与 ATi/AMD合作新增了 ATi/AMD GPU的计算支持。BOINC系统中有一套可信计 算系统(Credit system),通过该系统来防止故障硬件和欺诈。同时对返回的计 算结果进行校验，保证计算结果的可靠性。目前BOINC正在与区块链技术进行整合，通过BOINC完成的计算任务会反 馈积分，用户可以将积分兑换Cc)P代币。目前BolNC和区块链结合方式还比较 简单，主要就是积分，未来BoINC计划基于智能合约让其产生真的代币，同时 也会和一些知名的公链进行合作，在区块链上进行深耕。 欧洲网格计算基础设施(EUrOPean Grid Infrastructure, EGI)2008年5月，为了利用网格计算技术促进科学计算和科技进步，欧盟提出建 立EGI,欧洲网格计算基础设施。EGI旨在通过利用网格计算技术将欧盟成员国 的计算基础设施进行连接，共同服务于欧盟在生物医药、星体科学、高能物理、 生物信息学等领域的科学计算项目。截止2021年，EGI项目已经累计为78,100 位用户提供了 508万云CPU时、支撑了 27项欧盟科研计划和450万次作业提 交，参与贡献的有超过800个终端和多达150个数据中心。根据不同的应用实例，EGI向科研人员和社区提供包括批量计算(BatCh computing)、交互计算(Interactive computing)、联邦数据访问(FederatedaCCeSS and data federation)、数据空间(DataSPaCe)以及服务部署(SerViCehOSting)等 服务。批量计算服务为用户提供批量计算访问的API接口，其通过EGI计算集 群提供的高吞吐量计算、在线云存储和负载管理模块根据计算任务需要提供量化、 可扩展和成本资源优化的计算服务。交互计算服务基于Jupyter Notebooks提供交 互式数据分析和可视化的接口，同时通过EGI社区提供的云存储、云计算以及相 关技术服务支持为用户提供一站式、易用的交互式科学计算体验。联邦数据访问 和数据空间服务基于联邦学习技术，提供安全、透明的数据访问与计算服务，为 EGI社区提供安全、高效、多样化的数据访问与使用技术解决方案。服务部署模 块基于EGl联邦计算集群和EGl网络，提供安全、高效、高可用的专用服务器 节点供用户部署计算服务。二、问题与挑战基于区块链的算力并网交易平台面临的挑战主要包括以下几方面：交易效率、 交易安全、交易多样性、交易激励因素复杂性、交易可监管性以及资源调度。 交易效率交易数据上链过程的开销大且比较耗时，简单概括上链过程包括交易数据入 记账队列、打包新区块、交易共识（如DPOS、PBFT共识）、以及广播到所有 节点进行存储。由此可见，数据上链的开销包括共识开销、计算开销、网络开销 及存储开销，而且上链过程受队列调度、共识算法处理、网络广播等因素影响， 会产生时间延迟。因此并不是所有数据都应该上链，而要充分考虑开销和效率， 让无需上链的数据（如：非全局性的、无需多方共识的、数据量大的、计算繁杂 的）放到链下处理。以下棋为例进行说明，棋手的每一步棋并不需要实时上链， 而在棋局结束时，比如总共下了几百手，那么将这几百手的记录汇总起来，连同 输赢结果上链，以便记录战绩。对弈双方的每步棋的数据可以通过链外系统进行 通信，可以达到实时、高效的数据传输。算力交易具有小额、高频交易特征，给 系统处理性能带来很大挑战。 交易安全交易安全问题，主要涉及两方面，包括数字身份安全和数据（包含交易数据 和用户数据）隐私安全。（1）数字身份安全针对分布式系统，用户身份被假冒会造成很大损失，比如在NFr平台艺 术家劳夫曼的作品在他不知情的情况下被拍卖。因此用户数字身份安全认证 及数字身份管理对交易平台来说至关重要。（2）数据隐私安全对于分布式交易系统，交易数据是否公开，不公开的话应该允许哪些用 户查看，另外也要解决用户隐私数据保护问题。 交易多样性算力供应商和用户对计费的策略需求不尽相同，因此，如何支持丰富多样的 算力交易模式，提出一种可以满足用户和供应商多样性需求的算力交易模型也是 本项目的一个难点。另外还需要解决信息孤岛问题，支持交易数据在不同平台之 间可信流转。 交易激励因素复杂性常见的竞价机制是按价格优先与时间优先的原则排序，将买卖指令配对竞价 成交，但算力交易平台需要结合激励条件（如低碳、绿色能源优先、电力利用率、 公益、慈善等社会效益）对算力竞价机制做一些调整，构建一套结合竞价与激励 机制的参数模型，把多维度的数据综合考量，达到更好的社会效益。 交易可监管性监管对于保障交易系统的用户权益至关重要，因此需要对区块链交易进行监 管，设计出可追溯可屏蔽的面向监管友好的区块链交易平台。目前公有链在国内 不被法律允许，因此普遍使用联盟链技术，联盟链监管存在以下挑战：一方面， 不同平台间未建立有效的信息共享机制，不互通不协同，存在封闭性、敏感性、 异构性的难题；另一方面，传统的监管技术往往难以涵盖持续变化的监管需求， 也难以适应各种异构底层区块链技术。 资源调度算力资源调度机制主要根据用户提供的需求与现有算力资源实例之间按照 预定的评分函数和规则进行匹配，然后选择得分较高的算力解决方案为用户进行 分配和调度。现有资源调度方案中预设的评分函数和规则往往是根据经验调整好 的固定参数，难以根据市场和用户需求的变化来动态地进行调整。因此，构建一 套基于数据驱动的算力调度方案有助于平台适应市场需求变化并提高用户满意 度。三、关键技术本平台涉及的关键技术包括：分布式数字身份与可信凭证技术、链上链下结 合的交易处理技术、多维度激励机制、数据访问控制、算力资源调度及区块链监 管。(-)分布式数字身份与可信凭证技术随着数字经济的发展，越来越多的事务处理依赖数