云边协同简明课程.docx

云边协同简明课程导读：大数据时代的个显著特点就是云端与边缘端的协同计算。通过边缘端与云端的协同计算，能够对众多的用户数据进行归纳以及推理，从而挖掘出更多的有用信息，而这些信息可以帮助决策者进行决策，减少风险。这些都离不开云计算与边缘计算。正如前面所述，云计算是一种基于云的计算方式，这里的云指的是通过网络连接的软硬件资源。依赖互联网，可以将各种共享的软硬件资源分配给多个计算机以及其他终端使用，这使得终端设备可以将耗费计算资源多的应用程序、计算过程放到云上进行，大大增加了终端设备的运行效率。01云边协同是什么边缘计算是一种分布式运算的架构，不同于云计算，它将之前由中心服务器负责的任务加以分解，并同将这些分解之后的任务片段分发至网络的边缘端，由边缘端去负责运算。边缘计算降低了相关信息的传输时间，减小了延迟。云计算虽然可以将大型的计算任务放到云端去进行运算，但是对于需耍低延迟的应用来说，则会遇到网络带宽瓶颈等问题。边缘计算可以将任务放到边缘端来进行，因此边缘计算受到了本地边缘终端计算能力的限制。为了解决上述云计算与边缘计算的缺点，云边协同应运而生。云边协同将云计算与边缘计算紧密地结合起来，通过合理地分配云计算与边缘计算的任务，实现了云计算的下沉，将云计算、云分析扩展到边缘端。随着技术的发展，云边协同一定会在未来的互联网产业之中占有一席之地。02云边协同下的数据安全场景随着云计算与边缘计算的发展，数据安全问题也成为一个重要的研究课题。针对数据安全保护，首先需耍明确数据安全保护的相关场景。在云边协同的环境下，主要考虑两种数据安全场景：训练与查询。在云边协同训练场景下，可以有以下应用实例。（1）云边协同人脸识别模型训练对于一个机器学习模型来说，训练样本的数量会影响到最终模型的效果。而在大数据时代下，各种各样的智能设备都可以进行数据样本的采集。然而如果将采集的设备传输到云端进行模型训练则会面临一些问题：一是带宽与延迟的消耗；二是数据保存在云端则会有严重的隐私泄露隐患。在这种场景下，云边协同进行模型的训练则是一个很好的选择。得益于边缘端的数据收集能力，最终训练出来的模型的泛化性能会更好。其中边缘端负责数据的收集以及部分的模型训练，云端负责将边缘端的模型更新聚合并且发送回边缘端。而传统的人脸识别模型训练通常是先收集人脸数据，然后对人脸数据进行标注，同时在中心服务器进行人脸识别模型训练，最后将训练得到的模型部署到边缘端。在上述训练过程中，需要由数据收集边缘端收集数据，同时与中心服务器进行直接的数据交互，而直接的数据交互势必导致隐私的泄露问题。相比于传统的人脸识别模型训练，云边协同下的人脸识别模型训练(见图1)不需要将人脸数据上传至中心服务器，而这防止了某种程度的隐私泄露问题，然而云边协同下的人脸识别模型训练仍然面临着许多问题，例如训练数据的标注问题以及如何更好地进行分布式训练，这些问题都需耍进一步研究与解决。更新聚合发送聚合信息边缘端收集人脸数据图1云边协同人脸模型训练(2)云边协同推荐系统云边协同下的推荐系统训练利用边缘端收集的数据在边缘端木地进行训练，同时将模型的更新信息上传至云端进行模型的整合，本地的模型训练避免了用户的行为习惯、浏览数据等信息被上传至云边，减少了隐私泄露的可能。而传统的推荐系统的实现，则需耍服务提供商(例如淘宝、微博等)主动采集用户的浏览数据、浏览偏好、搜索数据等信息，从而进行推荐模型的训练，最后根据训练的模型来对用户进行有针对的推荐。而这种数据收集不可避免的会产生安全隐私问题。尽管以云边协同的方式进行推荐系统的相关训练可以在某种程度上避免服务商在云端收集用户的浏览记录等隐私数据，以达成数据安全保护的目标，但是该方法仍然面临着一些问题需要解决，例如边缘端设备的性能制约、云边通信的带宽制约等，而这些问题都需要更进一步的研究。(3)传统能源行业下的云边协同数据处理云边协同技术不仅仅可以应用于上述的大数据场景，对于传统的能源行业来说，它涉及的各种设备相对复杂，边缘端传感器较多，若是将收集数据全部发送至云端，则会面临较大的带宽压力，因此转型难度较大。而传统行业下的数据处理往往比较依赖于人工，这也给传统行业的转型带来了困难。接下来以石油行业为例，简述石油行业下云边协同的相关场景以及数据安全问题。不同于传统的人工录入等方法，在云边协同的环境下，针对石油开采，可以将传感器、各种开采设备等收集到的信息进行整合并且发送到具有简单数据处理能力的边缘端进行数据的自动化录入、数据预处理、数据实时分析等操作，然后将处理之后的数据发送到云端进行更完全的数据分析以及决策，最后将决策结果发送回边缘端指导石油的开采等操作，如图2所示。总体数据分析分析结果I 处理后与决策 II 信息简单数据分析与处理各种传感器收集信息父 筋工业设备进行开采图2云边协同下的石油开采相比于传统的石油开采方法，云边协同下的数据处理大幅度提高了数据处理的效率，并且减少了决策所用的时间。尽管如此，云边协同下的数据处理仍有一定的隐私泄露风险，在上述场景中，尽管边缘端承担了一定的数据分析操作，减轻了带宽以及云端的压力，但是数据的更进一步分析仍需要云端的参与，因此在数据传输或者云端分析的过程中仍然有隐私泄露的风险。在云边协同查询场景下，有以下应用实例：（1）云边协同人脸支付随着“刷脸付”时代的到来，人脸识别的精度已经到达了可以进行商用的程度。受限于边缘端支付设备的计算能力与存储能力，不可能完全将人脸识别模型部署于边缘端进行人脸识别，因此“刷脸付”必须要通过云边协同的方式来实现，如图3所示。其中边缘端负责用户人脸数据的捕获以及预处理，以减少对网络带宽的负荷。云端负责人脸识别以及支付服务的相关逻辑。在.上述人脸支付场景卜，边缘、云端、数据传输过程中都可能会出现隐私泄露的问题，例如边缘端设备有可能会被破解成为恶意的边缘端等，因此需要使用相应的隐私保护技术来防止隐私的泄露。人脸采集预处理图3云边协同人脸支付(2)云边协同智慧交通系统随着私家车越来越多，更多的车流量带来的是对交通系统更大的压力。当前的智慧交通的一个研究方向是自动驾驶，然而自动驾驶受限于复杂的路况以及车辆的计算能力等因素，不可能在现阶段进行大规模的部署。而另一个研究方向则是利用道路上的各种摄像头传感器等设备进行数据的收集并且将它们上传到边缘端进行简单的数据分析以及决策，同时在云端进行总体统筹以及数据分析，以实现云边协同下的智慧交通系统。例如通过摄像头收集信息并且利用机器学习算法来智能判别道路交通违法行为，以实现效率上的提升。然而借助摄像头、传感器等设备收集的道路交通信息往往也有可能泄露道路行人的隐私信息，而这对智慧交通的发展带来了挑战。