Applications of Artificial Intelligence and Machine learning in smart cities

本文是对《Applications of Artificial Intelligence and Machine learning in smart cities》的翻译，只针对文字部分的翻译，具体图表请查看原文。

摘要

智慧城市旨在有效管理日益增长的城市化、能源消耗、维护绿色环境、提高公民的经济和生活水平，并提高人们有效使用和采用现代信息和通信技术的能力。在智慧城市概念中，信息和通信技术在政策设计、决策、实施和最终生产性服务中发挥着至关重要的作用。本综述的主要目的是探讨人工智能（AI）、机器学习（ML）和深度强化学习（DRL）在智慧城市演进中的作用。上述技术被有效地用于针对各种面向智慧城市的复杂问题设计最优策略。在本次综述中，我们深入介绍了现有技术在智能交通系统（ITS）、网络安全、智能电网（SGs）的节能利用、有效使用无人机（UAV）以确保5G和5G以上（B5G）通信的最佳服务以及智慧城市中的智能医疗系统中的应用。最后，我们提出了各种研究挑战和未来研究方向，其中上述技术可以在实现智慧城市概念方面发挥突出作用。

1. 引言

根据报告[1,2]，到2050年，全球城市人口比例预计将分别达到66%或者70%。城市化的激增将对城市环境、管理和安全产生巨大影响。为了有效应对城市化的快速增长，许多国家提出了智慧城市的概念，以有效管理资源和优化能源消耗。智慧城市项目可以通过开发和采用低碳排放技术来确保绿色环境。全球许多国家（如美国、欧盟、日本等）已经提出并实施了智慧城市项目，以有效应对潜在的挑战。为了满足智慧城市的要求，高效利用信息和通信技术（ICT）是非常必要的，以充分管理数据分析、数据通信和有效实施复杂战略，确保智慧城市的平稳和安全运行。
物联网是大多数智慧城市应用程序中最重要和最关键的组成部分，负责生成大量数据。在存在大量复杂的大数据的情况下，很难精确地决定最准确和有效的行动。可以使用人工智能（AI）、机器学习（ML）和深度强化学习（DRL）等先进技术对大数据进行最佳分析，以达到最佳决策。上述技术考虑了长期目标，并可导致最佳或接近最佳的控制决策。通过增加训练数据量，可以进一步提高上述技术的准确性和精确度，以增强其学习能力，从而提高自动化决策效率。在[12]中，作者表明，智慧城市实现的概念和对大数据的先进数据分析技术的使用大致在同一时代激增。智慧城市、物联网、区块链、无人机（UAV）的概念以及各种应用中基于人工智能、ML和DRL技术的使用仍处于发展阶段，未来将提供更多机会（见图1-3）。
在智慧城市项目中，智能交通、网络安全、智能电网（SGs）和无人机辅助下一代通信（5G和B5G）等各个部门发挥着至关重要的作用。智慧城市的所有前面部分都受到大数据分析和有效使用AI、ML和基于DRL的技术的高度影响，这些技术可以提高智慧城市项目的效率和可扩展性。现代智能交通系统（ITS）深受基于ML和DRL的技术的影响，以实现自动驾驶车辆、确保连接车辆的安全、高效乘客巡游和安全旅行。在[14]中，作者进行了一项调查，讨论了基于DRL的协议在ITS中的作用。网络安全是智慧城市最重要和最重要的方面，可以实现智慧城市的理想概念。为了实现[13]中图所示的安全平面，必须设计一个广泛的、动态的、活跃的网络安全平面，并将其绘制到所提出架构的所有组成部分。AI、ML和基于DRL的技术在网络安全中的作用非常突出，并对智慧城市的几乎所有部门产生了重大影响。在[15]中，作者调查了ML和DRL技术在物联网设备网络安全中的深入作用，这些设备在智慧城市应用中起着基础作用。能量发电、管理和消费是智慧城市的基本特征，大数据分析对基于ICT的SGs运营具有显著影响（见表1）。
人工智能对我们日常生活活动的影响与日俱增。人工智能正在迅速改变我们日常工作的性质，影响人类思维和与环境互动的传统方式。新法规应如何设计，以保护当代和后代免受人工智能的负面影响，并最大限度地发挥其对人类的积极影响？此外，应如何制定辅助政策和法规，以确保社会和经济发展。在[18]中，作者提出了一种基于DRL和神经网络的智慧城市高效犯罪检测系统，以有效识别和分析任何犯罪活动。类似地，[19]中的作者提出了一种基于ML的架构，可用于预测事件并在事件发生之前生成响应。
在这项工作中，我们提供了智慧城市各个部门中基于人工智能、ML和DRL的应用的最新发展。我们重点回顾了上述技术在智慧城市最重要方面的作用和影响，如智能交通系统、网络安全、SGs、无人机辅助的5G和B5G通信以及智能医疗。第2节对各种ML和DRL技术进行了文献综述。第3节提供了ITS的深入细节，第4节详细研究了网络安全方面的最新创新，第5节总结了智慧城市能源生成和管理方面的创新发展。第6节对基于ML和DRL的无人机在5G和B5G通信中的应用进行了最新回顾。同样，第7节侧重于智能医疗保健领域的创新，第8节概述了未来的研究挑战、趋势和解决方案，最后，第9节总结了综述。

2. 机器学习：简要概述

机器学习方法分为三类，即有监督、无监督和RL。RL在图4中给出的不同场景中使用来自所有分支的算法。这里，我们通过示例简要介绍有监督和无监督学习。此外，我们将介绍RL及其主要算法。
在监督学习中，输入和目标值的数据集用于训练人工智能（AI）网络，以找到映射函数，将输入数据映射到输出。监督学习进一步分为回归和分类。监督学习的一些著名例子是线性回归、支持向量机和随机森林。
在无监督学习中，没有可用的指导，只提供未标记和未分类的输入数据集，并用于训练人工智能网络以找到隐藏模式、答案和分布。不同类型的无监督学习问题是聚类和关联。几个例子是k均值和自编码器算法。
马尔可夫决策过程（MDP）大多数RL问题都是基于马尔可夫决策进程（MDP）。MDP的目标是搜索顺序决策问题（SDP）的最优解。在随机SDP的情况下，MDP不能提供绝对解，但可以帮助提供所有可能解中的最优解或最佳解。MDP模型由一组状态、一组动作、一个转换模型和一个奖励函数定义。奖励和转换取决于当前状态、所选操作和下一个结果状态。
强化学习（RL）RL 代理的目标是基于其与给定环境的许多交互来改进其长期聚合奖励。RL算法中进行交互和学习的部分称为代理。代理通过最优策略实现了这一目标。策略是一组给定状态的一系列动作，最优策略是使总体长期回报最大化的策略。代理的关键任务是利用已知的动作，同时探索新的动作，这些动作可能比现有的最佳动作提供更好的回报。探索和开发之间的平衡是RL设置中的一个核心问题，即最大化已知动作的回报或寻找新的视野之间的平衡，甚至可能给出更好的结果。通常，RL算法可分为两种类型，即基于模型和无模型。基于模型的RL算法使用函数近似器，被认为是样本有效的。然而，RL框架中的一个重要问题是泛化和基于模型的算法。概率、复杂和高维模型的泛化不好。解决基于模型的RL问题的不同技术包括价值函数、策略搜索、返回函数和转换模型。蒙特卡罗（MC）和时间差分（TD）是无模型的RL算法。稍后将解释的Q学习和SARSA技术是TD方法的示例。
动态规划（DP）是由Richard Bellman在20世纪中期开发的一种用于优化问题的计算机编程和数学方法。DP是一种递归方法，它将复杂和难懂的任务依次分解为简单和小的问题。DP方法是基于模型的，需要环境的全部可观察知识。因此，在某些给定环境模型为MDP模型的RL问题中，DP用于通过使用值迭代或策略迭代方法来找到最优策略。
蒙特卡洛（MC）方法蒙特卡罗（MC）法使用随机性来解决问题。首次访问MC和每次访问MC是两种不同的MC技术。第一次访问MC是在一组事件期间对一个状态的第一次访问之后返回的平均值，而在一组集事件期间对该状态的所有访问之后的返回的平均数是每次访问MC。与DP相比，MC的主要优势在于：（i）它可以用于样本模型。（ii）MC算法高效且易于实现。（iii）MC通过直接交互学习最优解。
时间差分法 MC技术中的一个问题是，对于更新，必须等待到事件结束，这个问题可以通过时间差分（TD）方法解决，时间差分是一类无模型RL算法，TD方法通过自举从当前值函数估计学习。通常，TD用于预测取决于给定信号未来值的量，但在RL框架中，TD用于对长期未来奖励的预测。这是评估政策最广泛使用的方法之一。两种主要的基于TD的算法是Q学习和SARSA，在下文中简要说明。
SARSA 状态动作奖励状态动作（SARSA）由[21]提出为“修正的Q学习”，因为其与Q学习相似，后来Sutton称之为SARSA，是主动RL-TD控制案例方法。它类似于Q学习，除了SARSA是一种基于策略的学习算法。从其名称可以清楚看出，更新基于“状态操作奖励状态操作”。因此，它从通过遵循当前策略而不是贪婪策略执行的操作的结果中学习最优Q值。
Q-学习建议在随机环境中使用Q-学习技术作为DRL方法。Q-learning是一种用于控制的无模型、离线策略和前向学习TD算法。Q-学习算法通过使用离线策略学习最优策略，即通过观察学习。在Q-学习中，选择下一个动作a作为下一个状态的最大Q值，这是一个贪婪策略，并且它不遵循当前策略，即它是非策略学习。我们还可以通过使用资格跟踪来加速Q学习和SARSA的收敛。在离散动作和大量重复状态的情况下，前述协议效率变差。通常，Q学习技术需要函数近似。
演员-评论家算法演员-评论家技术基于流行的RL算法。它是由价值函数和策略组成的混合方法。算法的评论部分估计值函数，而参与者根据评论反馈更新策略。这类方法介于基于策略的方法和基于价值的方法之间；它估计策略和价值函数。它适用于小的状态-动作空间以及大的动作-状态空间。上述技术的目的是将仅演员和仅评论家的技术联系起来。为了学习值函数，评论家方法利用模拟和近似框架。然后使用价值函数将参与者的策略值更新为提高效率。
贝叶斯方法在DRL中，一个代理从不同的状态获得不同的奖励，并且随着时间的推移肯定会提高奖励。代理训练自己切换到具有最高奖励的状态，同时避免基于最低奖励的状态。环境的不确定性信息在实现报酬最大化方面起着至关重要的作用。贝叶斯模型提供了一种分析架构，以足够的计算成本评估和检查模型不确定性。由于贝叶斯方法能够捕捉学习参数中的不确定性并避免过度拟合，因此贝叶斯方法可以解决开发-探索困境。用于贝叶斯近似的一些著名方法是近视和汤普森采样。汤普森采样可用于解决探索开发问题。
深度Q网络 TD算法特别是Q学习算法是RL中广泛使用的算法之一，但在大状态空间中缺乏通用性问题。在以前的方法中，我们将值函数存储在查找表或矩阵中。例如，在Q学习中，我们将Q表存储在二维数组中。对于具有大状态空间和许多相关动作的环境，很难访问和估计所有状态的值函数。通过引入基于神经网络的RL函数逼近，可以克服泛化问题。深度Q网络（DQN）使用神经网络来估计大状态空间中的值函数。网络的训练是使用Q-学习更新规则进行的。

3. 智能交通系统

ITS是先进传感器、控制系统和ICT的联合应用，可生成大数据，并有效影响ITS的未来和智慧城市的概念。AI、ML，尤其是DRL技术在精确监测和估计城市环境中的实时交通流数据方面发挥着重要作用，而城市环境是可持续ITS的关键因素。在下文中，我们简要概述了ITS的最新发展，这些发展将在智慧城市的实现中发挥重要作用。
在[27]中，Veres等人开展了一项详细的研究，以调查ML和DRL在各种问题中的作用，例如评估交通流、车队管理、乘客巡游、MEC中的通道估计、估计事故可能性等，这些问题可以在智慧城市中有效利用。在[14]中，作者基于ITS中的DRL技术和边缘分析开展了一项研究，重点关注在智慧城市发展中发挥重要作用的问题（例如轨迹设计、车队管理和网络物理安全等）。在这篇[28]文章中，作者提出了一种基于DRL的异构交通环境中增强的驾驶行为决策技术。该方法包括将数据转换为超网格矩阵的数据预处理器、提取基本潜在特征的双流DNN（深度神经网络）和获得最优策略的DRL方法。通过使用连接车辆的各种交通场景的仿真结果，验证了拟议场景的性能。[29]中的作者重点关注移动边缘计算（MEC）中出现的安全问题。为了成功应对可能的安全威胁，提出了一种基于DRL的方法，通过无监督学习学习各种攻击可能性。对所提出的模型与当代基于ML的协议进行了比较分析。性能表明，所提出的技术在精度上获得了6%的额外增益。在[30]中，作者利用基于DRL的方法预测公路中的短期交通流量。他们基于深度长短记忆循环神经网络（LSTM-RNN）对庆布高速公路（韩国）的数据进行分析，以预测拥堵情况。实验结果在预测公路系统中的短期交通流量方面取得了显著的效果。在[31]中，作者进行了一项研究，以有效地利用出租车在某个区域的GPS轨迹数据进行乘客搜索。提出的高效推荐系统（TRec）基于DNN的结构。在TRec中，乘客巡游的完成方式是：出租车司机是学习对象，可以预见道路状况，并评估净收入。建议的推荐系统（TRec）通过使用实际数据集进行评估，以确认其效率和有效性。在[32]中，作者提出了一种基于LSTM（长短期记忆）网络的创新预测技术，用于预测无线通信信道的各种参数，并确保最佳系统性能。LSTM网络能够将吉祥信息排列成阵列，便于分析通信信道不同参数之间的时空相关性。仿真结果验证了该模型在给定场景下的有效性。在[33]中，作者利用DRL技术开发了用于车辆边缘计算的智能卸载系统。作者实现了一个有限马尔可夫链来建模通信和计算状态，并开发了一个基于任务和资源管理的联合优化问题，以提高用户的体验质量（QoE）。将提出的NP难问题进一步分解为两个子问题，以有效地处理它，并通过数值结果验证了其有效性。在[34]中，Ye等人为V2V通信开发了一种基于DRL的创新分散资源分配技术，也可用于单播和广播环境。根据所提出的技术，独立车辆或v2v链路可以自行决定为数据传输和子带搜索最佳功率电平，而不必等待全局信息。仿真结果表明，每个用户或代理都可以有效地学习遵守v2v链路的严格延迟要求，并优化V2I（车辆到基础设施）通信中的干扰。在[35]中，作者创造了基于DRL的技术作为交通流建模的解决方案。提出并实现了栈式自编码器模型，以学习交通流的各个方面，并以贪婪的分层方式进行训练。提出的交通流预测技术的性能超过了现有技术的效率。无人机的快速移动、易于部署、有效载荷能力增加、耐久性长和制造成本低，使其成为智慧城市IT的重要组成部分。无人机的上述吉祥方面已经实现了其在ITS中的作用，从血液输送到包裹输送。ML和DRL技术在优化无人机轨迹、能耗和ITS效率方面发挥着重要作用。在[36]中，作者提出了一种交通感知技术，以促进无人机在车辆环境中的部署，从而提高服务质量。部署的无人机在交通拥堵和相关事件环境中充当MEC节点。仿真结果验证了该协议的性能。[37]中的作者提出了一种基于DRL的机载无人机分散架构，旨在为指定区域的移动用户提供覆盖服务。拟议模型的目标是最大限度地扩大感兴趣区域的覆盖范围，优化无人机的能耗，保持无人机的互连，并将机载无人机限制在感兴趣区域内。仿真结果验证了该模型的优越性能。[38]中的作者探索了利用无人机进行车辆下行链路传输的机会，以最大化吞吐量。该模型基于MDP问题，探索了无人机和车辆的各种过渡状态。为了有效地研究飞行无人机的能耗，提出了基于三种不同DRL技术的DDPG算法。在更真实的环境中研究了该模型的性能，并通过仿真结果进行了验证。

4. 网络安全

智慧城市应该由安全可靠的互联传感器、执行器和继电器组成，以收集、处理和传输数据，确保可靠高效的数字服务。各种设备的互联性带来了需要缓解的网络安全问题。大多数数据是由基于云的物联网设备生成的，这些设备在智慧城市的不同应用中发挥着重要作用。
在[41]中，作者开展了一项简短的调查，以探索智慧城市的各个基本和重要方面。讨论的一些重要挑战包括确保数据的隐私和安全，保护网络免受任何可能的网络攻击，鼓励成熟和负责任的数据共享文化，以及方便使用AI、ML和DRL技术。在[13]中，Hadi等人进行了广泛的调查，从通信、隐私和安全的角度研究智慧城市建筑概念的不同研究问题和相应的解决方案。他们主要关注于探索现有通信协议、传感器、执行器和基础设施集成过程中出现的一系列挑战性问题。在[15]中，Mohammad等人进行了广泛的研究，并从物联网的高级安全角度探讨了ML和DRL技术的作用，最近引入了安全威胁。作者回顾了ML和DRL协议的潜在物联网安全性、优点和局限性，并提出了可能的研究方向。在[42]中，Riccardo等人组织了一次审查，以调查医疗保健部门和生物信息学中实施ML和DRL技术的作用和可能的机会。他们探讨了各种挑战，并提出了在最先进的医疗领域有效使用基于ML和DRL的技术的解决方案。在[43]中，作者利用DRL技术的自学潜力和能力，从训练数据集中探索潜在模式，以区分正常和异常流量。他们提出了一种基于分布式深度学习的方法来检测和识别智慧城市物联网应用中的网络攻击。该方法的效率优于基于浅层模型的方法。在[44]中，作者重点关注智慧城市中物联网设备的安全，并提出了一种基于随机森林ML的架构，称为异常检测物联网（AD IoT）系统。该技术可以使用基于机器学习的数据集评估有效地识别分布式雾节点上发生的任何可疑活动。在[45]中，作者提出了一种基于DRL的创新架构，以保护智慧城市的数字基础设施免受任何网络入侵。该模型根据入侵者的数据行为在早期识别入侵者，并提前保护网络。上述模型有助于开发一系列安全保密的应用程序，以实现智慧城市概念。在[46]中，作者提出了雾云物联网环境中基于ML的安全计算卸载框架，以优化延迟和能耗。该框架基于确保网关数据安全的神经模糊模型，物联网设备使用粒子群优化（PSO）确定计算卸载的有利雾节点。该框架在延迟最小化方面具有更好的性能。在[47]中，作者提出了边缘认知计算（ECC）网络的体系结构，并探讨了关键问题。此外，还为动态和主动服务迁移建立了ECC体系结构。上述ECC架构基于认知移动用户的实践和常见行为。ECC框架的性能分析表明，它比传统的计算架构具有更高的效率。在[48]中，作者提出了一种基于DRL的在线卸载技术，以根据经验开发二进制决策卸载能力。在二进制卸载机制中，每个任务要么在节点级别本地执行，要么完全卸载到MEC设备。提出的模型排除了解决复杂优化问题的需要，并大大降低了计算复杂性，特别是在大规模网络中。该协议实现了接近最优的性能，并显著减少了计算时间。在[49]中，作者设想为联网车辆提供基于ML的安全云服务，以识别网络攻击并满足用户的QoS和QoE。入侵检测机制基于三个阶段，例如流量数据分析、压缩和分类机制，以区分可信和恶意服务请求。仿真结果验证了系统的性能。在[50]中，作者探讨了用于ITS的机载无人机面临的各种安全挑战，并提出了一种基于ANN的方法来消除这些挑战。提出的模型使无人机能够频繁利用系统资源，同时确保机载无人机在不同任务期间的实时安全，例如信息技术、实时数据流和无人机辅助货物交付。通过仿真结果验证了上述技术性能。[51]中的作者重点关注GPS欺骗攻击，伪造信号可以绕过无人机及其地面控制器。他们提出了基于ML的ANN来识别和揭露GPS欺骗攻击。在所提出的技术中，GPS信号的特征基于各种方面，如信噪比、多普勒频移和信号伪距。该协议以高概率和误报率揭示了GPS欺骗攻击。在[52]中，作者开发了一种基于DRL的技术，以阻止对机载无人机的干扰攻击。无论干扰机的地理位置、信道模型和无人机信道模型如何，都可以对所提出的技术进行建模。该技术在评估无人机传输质量的基础上，决定了无人机的轨迹和功率传输水平。仿真结果表明，上述技术提高了部署任务专用无人机的服务质量。

5. 智能电网

在智慧城市中，大数据在革新SG的运营结构和高效能源利用方面发挥着重要作用。SG基于现代信息和通信系统、物联网设备和大量数据。
在SG中，异构数据来自不同的来源，可以有效地分析并用于适当的管理和运营决策。在智慧城市中，大数据分析具有增强电网安全、电力共享决策、管理和电网性能的潜力。然而，最近的趋势表明，SG正在有效地将智能电表大数据用于不同的应用，如负载评估和预测、基线估计、需求响应、负载集群和恶意数据欺骗攻击。相位测量单元（PMU）大数据分析主要用于状态估计、动态模型校准和传输网格可视化。在[60]中，作者最近进行了一项研究，探索了SG中各种大数据辅助应用。在[61]中，作者分析了5G通信在SG中的作用和应用。从SG的角度对现有和未来的5G通信体系结构进行了详细研究。在[62]中，作者进行了广泛的调查，描述了ML和DRL技术在SG相关应用中的作用，并详细讨论了它们在SG网络安全中的性能。在[63]中，作者回顾了DRL技术在故障分析、暂态稳定性、负荷预测、新发电评估和电网控制方面的各种应用。在[64]中，作者提出了一个模型，该模型将共享能源和基于ML的技术视为SGs系统的一个组成部分，有助于根据提供的数据最终确定复杂的逻辑决策。基于ML的模型以有效的方式保持系统性能，并在不利和不利环境中将电力转向临界负载。在[65]中，作者提出了深度长期短期记忆（DLSTM）模型，以预测未来一天和一周的电价和电力需求，并使用实际电力市场数据进行了测试。使用归一化均方根误差（NRMSE）和平均绝对误差（MAE）作为基准参数评估模型性能。提出的DLSTM模型在准确预测价格和负荷方面超过了现有的标准方法。在[66]中，建立了一个测量良好的建筑模拟原型，以研究和分析不同时间相关电力成本下需求响应（DR）政策的影响。采用规则和基于ML的两种DR协议对热泵与蓄热联合系统进行控制和调节。使用计量数据对这两种协议进行了训练和测试，以获得关于能耗、成本、环境、效用、计算和预测模型的最佳决策。在[67]中，作者提出了自主ML平台的概念，这有助于在基于ML的应用程序开发过程中开发决策因素。通过优化复杂设计和专家中断的数量，上述平台可用于开发高级学习。提出的平台性能可以有效地用于智慧城市，特别是在基于ML的数据库管理应用程序中。在[68]中，作者提出了一种在SG中使用ML和电力线通信（PLC）调制解调器的入侵检测和定位机制。PLC调制解调器持续监控CSI，并报告可疑入侵者造成的任何偏差。提议的协议有助于监测能源消耗。[69]中的作者提出了SGs系统的ISAAC（见表2）安全试验台的设计。它是一个跨域、可重新配置的分布式平台，用于模拟运行电力设施的数据。研究人员可以使用ISAAC平台测试和评估其网络安全解决方案。在[77]中，作者开展了一项研究，提出了SG中网络安全和基于ML的技术所面临的各种挑战。[78]中的作者提出了一种基于DRL的技术，称为深度Q网络检测（DQND），用于对抗交流电力系统中的数据完整性攻击。建议的协议在中央和目标网络上实现，以在训练阶段掌握最佳防御策略。实验结果表明，上述协议在速度和检测精度方面都优于基准协议。在[79]中，作者提出了一种基于DRL的创新技术，用于使用无人机检查电力线系统。该模型可有效检测电线中的各种缺陷，例如电线杆断裂、腐烂和啄木鸟损坏等。实验结果表明，该技术在智能监测电线方面具有有效作用，从而进一步提高SG的效率。在[80]中，作者使用了云台变焦（PTZ）摄像机来监控SG和电力线，以提高SG的效率，并消除可能发生灾难的可能性。[81]中的作者专注于使用基于DRL的无人机进行风力涡轮机监测。他们建立了一个系统来分析无人机采集的图像并评估损坏建议。该模型的精度几乎与人类水平相当。

6. 基于DRL的无人机在5G和B5G通信中的应用

对高数据速率、高可靠性和低延迟的日益增长的需求导致现有的移动无线通信系统朝着5G和B5G通信方向发展。为了实现上述目标，AI、ML，尤其是基于DRL的技术被认为是处理涉及大量网络数据的各种复杂通信问题的最有效工具。尽管上述技术在5G通信中发挥了重要作用，但在下文中，我们将更加强调无人机在5G和B5G通信方面的作用，这将进一步在智慧城市创建和可持续发展中发挥关键作用。
[85]中的作者提出了一种创新范式，以有效分析和检测5G和B5G通信网络中的网络攻击。DRL技术通过分析网络流的不同方面来评估网络流量。在[86]中，作者提出了一种识别5G和物联网网络中网络攻击的技术。该技术基于深度自编码的密集神经网络协议，可有效检测各种网络入侵。
尽管有着良好的应用前景，但无人机仍面临许多未解决的挑战。例如，LTE蜂窝覆盖并非无所不在，尤其是在天空中。在LTE中，服务BS天线向下倾斜，主要用于服务地面UE。即使在5G和B5G通信中，由于其架构、干扰和LoS相关问题以及经济挑战，很难实现无处不在的天空覆盖。此外，无人机支持的通信有一些限制，例如，建立一个完美的模型需要对端到端通信、路径损耗模型、信道和天线模型以及地形或环境模型等进行现实考虑。最重要的是，高级通信系统中的许多优化问题都是高度非凸的，很难有效解决。
基于ML的方法称为DRL，是有效应对各种复杂挑战的最佳选择，例如，通过学习无人机飞行动力学避免空中无人机碰撞、无人机在移动平台上着陆、基于旋翼数量的无人机识别、基于数据采集和图像处理技术的精准农业土壤含水量估算和植物识别、基于无人机飞行轨迹的联合优化问题以及从GTs获取更新数据的时间表等。接下来，我们简要总结了一些此类研究工作，以巧妙地处理许多此类面向无人机的问题。在[87]中，Challita等人提出了一个使用回波状态网络（ESN）的深度（RL）框架，用于许多机载无人机的轨迹优化。提出的框架有助于无人机减轻GBS的干扰并优化数据通信延迟。在所提出的框架中，每个无人机都是一个独立的玩家，单独和联合学习其轨迹、传输功率级和关联向量。为了确保无人机的最优轨迹和相关资源，提出了基于ESN的DRL算法。根据作者的主张，这是首次尝试将基于ESN的DRL方法用于无人机通信，以提高GBS的能效、延迟和干扰之间的改善。在[88]中，Herald等人提出了一个框架，其中无人机携带基站，并作为网络用户的组成部分。增强Q学习系统用于提高机载状态下的和速率。在[89]中，Challita等人利用基于ESN的DRL算法来引导无人机并优化地面基站的干扰水平。机器和深度学习最适合用于模式识别，可以为使用雷达技术的无人机分类和识别提供合适的研究方向（见表3）。

6.1 基于DRL的无人机辅助毫米波通信

如果使用毫米波带宽进行无线通信，无人机支持的无线传感器网络可以承受更高的数据速率通信。毫米波较短的波长有助于在单个芯片上高效地布置微型天线，以开发波束形成天线阵列，是无人机辅助通信的理想选择。此外，毫米波波束的定向特性有助于减少干扰并增强数据安全性。图5显示了一种提供基于毫米波通信的网络覆盖的机载无人机，并描述了毫米波链路甚至可以被人阻断。在本小节中，我们将简要概述DRL及其在5G 毫米波通信中的应用。为开发不同的关键技术以缓解现有挑战并改进毫米波通信，已经做出了各种努力。在下文中，我们将重点介绍基于DRL的不同方法，以设计高效的无人机辅助5G毫米波通信。Fadi等人提出了一个框架，以使用最佳数量的无人机，在给定区域提供经济高效的5G网络覆盖。该问题使用线性优化方程建模，并通过遗传和模拟退火（SA）算法有效解决。在[92]中，Meng等人提出了一种基于无人机的动态基站通信系统。无人机配备了一个可移动的圆柱形天线，以提供全方位覆盖。此外，传统的姿态估计技术被使用深度神经网络的姿态估计机制所取代，以开发更可靠的通信链路。基于仿真实验的结果验证了该方法的有效性。

6.2 无人机定位实现吞吐量最大化和数据卸载

在[93]中，建议在云无线接入网络（CRAN）环境中使用缓存无人机，以优化用户设备的体验质量（QoE）。提出的模型利用人类行为和日常常规模式建立用户与无人机的关联、无人机的最佳位置，并将数据缓存在无人机上以实现高效利用。作者利用ESN技术有效预测基于网络可用性和用户信息的用户行为（例如，移动性、内容请求）。基于上述信息，作者推导了无人机的最佳位置和无人机缓存内容。在[94]中，Zhang等人提出了一个框架，用于预测无人机作为中继基站的部署，以在热点或用户高拥塞情况下帮助蜂窝基站。为了建模蜂窝数据模式和网络拥塞的可能性，使用了基于小波分解和压缩感知的ML技术。提出了合约匹配问题，以将最优数量的无人机分配给预测的数据需求区域。仿真结果证实，所提出的无人机预测部署显著改善了热点地区地面基站的总体性能。在[95]中，Yirga等人提出利用多层感知器（MLP）和长短记忆（LSTM）技术预测无人机的最佳位置，以提高用户吞吐量和系统性能。通过联合使用前面的技术（如MLP和LSTM）进行回归任务和K-means聚类协议生成类来评估系统性能。对比分析研究表明，该方法提供了准确的无人机位置，并提高了用户吞吐量。

7. 智慧城市医疗保障和机器学习

随着先进传感器、高性能物联网设备、云计算和数据速率的增加，AI、ML和DRL技术在称为健康智能的先进医疗机制中得到了广泛应用。上述技术在疾病诊断、治愈预测、特定疾病的社交媒体分析、医学成像中发挥着重要作用。在下文中，我们将简要讨论有关智慧城市医疗保健的最新研究趋势和活动。
[106]中的作者对5G通信在卫生保健系统中的作用、所需的技术、硬件、架构进行了研究，并分析了关键目标。他们的主要贡献集中在基于5G的医疗体系结构和组成技术、通信协议和技术的分类以及物联网医疗系统面临的网络层问题（例如路由、调度和拥塞控制等）。[107]中的作者对使用AI、ML、DRL应用于医疗系统的大数据分析进行了深入研究。作者探讨了上述技术在复杂数据分析、分类、诊断、疾病风险、最佳治疗和患者生存预测方面的各种优势。然而，上述技术的使用带来了许多需要充分解决的挑战（例如，精确的模型训练、解决实际的临床问题、医生对数据分析工具和研究中的数据的理解，以及关注明确的伦理考虑）。在[108]中，作者排除了在未来卫生保健系统中，人工智能将完全取代医生的概念，并提到了四个领域（例如，患者监测、管理、卫生保健调解和临床医生决策），在这四个领域中，上述技术可以发挥重要作用。高效人工智能系统的开发将基于上述领域的实际数据。在[109]中，作者讨论了将人工智能用于药物发现目的的看法，这将重塑现有制药行业的研究和药物开发方法。在[110]中，作者概述了各种潜在的AI、ML和DRL协议，这些协议可以增强基于物联网的医疗行业。在[111]中，作者提出了一种名为HealthFog的新型架构，用于高效、自主地分析心脏病。提出的框架由DRL协议支持的边缘计算设备组成，用于精确分类和管理传入患者的数据。[112]中的作者提出了一种创新的安全机制，称为HealthGuard。该技术基于ML协议，用于识别智能医疗系统（SHS）中的可疑和怀疑活动。HealthGuard持续监控各种SHS设备的基本操作，并将生命体征与患者体内发生的变化进行比较，以区分平静和警报活动。在[113]中，作者提出了一种远程监控系统，该系统使用远程身体传感器和本体规则，由通信协议和REST API支持。在[114]中，作者提出了使用ML和DRL技术评估卫星图像和绘制遥远社区地图的想法，以便更好地提供医疗保健和规划援助。[115]中的作者对DRL协议在医学图像分析中的影响进行了研究，并对与胃和脾脏问题相关的各种综合征类型进行了分类。[116]的作者开发了一种基于ML的技术来评估患者经皮冠状动脉介入治疗（PCI）后的生存机会（见表4）。

8. 挑战和未来研究方向

基于AI、ML和DRL的应用已显示出良好的结果，从现有的智慧城市文献中可以明显看出。然而，学术界和行业专家可以专注于以下开放性研究问题，这些问题可以有效地利用人工智能、ML和DRL方法来进一步提高智慧城市的效率：

• 为了更准确、更精确的决策过程，需要大量训练数据（例如，车速、位置、车辆间距、驾驶员行为、UAV高度、中继BS等）来更好地训练ML和DRL协议。
• 使用ML技术联合优化无人机机载能力（例如缓存、计算、处理、传感和通信资源）及其轨迹，可以显著提高无人机与车辆通信期间的ITS效率。
• 在存在规则和不规则形状基础设施的情况下，利用不同的无人机和不同方向的车辆速度，对车辆-车辆、车辆-无人机、无人机-无人机和无人机-地面军事系统通道等进行建模的测量活动。
• 标准化SG中的大数据开发、各种SG设备互操作期间使用的通信协议，以及选择最有效的AI、ML、DRL技术，以将SG性能提高到接近最佳水平。
• 2020年，预计5G技术将实现标准化，这就需要对SG通信基础设施进行标准化，以实现现有SG和新5G技术的有效互操作性。
• 优化断电情况是任何SGs和电力公司的主要关注点。为了开发高效的网络，通信延迟评估分析是非常必要的。基于ML和DRL的技术在设计策略以实现5G通信技术之间的切换，同时确保无缝供电方面发挥着关键作用。
• 在智慧城市中，安全问题是面向应用的。例如，智能电表的安全漏洞可能导致能源操纵和SGs效率低下。因此，需要基于更先进和大数据分析的创新技术，以确保智慧城市应用的网络安全和安全。

9. 结论

我们回顾了最近智慧城市在学术界和工业界完成的不同复杂问题和应用方面的研究趋势和发展。对AI、ML和DRL技术的基本概念进行了简要研究。我们探讨了上述协议的有效作用，以针对被认为对智慧城市效率至关重要的各种应用设计近乎最佳的策略。我们介绍了智能治理设计中最新的AI、ML和DRL应用，以及智慧城市中AI辅助和AI兼容新法规、能效ITS、SG、网络安全和无人机辅助5G和B5G通信的需求。我们简要介绍了上述技术在智能医疗中日益增长的作用，包括高效诊断、健康恢复、面向健康的物联网设备的安全性，以及在发现最方便的药物方面可能发挥的作用。最后，我们提出了面向智慧城市的近期研究挑战和未来研究趋势，其中先前的技术可以发挥重要作用。