_ConchNest🐚

用可扩展的增强学习来部署大规模控制系统论文标题为Efficient and scalable reinforcement learningfor large-scale network control，发表在2024年7月的Nature Machine Intelligence子刊上。作者来自北京大学。 本章首先提出了了一个概念，是如何部署一个可扩展的decision-making策略来构造一个大规模控制系统，其关键在于设计一个去中心化的决策优化策略（decentralized policy optimization network）以减少每一个agent之间的数据交互。传统的中心化学习（centralized learning）需要每一个agent都产生一个全局性的观测，然后将这些观测上传至服务器，服务器再根据观测针对每一个agent产生策略。这样做的缺陷是，算法的复杂度极其庞大，很容易就触碰到IO墙，以至于无法满足scalable的需求。所谓scalable decision-making即是将神经网络分布在边缘端，之后让这些边缘端的AI自主与外界进行交互并于其余的agent进行合 ...

ISSCC2023——仅有45个参数的VAD芯片标题为A 47nW Mixed-Signal Voice Activity Detector (VAD) Featuring a Non-Volatile Capacitor-ROM, a Short-Time CNN Feature Extractor and an RNN Classifier 单位为澳门大学，发表在2023年ISSCC 13.2上。 这个work在memory的内部进行运算。极大程度地降低了memory access带来的功耗。

对Madiff的批评Madiff的创新点确实存在一些问题，工作很大一部分依赖于Ajay于2023年ICLR上发表的论文 Is Conditional Generative Modeling all you need for Decision-Making? Madiff代码结构梳理在mad_mpe_tag_code_ctde_exp.yaml文件中定义了训练使用的各个参数。 其中variables定义了5个seed： 每个seed各自是什么含义？ 实验使用的test dataset如下： MPE: multi-agent particle environments (MPE)：三个智能体合作完成一个共同的任务： spread, 三个agent拥有不同的初始化位置，目标是收集地图中存在的三个landmarks Tag，三个捕食者通过合作来捕捉一个训练好的猎物，猎物跑的更快，所以需要捕食者合作来约束猎物的行进路线 World，同样是三个捕食者通过合作来捕捉一个训练好的猎物，猎物能够躲藏进地图中的森林 Multi-Agent Mujoco (MA mujoco)：每个独立的agent可 ...

内向思考独处能使思维更加有条理，而这反过来可以促进逻辑分析的能力。 萨拉会记录下让自己产生情绪波动的事情，把每个事项都用彩色标注。绿色是感觉良好的，红色是感觉不好的，而紫色的则意味着她会以不同的方式进行处理。 领导者应该努力让自己头脑清晰，不仅要清楚了解所面临的挑战，也要清晰地认识自我，知道自己有哪些强项和不足。 应该警惕自我意识，这是一种外向的思维，会导致装腔作势，让我们以别人的看法来做出决定。 四周重峦雄伟，渺小的自我融入进了伟岸崇高的自然。你感到离上帝很近。我其实不是一个特别虔诚的信徒，但我感受到了一种欲望，对神祇的渴望。 “把军队送去战场之前，艾森豪威尔每次都尽力确定逻辑分析已经“谨慎准确地完成了”。 顿悟是信息、直觉和你最高价值观的碰撞。

Collaborative Computing in Multi UAV MEC Network OptimizationMulti-UAV collaborative path planing. 为什么不能用增强学习的方法？因为以下三点风险：GIoT的设备会动态地加入或者离开网络。恶劣的用户会上传低质量甚至有害的数据。甚至会发动逆模型攻击：即通过训练好的模型来提取训练数据。 MADIFF: Offline Multi-agent Learning with Diffusion ModelsMADIFF is the ffrst diffusion-based multi-agent learning framework, which behaves as both a decentralized policy and a centralized controller. 下面这句话说明了为什么diffusion model用于多智能体非监督式学习的创新点。Despite its effectiveness in single-agent learning, applying the g ...

Hydra库的使用1hydra.utils.instantiate('_target_': 'torchmetrics.Accuracy') 该函数用于通过字符串来示例化一个对象。以此句话为例，其目的是为了实例化一个torchmetrics.Accuracy类。但实例化此类需要指定task参数，这个参数为’binary’, ‘multiclass’或是’multilabel’。参见下图： 直接执行该语句，效果相当于：metrics = torchmetrics.Accuracy()它将报出如下的错误： 其原因是，老版本的pytorch中的accuracy函数不需要指定task，然而新版本的由于更新，是需要格外指定一个’task’参数的。 修改后的metric初始化代码为：metrics = torchmetrics.Accuracy(task="multiclass", num_classes=1000) 修改为用hydra实例化对象的写法为： 1hydra.utils.instantiate('_target_& ...