mirror of
https://github.com/jumpserver/jumpserver.git
synced 2025-04-28 19:34:53 +00:00
* Bai reactor tree ( 重构获取完整资产树中节点下资产总数的逻辑) (#5548) * tree: v0.1 * tree: v0.2 * tree: v0.3 * tree: v0.4 * tree: 添加并发锁未请求到时的debug日志 * 以空间换时间的方式优化资产树 * Reactor tree togther v2 (#5576) * Bai reactor tree ( 重构获取完整资产树中节点下资产总数的逻辑) (#5548) * tree: v0.1 * tree: v0.2 * tree: v0.3 * tree: v0.4 * tree: 添加并发锁未请求到时的debug日志 * 以空间换时间的方式优化资产树 * 修改授权适配新方案 * 添加树处理工具 * 完成新的用户授权树计算以及修改一些信号 * 重构了获取资产的一些 api * 重构了一些节点的api * 整理了一些代码 * 完成了api 的重构 * 重构检查节点数量功能 * 完成重构授权树工具类 * api 添加强制刷新参数 * 整理一些信号 * 处理一些信号的问题 * 完成了信号的处理 * 重构了资产树相关的锁机制 * RebuildUserTreeTask 还得添加回来 * 优化下不能在root组织的检查函数 * 优化资产树变化时锁的使用 * 修改一些算法的小工具 * 资产树锁不再校验是否在具体组织里 * 整理了一些信号的位置 * 修复资产与节点关系维护的bug * 去掉一些调试代码 * 修复资产授权过期检查刷新授权树的 bug * 添加了可重入锁 * 添加一些计时,优化一些sql * 增加 union 查询的支持 * 尝试用 sql 解决节点资产数量问题 * 开始优化计算授权树节点资产数量不用冗余表 * 新代码能跑起来了,修复一下bug * 去掉 UserGrantedMappingNode 换成 UserAssetGrantedTreeNodeRelation * 修了些bug,做了些优化 * 优化QuerySetStage 执行逻辑 * 与小白的内存结合了 * 删掉老的表,迁移新的 assets_amount 字段 * 优化用户授权页面资产列表 count 慢 * 修复批量命令数量不对 * 修改获取非直接授权节点的 children 的逻辑 * 获取整棵树的节点 * 回退锁 * 整理迁移脚本 * 改变更新树策略 * perf: 修改一波缩进 * fix: 修改handler名称 * 修复授权树获取资产sql 泛滥 * 修复授权规则有效bug * 修复一些bug * 修复一些bug * 又修了一些小bug * 去掉了老的 get_nodes_all_assets * 修改一些写法 * Reactor tree togther b2 (#5570) * fix: 修改handler名称 * perf: 优化生成树 * perf: 去掉注释 * 优化了一些 * 重新生成迁移脚本 * 去掉周期检查节点资产数量的任务 * Pr@reactor tree togther guang@perf mapping (#5573) * fix: 修改handler名称 * perf: mapping 拆分出来 * 修改名称 * perf: 修改锁名 * perf: 去掉检查节点任务 * perf: 修改一下名称 * perf: 优化一波 Co-authored-by: Jiangjie.Bai <32935519+BaiJiangJie@users.noreply.github.com> Co-authored-by: Bai <bugatti_it@163.com> Co-authored-by: xinwen <coderWen@126.com> Co-authored-by: xinwen <coderWen@126.com> Co-authored-by: 老广 <ibuler@qq.com>
109 lines
3.4 KiB
Python
109 lines
3.4 KiB
Python
# ~*~ coding: utf-8 ~*~
|
|
#
|
|
from collections import defaultdict
|
|
from common.utils import get_logger, dict_get_any, is_uuid, get_object_or_none, timeit
|
|
from common.http import is_true
|
|
from common.struct import Stack
|
|
from common.db.models import output_as_string
|
|
|
|
from .models import Node
|
|
|
|
logger = get_logger(__file__)
|
|
|
|
|
|
def is_query_node_all_assets(request):
|
|
request = request
|
|
query_all_arg = request.query_params.get('all', 'true')
|
|
show_current_asset_arg = request.query_params.get('show_current_asset')
|
|
if show_current_asset_arg is not None:
|
|
return not is_true(show_current_asset_arg)
|
|
return is_true(query_all_arg)
|
|
|
|
|
|
def get_node(request):
|
|
node_id = dict_get_any(request.query_params, ['node', 'node_id'])
|
|
if not node_id:
|
|
return None
|
|
|
|
if is_uuid(node_id):
|
|
node = get_object_or_none(Node, id=node_id)
|
|
else:
|
|
node = get_object_or_none(Node, key=node_id)
|
|
return node
|
|
|
|
|
|
class NodeAssetsInfo:
|
|
__slots__ = ('key', 'assets_amount', 'assets')
|
|
|
|
def __init__(self, key, assets_amount, assets):
|
|
self.key = key
|
|
self.assets_amount = assets_amount
|
|
self.assets = assets
|
|
|
|
def __str__(self):
|
|
return self.key
|
|
|
|
|
|
class NodeAssetsUtil:
|
|
def __init__(self, nodes, nodekey_assetsid_mapper):
|
|
"""
|
|
:param nodes: 节点
|
|
:param nodekey_assetsid_mapper: 节点直接资产id的映射 {"key1": set(), "key2": set()}
|
|
"""
|
|
self.nodes = nodes
|
|
# node_id --> set(asset_id1, asset_id2)
|
|
self.nodekey_assetsid_mapper = nodekey_assetsid_mapper
|
|
self.nodekey_assetsinfo_mapper = {}
|
|
|
|
@timeit
|
|
def generate(self):
|
|
# 准备排序好的资产信息数据
|
|
infos = []
|
|
for node in self.nodes:
|
|
assets = self.nodekey_assetsid_mapper.get(node.key, set())
|
|
info = NodeAssetsInfo(key=node.key, assets_amount=0, assets=assets)
|
|
infos.append(info)
|
|
infos = sorted(infos, key=lambda i: [int(i) for i in i.key.split(':')])
|
|
# 这个守卫需要添加一下,避免最后一个无法出栈
|
|
guarder = NodeAssetsInfo(key='', assets_amount=0, assets=set())
|
|
infos.append(guarder)
|
|
|
|
stack = Stack()
|
|
for info in infos:
|
|
# 如果栈顶的不是这个节点的父祖节点,那么可以出栈了,可以计算资产数量了
|
|
while stack.top and not info.key.startswith(f'{stack.top.key}:'):
|
|
pop_info = stack.pop()
|
|
pop_info.assets_amount = len(pop_info.assets)
|
|
self.nodekey_assetsinfo_mapper[pop_info.key] = pop_info
|
|
if not stack.top:
|
|
continue
|
|
stack.top.assets.update(pop_info.assets)
|
|
stack.push(info)
|
|
|
|
def get_assets_by_key(self, key):
|
|
info = self.nodekey_assetsinfo_mapper[key]
|
|
return info['assets']
|
|
|
|
def get_assets_amount(self, key):
|
|
info = self.nodekey_assetsinfo_mapper[key]
|
|
return info.assets_amount
|
|
|
|
@classmethod
|
|
def test_it(cls):
|
|
from assets.models import Node, Asset
|
|
|
|
nodes = list(Node.objects.all())
|
|
nodes_assets = Asset.nodes.through.objects.all()\
|
|
.annotate(aid=output_as_string('asset_id'))\
|
|
.values_list('node__key', 'aid')
|
|
|
|
mapping = defaultdict(set)
|
|
for key, asset_id in nodes_assets:
|
|
mapping[key].add(asset_id)
|
|
|
|
util = cls(nodes, mapping)
|
|
util.generate()
|
|
return util
|
|
|
|
|