mirror of
https://github.com/jumpserver/jumpserver.git
synced 2025-08-19 14:47:29 +00:00
4944ac8e75
* [Update] 修改config * [Update] 移动存储设置到到terminal中 * [Update] 修改permission 查看 * [Update] pre merge * [Update] 录像存储 * [Update] 命令存储 * [Update] 添加存储测试可连接性 * [Update] 修改 meta 值的 key 为大写 * [Update] 修改 Terminal 相关 Storage 配置 * [Update] 删除之前获取录像/命令存储的代码 * [Update] 修改导入失败 * [Update] 迁移文件添加default存储 * [Update] 删除之前代码，添加help_text信息 * [Update] 删除之前代码 * [Update] 删除之前代码 * [Update] 抽象命令/录像存储 APIView * [Update] 抽象命令/录像存储 APIView 1 * [Update] 抽象命令/录像存储 DictField * [Update] 抽象命令/录像存储列表页面 * [Update] 修复CustomDictField的bug * [Update] RemoteApp 页面添加 hidden * [Update] 用户页面添加用户关联授权 * [Update] 修改存储测试可连接性 target * [Update] 修改配置 * [Update] 修改存储前端 Form 渲染逻辑 * [Update] 修改存储细节 * [Update] 统一存储类型到 const 文件 * [Update] 修改迁移文件及Model，创建默认存储 * [Update] 修改迁移文件及Model初始化默认数据 * [Update] 修改迁移文件 * [Update] 修改迁移文件 * [Update] 修改迁移文件 * [Update] 修改迁移文件 * [Update] 修改迁移文件 * [Update] 修改迁移文件 * [Update] 修改迁移文件 * [Update] 限制删除默认存储配置，只允许创建扩展的存储类型 * [Update] 修改ip字段长度 * [Update] 修改ip字段长度 * [Update] 修改一些css * [Update] 修改关联 * [Update] 添加操作日志定时清理 * [Update] 修改记录syslog的instance encoder * [Update] 忽略登录产生的操作日志 * [Update] 限制更新存储时不覆盖原有AK SK 等字段 * [Update] 修改迁移文件添加comment字段 * [Update] 修改迁移文件 * [Update] 添加 comment 字段 * [Update] 修改默认存储no -> null * [Update] 修改细节 * [Update] 更新翻译（存储配置 * [Update] 修改定时任务注册，修改系统用户资产、节点关系api * [Update] 添加监控磁盘任务 * [Update] 修改session * [Update] 拆分serializer * [Update] 还原setting原来的manager
106 lines
3.2 KiB
Python
106 lines
3.2 KiB
Python
# ~*~ coding: utf-8 ~*~
|
||
#
|
||
|
||
import json
|
||
import chardet
|
||
import codecs
|
||
import unicodecsv
|
||
|
||
from rest_framework.parsers import BaseParser
|
||
from rest_framework.exceptions import ParseError
|
||
|
||
from common.utils import get_logger
|
||
|
||
logger = get_logger(__file__)
|
||
|
||
|
||
class JMSCSVParser(BaseParser):
|
||
"""
|
||
Parses CSV file to serializer data
|
||
"""
|
||
|
||
media_type = 'text/csv'
|
||
|
||
@staticmethod
|
||
def _universal_newlines(stream):
|
||
"""
|
||
保证在`通用换行模式`下打开文件
|
||
"""
|
||
for line in stream.splitlines():
|
||
yield line
|
||
|
||
@staticmethod
|
||
def _gen_rows(csv_data, charset='utf-8', **kwargs):
|
||
csv_reader = unicodecsv.reader(csv_data, encoding=charset, **kwargs)
|
||
for row in csv_reader:
|
||
if not any(row): # 空行
|
||
continue
|
||
yield row
|
||
|
||
@staticmethod
|
||
def _get_fields_map(serializer):
|
||
fields_map = {}
|
||
fields = serializer.fields
|
||
fields_map.update({v.label: k for k, v in fields.items()})
|
||
fields_map.update({k: k for k, _ in fields.items()})
|
||
return fields_map
|
||
|
||
@staticmethod
|
||
def _process_row(row):
|
||
"""
|
||
构建json数据前的行处理
|
||
"""
|
||
_row = []
|
||
for col in row:
|
||
# 列表转换
|
||
if isinstance(col, str) and col.find("[") != -1 and col.find("]") != -1:
|
||
# 替换中文格式引号
|
||
col = col.replace("“", '"').replace("”", '"').\
|
||
replace("‘", '"').replace('’', '"').replace("'", '"')
|
||
col = json.loads(col)
|
||
_row.append(col)
|
||
return _row
|
||
|
||
@staticmethod
|
||
def _process_row_data(row_data):
|
||
"""
|
||
构建json数据后的行数据处理
|
||
"""
|
||
_row_data = {}
|
||
for k, v in row_data.items():
|
||
if isinstance(v, list) \
|
||
or isinstance(v, str) and k.strip() and v.strip():
|
||
_row_data[k] = v
|
||
return _row_data
|
||
|
||
def parse(self, stream, media_type=None, parser_context=None):
|
||
parser_context = parser_context or {}
|
||
try:
|
||
serializer = parser_context["view"].get_serializer()
|
||
except Exception as e:
|
||
logger.debug(e, exc_info=True)
|
||
raise ParseError('The resource does not support imports!')
|
||
|
||
try:
|
||
stream_data = stream.read()
|
||
stream_data = stream_data.strip(codecs.BOM_UTF8)
|
||
detect_result = chardet.detect(stream_data)
|
||
encoding = detect_result.get("encoding", "utf-8")
|
||
binary = self._universal_newlines(stream_data)
|
||
rows = self._gen_rows(binary, charset=encoding)
|
||
|
||
header = next(rows)
|
||
fields_map = self._get_fields_map(serializer)
|
||
header = [fields_map.get(name.strip('*'), '') for name in header]
|
||
|
||
data = []
|
||
for row in rows:
|
||
row = self._process_row(row)
|
||
row_data = dict(zip(header, row))
|
||
row_data = self._process_row_data(row_data)
|
||
data.append(row_data)
|
||
return data
|
||
except Exception as e:
|
||
logger.error(e, exc_info=True)
|
||
raise ParseError('CSV parse error!')
|