Config (#3502)

* [Update] 修改config

* [Update] 移动存储设置到到terminal中

* [Update] 修改permission 查看

* [Update] pre merge

* [Update] 录像存储

* [Update] 命令存储

* [Update] 添加存储测试可连接性

* [Update] 修改 meta 值的 key 为大写

* [Update] 修改 Terminal 相关 Storage 配置

* [Update] 删除之前获取录像/命令存储的代码

* [Update] 修改导入失败

* [Update] 迁移文件添加default存储

* [Update] 删除之前代码，添加help_text信息

* [Update] 删除之前代码

* [Update] 删除之前代码

* [Update] 抽象命令/录像存储 APIView

* [Update] 抽象命令/录像存储 APIView 1

* [Update] 抽象命令/录像存储 DictField

* [Update] 抽象命令/录像存储列表页面

* [Update] 修复CustomDictField的bug

* [Update] RemoteApp 页面添加 hidden

* [Update] 用户页面添加用户关联授权

* [Update] 修改存储测试可连接性 target

* [Update] 修改配置

* [Update] 修改存储前端 Form 渲染逻辑

* [Update] 修改存储细节

* [Update] 统一存储类型到 const 文件

* [Update] 修改迁移文件及Model，创建默认存储

* [Update] 修改迁移文件及Model初始化默认数据

* [Update] 修改迁移文件

* [Update] 修改迁移文件

* [Update] 修改迁移文件

* [Update] 修改迁移文件

* [Update] 修改迁移文件

* [Update] 修改迁移文件

* [Update] 修改迁移文件

* [Update] 限制删除默认存储配置，只允许创建扩展的存储类型

* [Update] 修改ip字段长度

* [Update] 修改ip字段长度

* [Update] 修改一些css

* [Update] 修改关联

* [Update] 添加操作日志定时清理

* [Update] 修改记录syslog的instance encoder

* [Update] 忽略登录产生的操作日志

* [Update] 限制更新存储时不覆盖原有AK SK 等字段

* [Update] 修改迁移文件添加comment字段

* [Update] 修改迁移文件

* [Update] 添加 comment 字段

* [Update] 修改默认存储no -> null

* [Update] 修改细节

* [Update] 更新翻译（存储配置

* [Update] 修改定时任务注册，修改系统用户资产、节点关系api

* [Update] 添加监控磁盘任务

* [Update] 修改session

* [Update] 拆分serializer

* [Update] 还原setting原来的manager

apps/common/drf/parsers/csv.py

@@ -0,0 +1,105 @@
+# ~*~ coding: utf-8 ~*~
+#
+
+import json
+import chardet
+import codecs
+import unicodecsv
+
+from rest_framework.parsers import BaseParser
+from rest_framework.exceptions import ParseError
+
+from common.utils import get_logger
+
+logger = get_logger(__file__)
+
+
+class JMSCSVParser(BaseParser):
+    """
+    Parses CSV file to serializer data
+    """
+
+    media_type = 'text/csv'
+
+    @staticmethod
+    def _universal_newlines(stream):
+        """
+        保证在`通用换行模式`下打开文件
+        """
+        for line in stream.splitlines():
+            yield line
+
+    @staticmethod
+    def _gen_rows(csv_data, charset='utf-8', **kwargs):
+        csv_reader = unicodecsv.reader(csv_data, encoding=charset, **kwargs)
+        for row in csv_reader:
+            if not any(row):  # 空行
+                continue
+            yield row
+
+    @staticmethod
+    def _get_fields_map(serializer):
+        fields_map = {}
+        fields = serializer.fields
+        fields_map.update({v.label: k for k, v in fields.items()})
+        fields_map.update({k: k for k, _ in fields.items()})
+        return fields_map
+
+    @staticmethod
+    def _process_row(row):
+        """
+        构建json数据前的行处理
+        """
+        _row = []
+        for col in row:
+            # 列表转换
+            if isinstance(col, str) and col.find("[") != -1 and col.find("]") != -1:
+                # 替换中文格式引号
+                col = col.replace("“", '"').replace("”", '"').\
+                    replace("‘", '"').replace('’', '"').replace("'", '"')
+                col = json.loads(col)
+            _row.append(col)
+        return _row
+
+    @staticmethod
+    def _process_row_data(row_data):
+        """
+        构建json数据后的行数据处理
+        """
+        _row_data = {}
+        for k, v in row_data.items():
+            if isinstance(v, list) \
+                    or isinstance(v, str) and k.strip() and v.strip():
+                _row_data[k] = v
+        return _row_data
+
+    def parse(self, stream, media_type=None, parser_context=None):
+        parser_context = parser_context or {}
+        try:
+            serializer = parser_context["view"].get_serializer()
+        except Exception as e:
+            logger.debug(e, exc_info=True)
+            raise ParseError('The resource does not support imports!')
+
+        try:
+            stream_data = stream.read()
+            stream_data = stream_data.strip(codecs.BOM_UTF8)
+            detect_result = chardet.detect(stream_data)
+            encoding = detect_result.get("encoding", "utf-8")
+            binary = self._universal_newlines(stream_data)
+            rows = self._gen_rows(binary, charset=encoding)
+
+            header = next(rows)
+            fields_map = self._get_fields_map(serializer)
+            header = [fields_map.get(name.strip('*'), '') for name in header]
+
+            data = []
+            for row in rows:
+                row = self._process_row(row)
+                row_data = dict(zip(header, row))
+                row_data = self._process_row_data(row_data)
+                data.append(row_data)
+            return data
+        except Exception as e:
+            logger.error(e, exc_info=True)
+            raise ParseError('CSV parse error!')