共享内容审计平台的设计思想
日期：2024-05-11 作者：小天
来源：www.txunda.com
人气：577
一、为什么要建立一个内容审查制度
作者工作的公司属于金融类企业，受到证监会和其他监管部门的严密管制。公司每天都在做直播，在自己的 app上发布很多东西，这是为了确保用户和公司员工发布的内容的合法性和安全性，防止内容的风险。
所谓的内容审查，说白了，就是指我们将文字、照片、音频、文件等信息通过网络等平台进行上传、发表，平台会对我们发布的内容进行审核和过滤，以确保平台的平台生成的内容具有高品质和规范性。
比如，我们把视频放到抖音上，抖音就会审核我们上传的内容。如有违反法律规定或违反规定，将会被下架或禁止使用。
说到这里，也许有人会注意到，不同的平台，审核的方式也会有所不同。通常的审核方法有两种，一种是先审后审，另一种是先审后审，我们公司因为行业的原因，基本上都是采取先审后审的方法，你可以按照自己的职业需求来选择自己的审核方法。
“先审后审”：用户提交的内容，必须经过人工或机器的审核，才能查看。
先发布后审查：用户提交的内容可以被他人看到，然后由人/机器来审查，而这些审查的结果将决定你的内容是否持续可见。
本公司审计程序大体如下，供您参考。
针对这种审核方法，我们在后台进行了设置，以区别不同的应用。
如果这个程序的审核方式是先发布再审查，那么我们就默认用户一条评论，那就是大家都能看到，然后再进行第二次评论，评论的结果会影响到第一次评论。若审核未通过，资料将变更为只有本人能看到。
如果是经过验证的，我们会首先判定这个程序有没有经过阿里云的第三方认证，如果没有阿里云的认证，那就是手动认证。如果是阿里云的审核，我们会根据阿里云的审核标准，对用户的评论进行机器审核。在此要说明的是，针对不同的申请内容，我们也采取了一种机检或不检的方法。
正常情况下，我们在直播的时候，都会打开阿里云的审核，如果你的评论符合标准，就会被认为是经过了审核，然后让所有人都能看到。如果设定了一个参照值，那么这个机器检验的状况只供参考，最后还是要靠人工检验的结果。
三、机器评审&手工评审
上面介绍了常用的审计方法，下面我们就具体分析机器审计和手工审计。在谈到具体的审核种类之前，我们先给你简单地介绍一遍，通常常用的审核信息种类有：文字，图片，声音，视频，文件。对于这些类型，我们已经实现了机审和手工审。
1.机器审计
1）文本
对于文本信息，目前常用的方法有两种，一是关键词匹配，二是自然语言处理。
①关键字的匹配：我们通常将关键字划分为白名词汇，黑名单词汇。
白名单，就是当用户提交的信息符合白名单或者白名单的条件，就会自动通过，并且支持人工审核。
“黑名单”，也可以说是“禁止”两个字，通常都是涉及到宗教禁忌的词汇，或者是淫秽色情的词汇，如果用户在自己的留言中添加了这个词语，那么这个词语就会被自动高亮显示，并且会被认为是不合格的，需要由人工来判断这个对话的内容是不是被允许的。
②自然语言处理（NLP)，通过语法分析、情感分析、词向量分析等方法，实现文本的自动识别与分类，并在满足平台资源库的前提下，将违规信息反馈给用户。比如，暗示收入，广告识别等等。
2)照片审计
图片审查通常使用 OCR，它将图片分解为多个模块，对图片中出现的问题进行抽取，比如图片的主体、图片的文字、联系方式、广告信息（二维码、水印等），然后按照每个片段的内容对其进行汇总和归类，然后将审查结果反馈回来。
3)声频审计
录音方面，本公司现在使用的是讯飞提供的语音翻译服务，可以对声音进行过滤，然后转化为文字，然后根据文本的审核，将声音反馈给我们。
4)录像审计
影片的评审可以理解为声音评审+照片评审。也就是提取出一段视频，然后对该视频中的文本和图像进行一次单独的识别，从而判断该视频的内容是否合法。
（5) 文档审计
目前，我们公司的文档审查技术相对较为简单，就是通过对文档中的文字和图片进行分析和提取，从而判断出有没有敏感、色情、违禁等危险信息。
2.人工审计
人工审核就是由专人在审核后台进行审核，审核人员按照公司的相关规定和个人的经验，对其中的内容（文字、图片、声音等）进行判断。手工审核是一项很繁重的工作，一般来说，每一家公司都会有自己的审核小组。为提升审查员的工作效率，一键推荐做快放、批量审查等功能。
作者工作的公司属于金融类企业，受到证监会和其他监管部门的严密管制。公司每天都在做直播，在自己的 app上发布很多东西，这是为了确保用户和公司员工发布的内容的合法性和安全性，防止内容的风险。
所谓的内容审查，说白了，就是指我们将文字、照片、音频、文件等信息通过网络等平台进行上传、发表，平台会对我们发布的内容进行审核和过滤，以确保平台的平台生成的内容具有高品质和规范性。
比如，我们把视频放到抖音上，抖音就会审核我们上传的内容。如有违反法律规定或违反规定，将会被下架或禁止使用。
说到这里，也许有人会注意到，不同的平台，审核的方式也会有所不同。通常的审核方法有两种，一种是先审后审，另一种是先审后审，我们公司因为行业的原因，基本上都是采取先审后审的方法，你可以按照自己的职业需求来选择自己的审核方法。
如果您需要相关服务，可以找天津天迅达科技有限公司，我们的业务有Web开发、iOS APP、Android APP、微信开发、HTML5开发等，天迅达——您身边的App个性化定制专家！
二、审计类型“先审后审”：用户提交的内容，必须经过人工或机器的审核，才能查看。
先发布后审查：用户提交的内容可以被他人看到，然后由人/机器来审查，而这些审查的结果将决定你的内容是否持续可见。
本公司审计程序大体如下，供您参考。
针对这种审核方法，我们在后台进行了设置，以区别不同的应用。
如果这个程序的审核方式是先发布再审查，那么我们就默认用户一条评论，那就是大家都能看到，然后再进行第二次评论，评论的结果会影响到第一次评论。若审核未通过，资料将变更为只有本人能看到。
如果是经过验证的，我们会首先判定这个程序有没有经过阿里云的第三方认证，如果没有阿里云的认证，那就是手动认证。如果是阿里云的审核，我们会根据阿里云的审核标准，对用户的评论进行机器审核。在此要说明的是，针对不同的申请内容，我们也采取了一种机检或不检的方法。
正常情况下，我们在直播的时候，都会打开阿里云的审核，如果你的评论符合标准，就会被认为是经过了审核，然后让所有人都能看到。如果设定了一个参照值，那么这个机器检验的状况只供参考，最后还是要靠人工检验的结果。
三、机器评审&手工评审
上面介绍了常用的审计方法，下面我们就具体分析机器审计和手工审计。在谈到具体的审核种类之前，我们先给你简单地介绍一遍，通常常用的审核信息种类有：文字，图片，声音，视频，文件。对于这些类型，我们已经实现了机审和手工审。
1.机器审计
1）文本
对于文本信息，目前常用的方法有两种，一是关键词匹配，二是自然语言处理。
①关键字的匹配：我们通常将关键字划分为白名词汇，黑名单词汇。
白名单，就是当用户提交的信息符合白名单或者白名单的条件，就会自动通过，并且支持人工审核。
“黑名单”，也可以说是“禁止”两个字，通常都是涉及到宗教禁忌的词汇，或者是淫秽色情的词汇，如果用户在自己的留言中添加了这个词语，那么这个词语就会被自动高亮显示，并且会被认为是不合格的，需要由人工来判断这个对话的内容是不是被允许的。
②自然语言处理（NLP)，通过语法分析、情感分析、词向量分析等方法，实现文本的自动识别与分类，并在满足平台资源库的前提下，将违规信息反馈给用户。比如，暗示收入，广告识别等等。
2)照片审计
图片审查通常使用 OCR，它将图片分解为多个模块，对图片中出现的问题进行抽取，比如图片的主体、图片的文字、联系方式、广告信息（二维码、水印等），然后按照每个片段的内容对其进行汇总和归类，然后将审查结果反馈回来。
3)声频审计
录音方面，本公司现在使用的是讯飞提供的语音翻译服务，可以对声音进行过滤，然后转化为文字，然后根据文本的审核，将声音反馈给我们。
4)录像审计
影片的评审可以理解为声音评审+照片评审。也就是提取出一段视频，然后对该视频中的文本和图像进行一次单独的识别，从而判断该视频的内容是否合法。
（5) 文档审计
目前，我们公司的文档审查技术相对较为简单，就是通过对文档中的文字和图片进行分析和提取，从而判断出有没有敏感、色情、违禁等危险信息。
2.人工审计
人工审核就是由专人在审核后台进行审核，审核人员按照公司的相关规定和个人的经验，对其中的内容（文字、图片、声音等）进行判断。手工审核是一项很繁重的工作，一般来说，每一家公司都会有自己的审核小组。为提升审查员的工作效率，一键推荐做快放、批量审查等功能。
以上所有设计图和部分文字均来自网络，如有侵权，请call我删除，感谢~
天津天迅达科技有限公司经过多年来对APP、小程序、以及网站建设的探索，已经帮助每一个客户快速开发出属于自己的APP、小程序、网站，是万千企业之选。
相关资讯
- 数字孪生：现实世界的身外化身 2024-12-06
- 微信公众号全面“今日头条化”，自媒体将迎来“第二春”？ 2024-12-04
- 优质长视频的破圈效应 2024-12-05
- 奶茶行业的裂变营销 2024-12-03
- 浅浅分享下支付产品经理如何写全局性的需求文档以及工作流程 2024-12-02
- “麦学”爆红：一场精心策划的营销盛宴 2024-11-29
- 如果遇到麦琳式的领导，怎么办？ 2024-11-28
