上架包预检

时间 2020-04-15

标签预检繁體版

原文原文链接

1、 iOS 端常见被拒缘由汇总

App 内包含分发下载分发功能（引导用户下载 App 等功能）。
提供的测试帐号没法查看实际功能
经过接口返回布尔值判断 App 是否升级，但审核期间该接口不请求
审核帐号，任什么时候候在任何 ip 登陆看到的都是审核版。
提供的登录帐号和密码不对，登录不上
运营填写的营销关键字有问题
元数据问题，iPhoneX 截图中 iPhone 壳子是 iPhone7 的，应该是 iPhoneX
说明隐私权限的做用。
营销文字，某些能力须要资质。此类功能在审核期间都关闭
修改隐私权限相关的文案，作到让审核人员看得懂，作到「信达雅」
App 没法登录进去，属于 bug 级别
App 没有适配 ipad。
Privacy - Data Collection and Storage，说明 App 没有作隐私权限的收集。
访问 h5 页面出现问题。属于 bug 级别
App 集成了设备指纹 SDK, 会上传用户设备安装应用列表。解决：移除设备指纹SDK, 成功上架

2、 App 被拒缘由汇总

从 Android 和 iOS 2端 App 被驳回的一些信息来看，驳回缘由通常划分为下面几类：javascript

审核期间，资源和配置都应该调节为审核模式
App 包含某些关键字
审核相关的元数据问题（截图与实际内容不匹配、机型和截图不匹配、提供给审核的帐号和密码登录不上）
使用的隐私权限必须说明，文案描述必须清晰
App 存在 bug （帐号没法登录、没有适配 ipad、访问 h5 打不开）
诱导用户打开查看更多 App
Android 应用未加固
应用缺少相关的资质和证书

3、方案

常见审核失败的缘由不少，很大比重一个就是代码或者文本里面存在一些敏感词，因此本文的侧重点在于关键词扫描。像上架设置的截图和当前设备不匹配、提供的帐号没法使用功能 😂 这种状况打一顿就行了，非主流行为不在本文范围内java

3.1 词云谁去收集？

每一个公司通常来讲都不止一条业务线，因此每一个业务线的 App 状况和内容也不同，因此敏感词也是千差万别。敏感词收集这个事情，应该由业务线主要负责 App 的开发者来收集，根据平时的上架状况，苹果的驳回的邮件来整理。算法

3.2 方案设计

公司自研工具 cli（iOS SDK、iOS App、Android SDK、Android App、RN、Node、React 依赖分析、构建、打包、测试、热修复、埋点、构建），各个端都是经过「模版」来提供能力。包含若干子项目，每一个子项目就是所谓的 “模版”，每一个模版其实就是一个 Node 工程，一个 npm 模块，主要负责如下功能：特定项目类型的目录结构、自定义命令供开发、构建等使用、模版持续更新及 patch 等。npm

因此能够在打包构建（各个端将项目提交到打包系统，打包系统根据项目语言、平台调度打包机）的时候，拿到源代码进行扫描。基于这个现状，因此方案是「扫描是基于源代码出发的扫描的」。json

按照 iOS 端 pod install 这个过程，cocoapods 为咱们预留了钩子：PreInstallHook.rb、PostInstallHook.rb，容许咱们在不一样的阶段为工程作一些自定义的操做，因此咱们的 iOS 模版设计也参考了这个思想，在打包构建前、构建中、构建后提供了钩子：prebuild、build、postbuild。定位好了问题，要作的就是在 prebuild 里面进行关键词扫描的编码工做。api

肯定了何时作什么事情，接下来就要讨论怎么作才合适。数组

3.3 技术方案选择

字符串匹配算法 KMP 是一开始想到的内容，针对某个 App 进行时机测试，发现50多个敏感词的状况下，代码扫描耗时60秒钟，以为很是不理想，看 KMP 算法没有啥问题，因此换个思路走下去。async

由于模版本质上 Node 项目，因此 Node 下的 glob 模块正好提供根据正则匹配到合适的文件，也能够匹配文件里面的字符串。而后继续作实验，数据以下：9个铭感词语、代码文件5967个，耗时3.5秒工具

3.4 完整方案

业务线须要自定义敏感词云（由于每条业务线的关键词云都不同）
敏感词须要划分等级：error、warning。扫描到 error 须要立刻中止构建，并提示「已扫描到你的源码中存在敏感词***，可能存在提交审核失败的可能，请修改后再次构建」。warning 的状况不须要立刻中止构建，等任务所有结束后汇总给出提示「已扫描到你的源码中存在敏感词***、***...，可能存在提交审核失败的可能，请开发者本身确认」
铭感词云的格式 scaner.yml 文件。

error: 数组的格式。后面写须要扫描的关键词，且等级为 error，表示扫描到 error 则立刻中止构建
warning：数组的格式。后面写须要扫描的关键词，且等级为 warning，扫描结果不影响构建，最终只是展现出来
searchPath：字符串格式。可让业务线自定义须要进行扫描的路径。
fileType：数组格式。可让业务线自定义须要扫描的文件类型。默认为 sh|pch|json|xcconfig|mm|cpp|h|m
warningkeywordsScan：布尔值。业务线能够设置是否须要扫描 warning 级别的关键词。
errorKeywordsScan：布尔值。业务线能够设置是否须要扫描 error 级别的关键词。

error:
  - checkSwitch
warning:
  - loan
  - online
  - ischeck
searchPath:
  ../fixtures
fileType:
  - h
  - m
  - cpp
  - mm
  - js
warningkeywordsScan: true
errorKeywordsScan: true

iOS 端存在私有 api 的状况，Android 端不存在该问题私有 api 70111个文件，每一个文件假设10个方法，则共70万个 api。因此计划找出 top 100.去扫描匹配，支持业务线是否开启的选项

其实这些问题都是业界标准的作法，确定须要预留这样的能力，因此自定义规则的格式能够查看上面 yml 文件的各个字段所肯定。明确了作什么事，以及作事情的标准，那就能够很快的开展并落地实现。post

'use strict'

const { Error, logger } = require('@company/BFF-utils')
const fs = require('fs-extra')
const glob = require('glob')
const YAML = require('yamljs')

module.exports = class PreBuildCommand {
  constructor(ctx) {
    this.ctx = ctx
    this.projectPath = ''
    this.fileNum = 0
    this.isExist = false
    this.errorFiles = []
    this.warningFiles = []
    this.keywordsObject = {}
    this.errorReg = null
    this.warningReg = null
    this.warningkeywordsScan = false
    this.errorKeywordsScan = false
    this.scanFileTypes = ''
  }

  async fetchCodeFiles(dirPath, fileType = 'sh|pch|json|xcconfig|mm|cpp|h|m') {
    return new Promise((resolve, reject) => {
      glob(`**/*.?(${fileType})`, { root: dirPath, cwd: dirPath, realpath: true }, (err, files) => {
        if (err) reject(err)
        resolve(files)
      })
    })
  }

  async scanConfigurationReader(keywordsPath) {
    return new Promise((resolve, reject) => {
      fs.readFile(keywordsPath, 'UTF-8', (err, data) => {
        if (!err) {
          let keywords = YAML.parse(data)
          resolve(keywords)
        } else {
          reject(err)
        }
      })
    })
  }

  async run() {
    const { argv } = this.ctx
    const buildParam = {
      scheme: argv.opts.scheme,
      cert: argv.opts.cert,
      env: argv.opts.env
    }

    // 处理包关键词扫描（敏感词汇 + 私有 api）
    this.keywordsObject = (await this.scanConfigurationReader(this.ctx.cwd + '/.scaner.yml')) || {}
    this.warningkeywordsScan = this.keywordsObject.warningkeywordsScan || false
    this.errorKeywordsScan = this.keywordsObject.errorKeywordsScan || false
    if (Array.isArray(this.keywordsObject.fileType)) {
      this.scanFileTypes = this.keywordsObject.fileType.join('|')
    }
    if (Array.isArray(this.keywordsObject.error)) {
      this.errorReg = this.keywordsObject.error.join('|')
    }
    if (Array.isArray(this.keywordsObject.warning)) {
      this.warningReg = this.keywordsObject.warning.join('|')
    }

    // 从指定目录下获取全部文件
    this.projectPath = this.keywordsObject ? this.keywordsObject.searchPath : this.ctx.cwd
    const files = await this.fetchCodeFiles(this.projectPath, this.scanFileTypes)

    if (this.errorReg && this.errorKeywordsScan) {
      await Promise.all(
        files.map(async file => {
          try {
            const content = await fs.readFile(file, 'utf-8')
            const result = await content.match(new RegExp(`(${this.errorReg})`, 'g'))
            if (result) {
              if (result.length > 0) {
                this.isExist = true
                this.fileNum++
                this.errorFiles.push(
                  `编号: ${this.fileNum}, 所在文件: ${file},  出现次数: ${result &&
                    (result.length || 0)}`
                )
              }
            }
          } catch (error) {
            throw error
          }
        })
      )
    }

    if (this.errorFiles.length > 0) {
      throw new Error(
        `从你的项目中扫描到了 error 级别的敏感词，建议你修改方法名称、属性名、方法注释、文档描述。\n敏感词有 「${
          this.errorReg
        }」\n存在问题的文件有 ${JSON.stringify(this.errorFiles, null, 2)}`
      )
    }

    // warning
    if (this.warningReg && !this.isExist && this.fileNum === 0 && this.warningkeywordsScan) {
      await Promise.all(
        files.map(async file => {
          try {
            const content = await fs.readFile(file, 'utf-8')
            const result = await content.match(new RegExp(`(${this.warningReg})`, 'g'))
            if (result) {
              if (result.length > 0) {
                this.isExist = true
                this.fileNum++
                this.warningFiles.push(
                  `编号: ${this.fileNum}, 所在文件: ${file},  出现次数: ${result &&
                    (result.length || 0)}`
                )
              }
            }
          } catch (error) {
            throw error
          }
        })
      )

      if (this.warningFiles.length > 0) {
        logger.info(
          `从你的项目中扫描到了 warning 级别的敏感词，建议你修改方法名称、属性名、方法注释、文档描述。\n敏感词有 「${
            this.warningReg
          }」。有问题的文件有${JSON.stringify(this.warningFiles, null, 2)}`
        )
      }
    }

    for (const key in buildParam) {
      if (!buildParam[key]) {
        throw new Error(`build: ${key} 参数缺失`)
      }
    }
  }
}