无埋点统计SDK实践

时间  2019-11-07
标签 统计 sdk 实践 繁體版
原文   原文链接

背景

埋点模块是一个完整的系统不可获取的一部分，不管是移动端，Web端仍是后端（后端可能倾向于叫日志系统）。固然，如今也有不少第三方的埋点SDK，如友盟，接入也很简单，只须要几行代码便可使用。但大多都是侵入式，也就是说，在每一个须要埋点的地方手动添加代码，这样耦合性太大，虽然可经过二次封装的方式，下降对这些SDK的依赖，但埋点统计模块耦合性仍然很大，为了解决这个问题，咱们可经过无埋点方案来实现数据的收集过程。android

埋点系统类型

目前的埋点系统，主要分为2种：侵入式和无埋点。还有一种可视化的埋点方案，可认为是无埋点的一种，只是将设置埋点配置信息的过程作成了可视化而已。git

侵入式埋点方案

在每一个须要埋点的地方手动添加代码，优势是埋点准确，缺点也很明显，代码耦合度高，后期难以维护，不须要的埋点须要手动删除。github

无埋点方案

无埋点方式是经过全局监听或AOP技术添加埋点的一种实现方案，开发者不须要在每一个须要埋点的地方添加代码，只须要根据服务器分发的配置，获取相应的埋点数据便可。一方面代码耦合度低，同时灵活度也高，埋点数据直接由服务器控制。缺点就是没有侵入式埋点精准。数据库

须要收集的数据

埋点的主要做用就是用于统计，对于埋点系统而言，最起码须要收集如下数据：后端

  • 首次使用APP的新设备信息（精确控制还须要后端的配合)；
  • 页面的停留时长；
  • View的交互事件（点击，滑动等）；
  • 辅助运营的各类数据（渠道号，地理位置，设备信息等）

埋点系统介绍

一个完整的埋点系统，应该至少包含如下三个模块：缓存

网络模块

负责从服务器获取配置信息，上传埋点数据；服务器

存储模块

缓存埋点配置信息，保存产生的埋点数据；网络

核心处理模块

负责收集埋点数据，并保存在存储模块中，根据配置在指定的时间上传数据。app

无埋点系统的工做原理

在APP启动时，对无埋点SDK进行初始化，初始化的时候系统会先从配置中设置的URL请求埋点配置信息，而后对Activity，Fragment，View进行全局监听，当有相应的事件产生时，经过与配置信息比对，将须要收集的事件先将其保存在数据库中，到上传时机时，从数据库中获取数据，而后上传到服务器，上传成功后删除数据库的已上传的内容。ide

无埋点系统的实现

无埋点系统的主要目标是下降开发人员对埋点过程的参与度，其核心在于如何对事件进行全局监听以及如何生成埋点配置列表。

页面停留时长的监听

Android应用中的页面，也就Activity,Fragment两种。对于Activity，系统了全局的生命周期监听的方法，只须要在onResume中记录页面显示时的时间，在onPause中计算显示的时长，在onDestroy中将停留时长事件添加到数据库便可：

application.registerActivityLifecycleCallbacks(new Application.ActivityLifecycleCallbacks() {
    
    private Map<Context, Long> durationMap = new WeakHashMap<>();
    private Map<Context, Long> resumeTimeMap = new WeakHashMap<>();
    
        @Override
	public void onActivityCreated(Activity activity, Bundle bundle) {
		durationMap.put(activity, 0L);
	}

	@Override
	public void onActivityResumed(Activity activity) {
        resumeTimeMap.put(activity, System.currentTimeMillis());
	}

	@Override
	public void onActivityPaused(Activity activity) {
        durationMap.put(activity, durationMap.get(activity)
			+ (System.currentTimeMillis() - resumeTimeMap.get(activity)));
	}
    
	@Override
	public void onActivityDestroyed(Activity activity) {
        long duration = durationMap.get(activity);
		if (duration > 0) {
			// 将事件添加到数据库
		}
		resumeTimeMap.remove(activity);
		durationMap.remove(activity);
	}
	
	// 其余生命周期方法
});
复制代码

而对于Fragment，虽然com.app包中的Fragment没有提供生命周期的全局监听，但25.1.0以后的v4包中提供了全局监听，考虑到一般状况下都使用v4包中的Fragment，因此这里就直接使用了v4包中提供的方法来实现页面停留时长的监听。

FragmentManager fm = getSupportFragmentManager();
fm.registerFragmentLifecycleCallbacks(new FragmentManager.FragmentLifecycleCallbacks() {

	private Map<Fragment, Long> resumeTimeMap = new WeakHashMap<>();
	private Map<Fragment, Long> durationMap = new WeakHashMap<>();

	@Override
	public void onFragmentAttached(@NonNull FragmentManager fm, @NonNull Fragment f, @NonNull Context context) {
		super.onFragmentAttached(fm, f, context);
		resumeTimeMap.put(f, 0L);
	}

	@Override
	public void onFragmentResumed(@NonNull FragmentManager fm, @NonNull Fragment f) {
		super.onFragmentResumed(fm, f);
		resumeTimeMap.put(f, System.currentTimeMillis());
	}

	@Override
	public void onFragmentPaused(@NonNull FragmentManager fm, @NonNull Fragment f) {
		super.onFragmentPaused(fm, f);
		durationMap.put(f, durationMap.get(f) + System.currentTimeMillis() - resumeTimeMap.get(f));
	}

	@Override
	public void onFragmentDetached(@NonNull FragmentManager fm, @NonNull Fragment f) {
		super.onFragmentDetached(fm, f);
		long duration = durationMap.get(f);
		if (duration > 0) {
			// 将事件添加到数据库
		}
		resumeTimeMap.remove(f);
		durationMap.remove(f);
	}
}, true);
复制代码

上面的代码只是对Fragment生命周期的监听，但Fragment的可见性与生命周期并不老是一一对应的，如：Fragment show/hide或者ViewPager中的Fragment在切换时生命周期中的方法并不老是执行的，因此还须要监听与这两种状况对应的onHiddenChanged和setUserVisibleHint，但这两个方v4包中提供的全局监听中并无，因此还须要特殊处理一下。这里提供两种解决方案：

  • 提供一个LifycycleFragment, 对onHiddenChanged和setUserVisibleHint方法进行监听，业务层的Fragment继承此Fragment；
  • 使用AOP，监听onHiddenChanged和setUserVisibleHint；

其中的处理逻辑与onResume和onPause中一致，具体参考后面的源码。

若是要对com.app包中的Fragment实现生命周期的全局监听，可采用如下两种方式：

  • 写一个LifycycleFragment, 在其中实现生命周期的监听，业务层的Fragment实现时继承此Fragment；
  • 使用透明的Fragment，透明的Fragment因为没有UI，其生命周期会与当前Fragment生命周期一致;

因为Fragment老是依赖于Activity存在的，因此其监听范围也是Activity级别的。在Activity的onCreate中对Fragment设置监听便可。

监听View的点击事件

View点击事件的监听可经过两种方式来实现：

基于AOP监听onClick方法；

这里以Aspect为例，实现onClick的全局监听：

@Aspect
public class ViewClickedEventAspect {

	@After("execution(* android.view.View.OnClickListener.onClick(android.view.View))")
	public void viewClicked(final ProceedingJoinPoint joinPoint) {
		/**
		 * 保存点击事件
		 */
	}
}
复制代码
经过setAccessibilityDelegate实现：

关于setAccessibilityDelegate咱们可先看一下View点击事件被执行的源码：

public boolean performClick() {
    // We still need to call this method to handle the cases where performClick() was called
    // externally, instead of through performClickInternal()
    notifyAutofillManagerOnClick();

    final boolean result;
    final ListenerInfo li = mListenerInfo;
    if (li != null && li.mOnClickListener != null) {
        playSoundEffect(SoundEffectConstants.CLICK);
        li.mOnClickListener.onClick(this);
        result = true;
    } else {
        result = false;
    }

    sendAccessibilityEvent(AccessibilityEvent.TYPE_VIEW_CLICKED);

    notifyEnterOrExitForAutoFillIfNeeded(true);

    return result;
}
复制代码

从代码中能够看出，View的onClick被执行时，有个sendAccessibilityEvent被执行，咱们再看一下sendAccessibilityEvent方法的代码：

public void sendAccessibilityEvent(int eventType) {
    if (mAccessibilityDelegate != null) {
        mAccessibilityDelegate.sendAccessibilityEvent(this, eventType);
    } else {
        sendAccessibilityEventInternal(eventType);
    }
}
复制代码

从代码能够看出，只须要为View设置了mAccessibilityDelegate，咱们就能够监听View的onClick事件了。而设置View mAccessibilityDelegate的方法恰好是公开的，因此咱们可以使用此方式对View的点击事件进行监听，核心代码以下：

public class ViewClickedEventListener extends View.AccessibilityDelegate {
    
	/**
	 * 设置Activity页面中View的事件监听
	 * @param activity
	 */
	public void setActivityTracker(Activity activity) {
		View contentView = activity.findViewById(android.R.id.content);
		if (contentView != null) {
			setViewClickedTracker(contentView, null);
		}
	}

	/**
	 * 设置Fragment页面中View的事件监听
	 * @param fragment
	 */
	public void setFragmentTracker(Fragment fragment) {
		View contentView = fragment.getView();
		if (contentView != null) {
			setViewClickedTracker(contentView, fragment);
		}
	}

	private void setViewClickedTracker(View view, Fragment fragment) {
		if (needTracker(view)) {
			if (fragment != null) {
				view.setTag(FRAGMENT_TAG_KEY, fragment);
			}
			view.setAccessibilityDelegate(this);
		}
		if (view instanceof ViewGroup) {
			int childCount = ((ViewGroup) view).getChildCount();
			for (int i = 0; i < childCount; i++) {
				setViewClickedTracker(((ViewGroup) view).getChildAt(i), fragment);
			}
		}
	}

	@Override
	public void sendAccessibilityEvent(View host, int eventType) {
		super.sendAccessibilityEvent(host, eventType);
		if (AccessibilityEvent.TYPE_VIEW_CLICKED == eventType && host != null) {
			// 添加事件到数据库
		}
	}
}
复制代码

而后在Activity和Fragment的onResume中添加View的监听便可。

生成埋点配置信息

事件的全局监听已经实现了，理论上APP开发人员不须要参与埋点的过程，但后台的统计并不须要全部的数据，因此这里还须要添加埋点配置信息的收集。这里提供了埋点数据实时上传的功能，在APP上线前，将数据上传策略修改为实时上传，便可将全部的事件信息经过Socket发送给后台，而后将须要的数据导入到埋点配置信息列表中，APP上线后，会从服务器获取埋点配置信息，在产生数据后，根据获取的配置信息，保存须要的数据，到指定上传时间时，将数据提交给服务器。

使用

在Application的onCreate中进行初始化便可：

TrackerConfiguration configuration = new TrackerConfiguration()
	.openLog(true)
	.setUploadCategory(Constants.UPLOAD_CATEGORY.REAL_TIME.getValue())
	.setConfigUrl("http://m.baidu.com") // 埋点配置信息的URL
	.setHostName("127.0.0.1")   // 接收实时埋点数据的IP和端口
	.setHostPort(10001)         
	.setNewDeviceUrl("http://m.baidu.com")  // 保存新设备信息的URL
	.setUploadUrl("http://m.baidu.com");    // 保存埋点数据的URL
Tracker.getInstance().init(this, configuration);
复制代码

在发布版本以前，将上传策略设置成Constants.UPLOAD_CATEGORY.REAL_TIME收集埋点配置信息，APP上线时务必将数据上传策略改为其余的，避免耗电。

对于埋点数据的上传，提供了如下策略：

REAL_TIME(0),           // 实时传输，用于收集配置信息
NEXT_LAUNCH(-1),        // 下次启动时上传
NEXT_15_MINUTER(15),    // 每15分钟上传一次
NEXT_30_MINUTER(30),    // 每30分钟上传一次
NEXT_KNOWN_MINUTER(-1); // 使用服务器下发的上传策略（间隔时间由服务器决定）
复制代码

说明

目前此SDK只集成了新设备信息，页面(Activity/Fragment)的停留事件，View的点击事件的统计，对于其余的交互事件还未集成，一些细节方面也还有待改进，随后会进一步完善。

源码地址

Tracker

参考文章

Android埋点技术分析

Android无埋点数据收集SDK关键技术

网易HubbleData之Android无埋点实践

相关文章
相关标签/搜索
每日一句
    每一个你不满意的现在，都有一个你没有努力的曾经。
本站公众号
   欢迎关注本站公众号,获取更多信息
联系我们 最近搜索 最新文章 沪ICP备13005482号-10 MyBatis教程 SQL 教程 MySQL教程 Java 教程 Thymeleaf 教程 Hibernate教程 Spring教程 Redis教程