促销优化实战分享

本篇文章仅限网易公司内部分享，如需转载，请取得作者本人同意授权

      在之前分享的文章中也介绍过，促销提供给运营后台，POP商家的服务存在性能问题。在对于这些方法进行性能优化中遇到的也应该是大家在日常开发中经常遇到的问题，或者忽略的问题；将这些问题分析出来供大家参考！通过最终的压测结果可以发现，就是对这些小问题的优化，接口性能有了质的变化；希望在今后的开发中可以跳过这些坑。 
   在上一次优化中将数据库搞垮了以后，再次优化就需要知道性能问题出现在什么地方，进而有针对性地进行优化。为此需要对方法调用栈各个阶段耗时统计，找到性能问疼点，进行重点优化。
   主要介绍了

1. 性能统计工具
2. 如何分析性能日志
3. 取消循环RPC调用
4. 取消循环写缓存
5. dubbo异步调用
6. 减少返回给前端的数据量
   

   优化工具准备
     很多时候方法存在性能问题都是存在循环查询数据库或者远程调用，但是有一些因此很深的循环调用通过走读代码是很难发现的；这个时候  为了知道方法调用栈具体耗时，需要在代码中打很多测试用的log,去查找方法耗时比较多地方，但是这样方式很难一个方法调用栈耗时进行完成统计！为了找到一个更优的方式，需要自己去实现一个统计工具。
    为了减少对于代码的侵入，实现了一个调用栈耗时统计的工具，javaagent方式对字节码进行增强，优化完成后删除了javaagent就可以了，不会对现有代码造成影响。性能日志统计工具主要是通过javaasist对字节码进行增强

if (isStarted) {
       method.insertBefore("ProfilerUtil.start(\"" + method.getLongName() + "\");");
   } else {
      method.insertBefore("ProfilerUtil.entery(\"" + method.getLongName() + "\");");
   }
   method.insertAfter("ProfilerUtil.release();", true);

   下图是性能日志工具对促销方案明细查询和保存controller调用栈的耗时统计。


   分析耗时统计日志
      通过上图中的日志可以发现在  com.netease.kaola.promotionms.converter.ActivityConverter.activityGoodsViewListTransfer(java.util.List) 这个方法中居然存在了RPC调用，而且这个地方两次dubbo调用耗时占比居然达到了46%（36%+10%）。在保存controller中同样存在 对如下方法的调用com.netease.kaola.promotionms.converter.ActivityConverter.getGoodsDetailMapByIds(java.util.List) ；而且耗时比较大，同时存在循环调用情况。需要对此方法进行优化，
由于服务提供方不在本次优化范围内，服务提供方无法优化的清空下，只能通过调用方进行优化。

**
 * Desc:Dubbo异步调用辅助工具类
 * 
 * @author wei.zw
 * @since 2017年7月14日 下午4:36:08
 * @version v 0.1
 */
public class RpcAsyncUtil {

	private static final Logger logger = LoggerFactory.getLogger(RpcAsyncUtil.class);

	/**
	 * dubbo异步调用，将远程调用结果组合后返回；本次耗时取决于最大的耗时
	 * 
	 * @param paramList
	 *            需要进行远程调用所有参数列表长度
	 * @param pageSize
	 *            一次远程调用使用的列表最大长度
	 * @param syncCallable
	 *            具体dubbo调用
	 * @return
	 * @author wei.zw
	 */
	public static  List async(List paramList, int pageSize, final SyncCallable syncCallable) {
		if (pageSize < 200) {
			pageSize = 200;
		}
		List> subList = subList(paramList, pageSize);
		List>> futures = new ArrayList<>();
		for (final List sub : subList) {
			futures.add(RpcContext.getContext().asyncCall(new Callable>() {

				@Override
				public List call()
						throws Exception {
					return syncCallable.call(sub);
				}
			}));
		}
		List result = new ArrayList<>();
		try {
			for (Future> future : futures) {

				List list = future.get();
				if (CollectionUtils.isNotEmpty(list)) {
					result.addAll(list);
				}
			}
		} catch (Exception e) {
			logger.warn(ToStringBuilder.reflectionToString(syncCallable) + ",调用异常", e);
			throw new RuntimeException(e);
		}

		return result;

	}

	/**
	 * 
	 * 
	 * @param paramList
	 *            请求参数
	 * @param pageSize
	 *            要求参数不能小于200； 每次dubbo调用的参数大小，请设置合适值，如果数值设置过小会导致服务提供方线程数量飙升，如果设置过大可能会导致单次响应时间变长
	 * @param syncCallable
	 *            具体的dubbo调用方法，在该接口方法中不能有其他处理逻辑只能是一个dubbo 调用
	 * @return
	 * @author wei.zw
	 */
	public static  Map async(List paramList, int pageSize, final SyncMapCallable syncCallable) {
		if (pageSize < 200) {
			pageSize = 200;
		}
		List> subList = subList(paramList, pageSize);
		List>> futures = new ArrayList<>();
		for (final List sub : subList) {
			futures.add(RpcContext.getContext().asyncCall(new Callable>() {

				@Override
				public Map call()
						throws Exception {
					return syncCallable.call(sub);
				}
			}));
		}
		Map result = new HashMap<>();
		try {
			for (Future> future : futures) {

				Map map = future.get();
				if (MapUtils.isNotEmpty(map)) {
					result.putAll(map);
				}
			}
		} catch (Exception e) {
			logger.warn(ToStringBuilder.reflectionToString(syncCallable) + ",调用异常", e);
			throw new RuntimeException(e);
		}

		return result;

	}

	/**
	 * 拆分list
	 * 
	 * @param sourceList
	 * @param splitSize
	 * @return
	 * @author roy
	 * @since 2017年1月17日
	 */
	private static  List> subList(List sourceList, int splitSize) {
		List> list = Lists.newArrayList();
		if (sourceList == null || sourceList.size() == 0) {
			return list;
		}

		if (sourceList.size() <= splitSize) {
			list.add(sourceList);
			return list;
		}

		int page = sourceList.size() / splitSize + 1;

		// 模拟分页获取
		for (int i = 0; i < page; i++) {
			List childList = Lists.newArrayList();
			for (int j = i * splitSize; j < (i + 1) * splitSize; j++) {
				// 如果交表大于源列表长度 退出
				if (j >= sourceList.size()) {
					break;
				}
				childList.add(sourceList.get(j));
			}
			list.add(childList);
		}

		return list;
	}

	public static interface SyncCallable {
		/**
		 * 该方法中只能是一个远程调用，不能使用其他方法
		 * 
		 * @param params
		 * @return
		 * @author wei.zw
		 */
		public List call(List params);
	}

	public static interface SyncMapCallable {
		/**
		 * 该方法中只能是一个远程调用，不能使用其他方法
		 * 
		 * @param params
		 * @return
		 * @author wei.zw
		 */
		public Map call(List params);
	}
 }