一. 对账背景
- 对账的背景一般是因为业务体量越来越大，每天产生的交易也越来越多，不进行对账操作，不知道是否跟资金平台方（网商银行，连连支付，各大银行）交易数据是否一致，是否出现掉单，日切，手续费误差等，所以就需要我们每天进行对账处理，确保没有出现差错交易数据，以及在出现差错后，及时进行相关补救。
- 下边我们的文章，都以网商银行为例，进行对账分析。
名词解释：
掉单：资金平台方比我们多的订单
日切：我们比资金平台方多的订单
手续费误差：我们和资金平台方都有的订单，但是平台方手续费有差异
二. 技术准备
- 资金平台方相关sftp账号
- 资金平台方的出账单时间（这里我们都以网商银行为例，网商银行的出账单是每天上午9点左右）
- 基本对账流程图
- 流程介绍
一）完成一天交易后，当晚0点以后，生成我方前一天的对账单，数据入库。
二）在等资金平台方出相关对账单后，下载相关对账单。
三）两方账单齐全，进行对账处理。
四）对账处理完成后，如出现差异，进行差异报警。
五）处理差异，根据自身需求，这里就不介绍了。
三. 相关代码
- 清洗我方对账数据。
每天晚上自己根据自身系统，清洗相关数据。这里需要注意的是，有充值数据，以及支付数据，手续费数据。 - 下载银行相关账单
这里以网商银行为例，网商银行的sftp如下：
第一个zip包是银行回执单，
balance是余额账单，
trade是交易账单，
我们需要把这些对账单下载到本地，然后把数据清洗到我们自己的db库。
我这里的处理方法是从sftp下载下来以后，上传到阿里云的oss服务器，然后自己再从0ss服务器，读取下来，清洗数据。
这样做的好处是：可以保留最原始的平台方对账文件，以防以后出现差异，保留数据。
/**
* sftp下载类
*/
@Service
public class FtpServiceImpl implements FtpService {
public static final Log LOGGER = LogFactory.getLog(FtpServiceImpl.class);
@Autowired
private OSSService ossService;
@Autowired
private ApolloConfigUtil apolloConfigUtil;
private ThreadLocal<Session> sessionLocal = new ThreadLocal<Session>();
private ThreadLocal<ChannelSftp> channelLocal = new ThreadLocal<ChannelSftp>();
@Override
public FTPClient getFtpClient(String ftpHost, String ftpUserName, String ftpPassword, int ftpPort) {
FTPClient ftpClient = new FTPClient();
try {
ftpClient.connect(ftpHost, ftpPort);
ftpClient.login(ftpUserName, ftpPassword);
if (FTPReply.isPositiveCompletion(ftpClient.getReplyCode())) {
LOGGER.info("成功连接到ftp服务器>>>host:post=={}:{}>>>", ftpHost, ftpPort);
} else {
LOGGER.error("未连接到ftp服务器>>>host:post=={}:{}>>>", ftpHost, ftpPort);
ftpClient.disconnect();
}
} catch (Exception e) {
LOGGER.error("连接到ftp服务器报错>>>host:post=={}:{}>>>错误原因:[{}]", ftpHost, ftpPort, e.getMessage());
}
return ftpClient;
}
@Override
public void downloadFtpFile2OSS(String ftpHost, String ftpUserName, String ftpPassword, int ftpPort,
String ftpPath, String fileName, String fileKey) {
FTPClient ftpClient = getFtpClient(ftpHost, ftpUserName, ftpPassword, ftpPort);
InputStream input = null;
if (ftpClient != null) {
try {
if (!ftpClient.changeWorkingDirectory(ftpPath)) {
LOGGER.error("FTP服务器不存在此目录:[{}]", ftpPath);
throw new RuntimeException("FTP服务器不存在此目录:" + ftpPath);
}
// 设置被动模式，开通一个端口来传输数据
ftpClient.enterLocalPassiveMode();
String[] names = ftpClient.listNames();
if (ArrayUtils.isNotEmpty(names)) {
for (String name : names) {
if (fileName.equals(name)) {
input = ftpClient.retrieveFileStream(name);
break;
}
}
}
} catch (Exception e) {
LOGGER.error("获取FTP服务器字节流失败>>失败原因:[{}]", e.getMessage());
}
}
if (input == null) {
LOGGER.error("FTP服务器不存在此文件:[{}]", fileName);
throw new RuntimeException("FTP服务器不存在此文件:" + fileName);
}
try {
ossService.uploadFile(apolloConfigUtil.ossBucketName(), input, input.available(), fileKey + fileName);
} catch (Exception e) {
LOGGER.error("上传OSS服务器失败,0SS地址为[{}]", fileKey + fileName);
throw new RuntimeException("上传OSS服务器失败,0SS地址为[{}]" + fileKey + fileName);
}
}
@Override
public ChannelSftp getSftpClient(String host, int port, String username, String password) {
ChannelSftp sftp = null;
try {
JSch jSch = new JSch();
Session session = jSch.getSession(username, host, port);
session.setPassword(password);
//session.setTimeout(60000);
//session.setServerAliveCountMax(3);
//session.setServerAliveInterval(10);
Properties sshConfig = new Properties();
sshConfig.put("StrictHostKeyChecking", "no");
session.setConfig(sshConfig);
session.connect();
Channel channel = session.openChannel("sftp");
channel.connect();
sftp = (ChannelSftp) channel;
channelLocal.set(sftp);
sessionLocal.set(session);
} catch (Exception e) {
LOGGER.error("sftp服务器连接失败,错误原因:[{}]>>host:{}>>post:{}>>username:{}", e.getMessage(), host, port, username);
}
return sftp;
}
@Override
public void disconnect() {
ChannelSftp channel = channelLocal.get();
Session session = sessionLocal.get();
//断开sftp连接
if (channel != null) {
channel.disconnect();
LOGGER.info("SSH Channel disconnected.channel={}", channel);
}
//断开sftp连接之后，再断开session连接
if (session != null) {
session.disconnect();
LOGGER.info("SSH session disconnected.session={}", session);
}
channelLocal.remove();
sessionLocal.remove();
}
private byte[] toByteArray(InputStream input) throws IOException {
ByteArrayOutputStream output = new ByteArrayOutputStream();
byte[] buffer = new byte[4096];
int n = 0;
while (-1 != (n = input.read(buffer))) {
output.write(buffer, 0, n);
}
return output.toByteArray();
}
@Override
public void downloadSftpFile2OSS(String host, String username, String password, int port, String sftpPath,
String fileName, String fileKey) {
InputStream inputStream = null;
ChannelSftp sftpClient = getSftpClient(host, port, username, password);
LOGGER.info("日志,sftpClient:[{}]", sftpClient);
try {
if (!StringUtils.isBlank(sftpPath)) {
LOGGER.info("日志,sftpClient.pwd():[{}]", sftpClient.pwd());
sftpClient.cd(sftpPath);
LOGGER.info("日志cd之后,sftpClient.pwd():[{}]", sftpClient.pwd());
}
inputStream = sftpClient.get(fileName);
} catch (Exception e) {
LOGGER.error("sftp服务器下载字节流文件失败,错误原因:[{}]", e.getMessage());
throw new RuntimeException("sftp服务器下载字节流文件失败");
}
if (inputStream == null) {
LOGGER.error("sftp服务器下载字节流文件不存在");
throw new RuntimeException("sftp服务器下载字节流文件不存在");
}
try {
byte[] bytes = toByteArray(inputStream);
InputStream sbs = new ByteArrayInputStream(bytes);
String keyName = fileKey + fileName;
ossService.uploadFile(apolloConfigUtil.ossBucketName(), sbs, bytes.length, keyName);
} catch (Exception e) {
LOGGER.error("上传OSS服务器失败,0SS地址为[{}]", fileKey + fileName);
throw new RuntimeException("上传OSS服务器失败,0SS地址为[{}]" + fileKey + fileName);
} finally {
disconnect();
}
}
}
- 差异数据对比
我们把相关数据都写入本地的db库以后，需要进行差异数据对比。
这里建议大家使用redis的set相关方法，可以直接进行差异对比。
需要注意的点是：数据量如果特别大，就会非常占用内存，最好是分批处理。 - 差异报警
报警方法大家可以选择钉钉的机器人报警以及邮件报警。
四. 后续
- 银行回执单下载
每一笔交易都有相关的银行回执单，我们同理从sftp服务器下载相关的回执单zip包，然后进行解压操作，上传到oss服务器，把oss服务器地址，存入db库。