用户分析经常需要根据IP获取地址，通过第三方的接口很多有限制，比如淘宝，每秒只能访问一次，一天才能解析八万多个，根本满足不了需求。
所以弄了一个本地的工具类，可以使用改工具类查找对应IP的省市还有运营商，需要纯真数据库文件。
纯真数据库文件也可以自己下载最新的，或者安装纯真数据库获取最新版本。
工具类主要是解析纯真数据库文件，方便批量获取IP地址信息。
工具类代码如下，可以自己直接下载纯真数据库文件，把代码中数据库文件修改为自己的路径就可以了。
import java.io.IOException;
import java.io.RandomAccessFile;
import java.io.UnsupportedEncodingException;
import java.nio.MappedByteBuffer;
import java.util.Map;
import java.util.StringTokenizer;
import java.util.concurrent.ConcurrentHashMap;
public class IPAreaHelper {
/**
* 纯真IP数据库
*/
private static final String IP_FILE = "C:\\soft\\tool\\ip\\qqwry.dat";
/**
* 记录长度
*/
private static final int IP_RECORD_LENGTH = 7;
/**
* 读取模式1
*/
private static final byte REDIRECT_MODE_1 = 0x01;
/**
* 读取模式2
*/
private static final byte REDIRECT_MODE_2 = 0x02;
private static final String PRIVIATE_ADDR_PROMPT = "私有地址";
/**
* 缓存，查询IP时首先查询缓存，以减少不必要的重复查找
*/
private static Map<String, IPInfo> ipCache;
/**
* 随机文件访问类
*/
private static RandomAccessFile ipFile;
/**
* 内存映射文件
*/
private MappedByteBuffer mbb;
/**
* 起始地区的开始和结束的绝对偏移
*/
private static long ipBegin, ipEnd;
private static byte[] buf;
private static byte[] b4;
private static byte[] b3;
private static final String UNKNOWN_ADDRESS = "未知地址";
private static final String UNKNOWN_PROVIDER = "未知运营商";
static {
ipCache = new ConcurrentHashMap<>();
buf = new byte[100];
b4 = new byte[4];
b3 = new byte[3];
try {
ipFile = new RandomAccessFile(IP_FILE, "r");
// 读取文件头信息
ipBegin = readLong4(0);
ipEnd = readLong4(4);
if (ipBegin == -1 || ipEnd == -1) {
ipFile.close();
}
} catch (Exception e) {
e.printStackTrace();
System.exit(1);
}
}
/**
* 查询IP地址位置
*/
public static IPInfo getIpInfo(final String ip) throws IOException {
IPInfo ipInfo = new IPInfo();
ipInfo.setProvider(getProvider(ip));
ipInfo.setAddress(getAddress(ip));
return ipInfo;
}
/**
* 根据IP得到地址
*
* @param ip ip的字节数组形式
*/
public static String getAddress(byte[] ip) throws IOException {
// 保存ip，转换ip字节数组为字符串形式
String ipStr = getIpStringFromBytes(ip);
// 先检查cache中是否已经包含有这个ip的结果，没有再搜索文件
if (ipCache.containsKey(ipStr)) {
IPInfo ipLoc = ipCache.get(ipStr);
return ipLoc.getAddress();
} else {
IPInfo ipLoc = getIpInfo(ip);
ipCache.put(ipStr, ipLoc);
return ipLoc.getAddress();
}
}
/**
* 根据IP获取地区
* @param ip xxxx.xxxx.xxxx.xxxx
*/
public static String getAddress(String ip) throws IOException {
if(isPrivateAddr(ip)){
return PRIVIATE_ADDR_PROMPT;
}
return getAddress(getIpByteArrayFromString(ip));
}
/**
* 根据IP得到运营商
*
* @param ip ip的字节数组形式
*/
public static String getProvider(final byte[] ip) throws IOException {
// 保存ip，转换ip字节数组为字符串形式
String ipStr = getIpStringFromBytes(ip);
// 先检查cache中是否已经包含有这个ip的结果，没有再搜索文件
if (ipCache.containsKey(ipStr)) {
IPInfo ipLoc = ipCache.get(ipStr);
return ipLoc.getProvider();
} else {
IPInfo ipLoc = getIpInfo(ip);
ipCache.put(ipStr, ipLoc);
return ipLoc.getProvider();
}
}
/**
* 根据IP获取运营商
*
* @param ip xxxx.xxxx.xxxx.xxxx
*/
public static String getProvider(final String ip) throws IOException {
return getProvider(getIpByteArrayFromString(ip));
}
/**
* 根据ip地址搜索ip信息
*/
private static IPInfo getIpInfo(final byte[] ip) throws IOException {
IPInfo info = null;
long offset = locateIP(ip);
if (offset != -1)
info = getIpInfo(offset);
if (info == null) {
info = new IPInfo();
info.setAddress(UNKNOWN_ADDRESS);
info.setProvider(UNKNOWN_PROVIDER);
}
return info;
}
/**
* 从offset位置读取4个字节为一个long，因为java为big-endian格式，
* 所以没办法用了这么一个函数来做转换
* @param offset
* @return 读取的long值，返回-1表示读取文件失败
*/
private static long readLong4(long offset) {
long ret = 0;
try {
ipFile.seek(offset);
ret |= (ipFile.readByte() & 0xFF);
ret |= ((ipFile.readByte() << 8) & 0xFF00);
ret |= ((ipFile.readByte() << 16) & 0xFF0000);
ret |= ((ipFile.readByte() << 24) & 0xFF000000);
return ret;
} catch (IOException e) {
return -1;
}
}
/**
* 从offset位置读取3个字节为一个long，因为java为big-endian格式，
* 所以没办法用了这么一个函数来做转换
*
* @param offset 整数的起始偏移
* @return 读取的long值，返回-1表示读取文件失败
*/
private static long readLong3(long offset) {
long ret = 0;
try {
ipFile.seek(offset);
ipFile.readFully(b3);
ret |= (b3[0] & 0xFF);
ret |= ((b3[1] << 8) & 0xFF00);
ret |= ((b3[2] << 16) & 0xFF0000);
return ret;
} catch (IOException e) {
return -1;
}
}
/**
* 从当前位置读取3个字节转换成long
*
* @return 读取的long值，返回-1表示读取文件失败
*/
private static long readLong3() {
long ret = 0;
try {
ipFile.readFully(b3);
ret |= (b3[0] & 0xFF);
ret |= ((b3[1] << 8) & 0xFF00);
ret |= ((b3[2] << 16) & 0xFF0000);
return ret;
} catch (IOException e) {
return -1;
}
}
/**
* 从offset位置读取四个字节的ip地址放入ip数组中，读取后的ip为big-endian格式，
* 但是文件中是little-endian形式，将会进行转换
*/
private static void readIP(long offset, byte[] ip) {
try {
ipFile.seek(offset);
ipFile.readFully(ip);
byte temp = ip[0];
ip[0] = ip[3];
ip[3] = temp;
temp = ip[1];
ip[1] = ip[2];
ip[2] = temp;
} catch (IOException e) {
e.printStackTrace();
System.err.println(e.getMessage());
}
}
/**
* 把类成员ip和beginIp比较，注意这个beginIp是big-endian的
*
* @param ip 要查询的IP
* @param beginIp 和被查询IP相比较的IP
* @return 相等返回0，ip大于beginIp则返回1，小于返回-1。
*/
private static int compareIP(byte[] ip, byte[] beginIp) {
for (int i = 0; i < 4; i++) {
int r = compareByte(ip[i], beginIp[i]);
if (r != 0)
return r;
}
return 0;
}
/**
* 把两个byte当作无符号数进行比较
*
* @return 若b1大于b2则返回1，相等返回0，小于返回-1
*/
private static int compareByte(byte b1, byte b2) {
if ((b1 & 0xFF) > (b2 & 0xFF)) // 比较是否大于
return 1;
else if ((b1 ^ b2) == 0)// 判断是否相等
return 0;
else
return -1;
}
/**
* 这个方法将根据ip的内容，定位到包含这个ip国家地区的记录处，返回一个绝对偏移方法使用二分法查找。
* @param ip 要查询的IP
* @return 如果找到了，返回结束IP的偏移，如果没有找到，返回-1
*/
private static long locateIP(byte[] ip) {
long m = 0;
int r;
// 比较第一个ip项
readIP(ipBegin, b4);
r = compareIP(ip, b4);
if (r == 0) return ipBegin;
else if (r < 0) return -1;
// 开始二分搜索
for (long i = ipBegin, j = ipEnd; i < j; ) {
m = getMiddleOffset(i, j);
readIP(m, b4);
r = compareIP(ip, b4);
// log.debug(Utils.getIpStringFromBytes(b));
if (r > 0)
i = m;
else if (r < 0) {
if (m == j) {
j -= IP_RECORD_LENGTH;
m = j;
} else
j = m;
} else
return readLong3(m + 4);
}
// 如果循环结束了，那么i和j必定是相等的，这个记录为最可能的记录，但是并非
// 肯定就是，还要检查一下，如果是，就返回结束地址区的绝对偏移
m = readLong3(m + 4);
readIP(m, b4);
r = compareIP(ip, b4);
if (r <= 0) return m;
else return -1;
}
/**
* 得到begin偏移和end偏移中间位置记录的偏移
*/
private static long getMiddleOffset(long begin, long end) {
long records = (end - begin) / IP_RECORD_LENGTH;
records >>= 1;
if (records == 0) records = 1;
return begin + records * IP_RECORD_LENGTH;
}
/**
* 给定一个ip国家地区记录的偏移
*
* @param offset 国家记录的起始偏移
*/
private static IPInfo getIpInfo(long offset) throws IOException {
IPInfo ipInfo = new IPInfo();
// 跳过4字节ip
ipFile.seek(offset + 4);
// 读取第一个字节判断是否标志字节
byte b = ipFile.readByte();
if (b == REDIRECT_MODE_1) {
// 读取国家偏移
long countryOffset = readLong3();
// 跳转至偏移处
ipFile.seek(countryOffset);
// 再检查一次标志字节，因为这个时候这个地方仍然可能是个重定向
b = ipFile.readByte();
if (b == REDIRECT_MODE_2) {
ipInfo.setAddress(readString(readLong3()));
ipFile.seek(countryOffset + 4);
} else {
ipInfo.setAddress(readString(countryOffset));
}
ipInfo.setProvider(readArea(ipFile.getFilePointer()));
} else if (b == REDIRECT_MODE_2) {
ipInfo.setAddress(readString(readLong3()));
ipInfo.setProvider(readArea(offset + 8));
} else {
ipInfo.setAddress(readString(ipFile.getFilePointer() - 1));
ipInfo.setProvider(readArea(ipFile.getFilePointer()));
}
return ipInfo;
}
/**
* 从offset偏移开始解析后面的字节，读出一个地区名
*
* @param offset 地区记录的起始偏移
* @return 地区名字符串
* @throws IOException
*/
private static String readArea(long offset) throws IOException {
ipFile.seek(offset);
byte b = ipFile.readByte();
if (b == REDIRECT_MODE_1 || b == REDIRECT_MODE_2) {
long areaOffset = readLong3(offset + 1);
if (areaOffset == 0) {
return UNKNOWN_PROVIDER;
} else {
return readString(areaOffset);
}
} else {
return readString(offset);
}
}
/**
* 从offset偏移处读取一个以0结束的字符串
*
* @param offset 字符串起始偏移
* @return 读取的字符串，出错返回空字符串
*/
private static String readString(long offset) {
try {
ipFile.seek(offset);
int i;
for (i = 0, buf[i] = ipFile.readByte(); buf[i] != 0; buf[++i] = ipFile.readByte()) ;
if (i != 0) {
return getString(buf, 0, i, "GBK");
}
} catch (IOException e) {
e.printStackTrace();
}
return "";
}
public static String getCity(final String ipAddress) throws IOException {
if(isPrivateAddr(ipAddress)){
return PRIVIATE_ADDR_PROMPT;
}
return getIpInfo(ipAddress).getCity();
}
/**
* 在A类地址中，10.0.0.0到10.255.255.255是私有地址
* 在B类地址中，172.16.0.0到172.31.255.255是私有地址
* 在C类地址中，192.168.0.0到192.168.255.255是私有地址
* @param ip
* @return
*/
public static boolean isPrivateAddr(String ip) {
if (ip.startsWith("192.168.") || ip.startsWith("10")) {
return true;
}
if (ip.startsWith("172")) {
String[] parts = ip.split("\\.");
int two = Integer.parseInt(parts[1]);
if (two >= 16 && two <= 31) {
return true;
}
}
return false;
}
/**
* 从ip的字符串形式得到字节数组形式
*
* @param ip 字符串形式的ip
* @return 字节数组形式的ip
*/
public static byte[] getIpByteArrayFromString(String ip) {
byte[] ret = new byte[4];
StringTokenizer st = new StringTokenizer(ip, ".");
try {
ret[0] = (byte) (Integer.parseInt(st.nextToken()) & 0xFF);
ret[1] = (byte) (Integer.parseInt(st.nextToken()) & 0xFF);
ret[2] = (byte) (Integer.parseInt(st.nextToken()) & 0xFF);
ret[3] = (byte) (Integer.parseInt(st.nextToken()) & 0xFF);
} catch (Exception e) {
e.printStackTrace();
System.err.println("报错IP:" + ip);
}
return ret;
}
/**
* 字节数组IP转String
*
* @param ip ip的字节数组形式
* @return 字符串形式的ip
*/
public static String getIpStringFromBytes(byte[] ip) {
StringBuilder sb = new StringBuilder();
sb.append(ip[0] & 0xFF);
sb.append('.');
sb.append(ip[1] & 0xFF);
sb.append('.');
sb.append(ip[2] & 0xFF);
sb.append('.');
sb.append(ip[3] & 0xFF);
return sb.toString();
}
/**
* 根据某种编码方式将字节数组转换成字符串
* @param b 字节数组
* @param offset 要转换的起始位置
* @param len 要转换的长度
* @param encoding 编码方式
* @return 如果encoding不支持，返回一个缺省编码的字符串
*/
public static String getString(byte[] b, int offset, int len, String encoding) {
try {
return new String(b, offset, len, encoding);
} catch (UnsupportedEncodingException e) {
return new String(b, offset, len);
}
}
private static class IPInfo {
/**
* 地址
*/
private String address;
/**
* 运营商
*/
private String provider;
public String getAddress() {
return address;
}
public void setAddress(String address) {
this.address = address;
}
public String getProvider() {
return provider;
}
public void setProvider(String provider) {
//如果为局域网，纯真IP地址库的地区会显示CZ88.NET,这里把它去掉
if (provider.trim().equals("CZ88.NET")) {
this.provider = "本机或本网络";
} else {
this.provider = provider;
}
}
public String getCity() {
String city = "";
if (address != null) {
String[] array = address.split("省");
if (array != null && array.length > 1) {
city = array[1];
} else {
city = address;
}
if (city.length() > 3) {
city = city.replace("内蒙古", "");
}
}
return city;
}
}
public static void main(String[] args) throws IOException {
String address = "218.21.185.28";
IPInfo ipInfo = IPAreaHelper.getIpInfo(address);
System.out.println("IP地址[" + address + "]获取到的区域信息:"
+ ipInfo.getAddress()
+ ", 获取到的城市:"
+ ipInfo.getCity()
+ ", 运营商:"
+ ipInfo.getProvider()
);
System.out.println(getCity(address));
System.out.println(getCity("10.10.2.3"));
System.out.println(getCity("172.17.2.3"));
System.out.println(getCity("192.168.2.3"));
}
}