在Hazelcast中与EntryProcessor和MapListener一起使用时，imap.unlock（）的性能问题

Question

我在imap.unlock(key)中遇到了一个性能问题，它大约需要4-5秒来完成执行。场景如下：

我有一个employeeListIMAP，它根据员工列表(ArrayList )存储CompanyID。每个值（Arraylist）可以包含1500000名雇员。

IMap<Integer, ArrayList<Employee>> employeeListMap = hz.getMap("empList");

// adding MapListener for eviction.
employeeListMap.addEntryListener(new SimpleEvictionListener<Integer,
                                               ArrayList<Employee>>(), false);

int companyId = 1;
ArrayList<Employee> empList = new ArrayList<>();
for(int index = 0; index < 1500000; index++)
{
    empList.add(new Employee(index));
}
employeeListMap.set(companyId, empList);

// lock() takes approx 2ms.
employeeListMap.lock(key);

// EDIT: do some business logic associated with this key.

// executeOnKey() takes approx 3ms.
employeeListMap.executeOnKey(companyId, new ListEntryProcessor<Integer, 
                          ArrayList<Employee>>());

// unlock() takes 4-5sec 
employeeListMap.unlock(companyId);
employeeListMap.destroy();

employee是一个POJO定义如下。

public class Employee implements Serializable
{
    private static final long serialVersionUID = 1L;
    protected int employeeId;
    protected String name;

    public Employee(int id)
    {
        this.employeeId = id;
        this.name = "name-" + id;
    }

    public int getEmployeeId() 
    {
        return employeeId;
    }

    public void setEmployeeId(int employeeId) 
    {
        this.employeeId = employeeId;
    }

为了添加一个新员工，我编写了一个条目处理器SimpleEntryProcessor，它将向列表中添加一个新员工并返回true。

public class ListEntryProcessor<K, V> extends AbstractEntryProcessor<K, V> 
{

    private static final long serialVersionUID = 129712L;
    public ListEntryProcessor()
    {
        // We need to modify the backup entries as well.
        super(true);
    }

    @Override
    public Object process(Entry<K, V> entry) 
    {
        ArrayList<Employee> empList = (ArrayList) entry.getValue();
        empList.add(new Employee(-123));
        entry.setValue((V)empList);
        return true;
    }
}

为了打印驱逐时的键，我在EmployeeMap中添加了以下MapListener。

public class SimpleEvictionListener<K, V>  implements  
             EntryEvictedListener<K, V>, MapEvictedListener
{
    public void mapEvicted(MapEvent arg0) 
    {
        syso("map got evicted");
    }

    public void entryEvicted(EntryEvent<K, V> arg0) 
    {
        syso("entry got evicted");
    }
}

IMap配置如下所示。

<map name="empList">
    <in-memory-format>OBJECT</in-memory-format>
    <backup-count>0</backup-count>
    <max-idle-seconds>1800</max-idle-seconds>
    <eviction-policy>LRU</eviction-policy>
    <time-to-live-seconds>0</time-to-live-seconds>
    <max-size>51000</max-size>
    <eviction-percentage>30</eviction-percentage>
    <merge-policy>com.hazelcast.map.merge.PutIfAbsentMapMergePolicy</merge-policy>
</map>

在此场景中，imap.unlock()需要4-5秒才能完成执行。

当我注释掉代码EmployeeListMap.AddEntryListener(...)（即没有MapListener）时，imap.unlock()方法只花了1ms。

这是hazelcast的公开问题吗？任何指针都会有很大的帮助。

注意：我知道我应该将 存储在单独的employeeIMAP中，并将 存储在不同的companyemps IMAP中以获得更好的结果。但是，由于代码的遗留性质，这是不可能的。

Answer 1

我已经将您的代码片段放入一个类中以便能够轻松地进行尝试:https://gist.github.com/gurbuzali/af8422339bfa81af9750

Hazelcast中存在一个错误，即使您将false传递给includeValue参数的EmployeeListMap.AddEntryListener()也会序列化值。在您的情况下，问题变得更加明显，因为您的值太大了。

下面是报告的问题和修复公关。修复程序将在3.5.5中，该版本尚未发布，但您可以尝试使用snapshot3.5.5-snapshot

https://github.com/hazelcast/hazelcast/issues/6866

https://github.com/hazelcast/hazelcast/pull/6949