如何使用 Hibernate 在 Oracle 中持久保存大型 BLOB（>100MB）问题代码（域对象、存储库类、配置）导致错误的 JUnit 测试使用 JConsole 进行记忆测试
我正在努力寻找一种方法，使用BLOB列在我的Oracle数据库中插入大型图像（>100MB，主要是TIFF格式）。
我已经在网络上甚至在StackOverflow中进行了彻底的搜索，但无法找到这个问题的答案。
首先，问题...然后是关于相关代码（java类/配置）的简短部分，最后是第三部分，我展示了我编写的用于测试图像持久性的junit测试（我在junit测试执行期间收到错误）
编辑：我在问题末尾添加了一个部分，其中我描述了使用JConsole进行的一些测试和分析
问题
我在使用休眠并尝试保留非常大的图像/文档时收到错误：java.lang.OutOfMemoryError: Java heap space
java.lang.OutOfMemoryError: Java heap space
at java.util.Arrays.copyOf(Arrays.java:2786)
at java.io.ByteArrayOutputStream.toByteArray(ByteArrayOutputStream.java:133)
at org.hibernate.type.descriptor.java.DataHelper.extractBytes(DataHelper.java:190)
at org.hibernate.type.descriptor.java.BlobTypeDescriptor.unwrap(BlobTypeDescriptor.java:123)
at org.hibernate.type.descriptor.java.BlobTypeDescriptor.unwrap(BlobTypeDescriptor.java:47)
at org.hibernate.type.descriptor.sql.BlobTypeDescriptor$4$1.doBind(BlobTypeDescriptor.java:101)
at org.hibernate.type.descriptor.sql.BasicBinder.bind(BasicBinder.java:91)
at org.hibernate.type.AbstractStandardBasicType.nullSafeSet(AbstractStandardBasicType.java:283)
at org.hibernate.type.AbstractStandardBasicType.nullSafeSet(AbstractStandardBasicType.java:278)
at org.hibernate.type.AbstractSingleColumnStandardBasicType.nullSafeSet(AbstractSingleColumnStandardBasicType.java:89)
at org.hibernate.persister.entity.AbstractEntityPersister.dehydrate(AbstractEntityPersister.java:2184)
at org.hibernate.persister.entity.AbstractEntityPersister.insert(AbstractEntityPersister.java:2430)
at org.hibernate.persister.entity.AbstractEntityPersister.insert(AbstractEntityPersister.java:2874)
at org.hibernate.action.EntityInsertAction.execute(EntityInsertAction.java:79)
at org.hibernate.engine.ActionQueue.execute(ActionQueue.java:273)
at org.hibernate.engine.ActionQueue.executeActions(ActionQueue.java:265)
at org.hibernate.engine.ActionQueue.executeActions(ActionQueue.java:184)
at org.hibernate.event.def.AbstractFlushingEventListener.performExecutions(AbstractFlushingEventListener.java:321)
at org.hibernate.event.def.DefaultFlushEventListener.onFlush(DefaultFlushEventListener.java:51)
at org.hibernate.impl.SessionImpl.flush(SessionImpl.java:1216)
at it.paoloyx.blobcrud.manager.DocumentManagerTest.testInsertDocumentVersion(DocumentManagerTest.java:929)
代码（域对象、存储库类、配置）
以下是我正在使用的技术堆栈（从数据库到业务逻辑层）。我使用JDK6。
- Oracle 数据库 10g 企业版版本 10.2.0.4.0 - 产品
- ojdbc6.jar（适用于 11.2.0.3 版本）
- 休眠 4.0.1 最终版
- 春季 3.1.GA 发布
我有两个域类，以一对多的方式映射。A有很多，每个都可以表示相同的不同二进制内容。DocumentVersionDocumentDataDocumentVersion
类的相关摘录：DocumentVersion
@Entity
@Table(name = "DOCUMENT_VERSION")
public class DocumentVersion implements Serializable {
private static final long serialVersionUID = 1L;
private Long id;
private Set<DocumentData> otherDocumentContents = new HashSet<DocumentData>(0);
@Id
@GeneratedValue(strategy = GenerationType.TABLE)
@Column(name = "DOV_ID", nullable = false)
public Long getId() {
return id;
}
@OneToMany
@Cascade({ CascadeType.SAVE_UPDATE })
@JoinColumn(name = "DOD_DOCUMENT_VERSION")
public Set<DocumentData> getOtherDocumentContents() {
return otherDocumentContents;
}
类的相关摘录：DocumentData
@Entity
@Table(name = "DOCUMENT_DATA")
public class DocumentData {
private Long id;
/**
* The binary content (java.sql.Blob)
*/
private Blob binaryContent;
@Id
@GeneratedValue(strategy = GenerationType.TABLE)
@Column(name = "DOD_ID", nullable = false)
public Long getId() {
return id;
}
@Lob
@Column(name = "DOD_CONTENT")
public Blob getBinaryContent() {
return binaryContent;
}
以下是我的Spring和Hibernate配置主要参数：
<bean id="sessionFactory"
class="org.springframework.orm.hibernate4.LocalSessionFactoryBean">
<property name="dataSource" ref="dataSource" />
<property name="packagesToScan" value="it.paoloyx.blobcrud.model" />
<property name="hibernateProperties">
<props>
<prop key="hibernate.dialect">org.hibernate.dialect.Oracle10gDialect</prop>
<prop key="hibernate.hbm2ddl.auto">create</prop>
<prop key="hibernate.jdbc.batch_size">0</prop>
<prop key="hibernate.jdbc.use_streams_for_binary">true</prop>
</props>
</property>
</bean>
<bean class="org.springframework.orm.hibernate4.HibernateTransactionManager"
id="transactionManager">
<property name="sessionFactory" ref="sessionFactory" />
</bean>
<tx:annotation-driven transaction-manager="transactionManager" />
我的数据源定义：
<bean class="org.apache.commons.dbcp.BasicDataSource"
destroy-method="close" id="dataSource">
<property name="driverClassName" value="${database.driverClassName}" />
<property name="url" value="${database.url}" />
<property name="username" value="${database.username}" />
<property name="password" value="${database.password}" />
<property name="testOnBorrow" value="true" />
<property name="testOnReturn" value="true" />
<property name="testWhileIdle" value="true" />
<property name="timeBetweenEvictionRunsMillis" value="1800000" />
<property name="numTestsPerEvictionRun" value="3" />
<property name="minEvictableIdleTimeMillis" value="1800000" />
<property name="validationQuery" value="${database.validationQuery}" />
</bean>
其中属性取自此处：
database.driverClassName=oracle.jdbc.OracleDriver
database.url=jdbc:oracle:thin:@localhost:1521:devdb
database.username=blobcrud
database.password=blobcrud
database.validationQuery=SELECT 1 from dual
我有一个服务类，它委托给一个存储库类：
@Transactional
public class DocumentManagerImpl implements DocumentManager {
DocumentVersionDao documentVersionDao;
public void setDocumentVersionDao(DocumentVersionDao documentVersionDao) {
this.documentVersionDao = documentVersionDao;
}
现在，从存储库类中提取相关数据：
public class DocumentVersionDaoHibernate implements DocumentVersionDao {
@Autowired
private SessionFactory sessionFactory;
@Override
public DocumentVersion saveOrUpdate(DocumentVersion record) {
this.sessionFactory.getCurrentSession().saveOrUpdate(record);
return record;
}
导致错误的 JUnit 测试
如果我运行以下单元测试，我得到了上述错误（）：java.lang.OutOfMemoryError: Java heap space
@RunWith(SpringJUnit4ClassRunner.class)
@ContextConfiguration(locations = { "classpath*:META-INF/spring/applicationContext*.xml" })
@Transactional
public class DocumentManagerTest {
@Autowired
protected DocumentVersionDao documentVersionDao;
@Autowired
protected SessionFactory sessionFactory;
@Test
public void testInsertDocumentVersion() throws SQLException {
// Original mock document content
DocumentData dod = new DocumentData();
// image.tiff is approx. 120MB
File veryBigFile = new File("/Users/paoloyx/Desktop/image.tiff");
try {
Session session = this.sessionFactory.getCurrentSession();
InputStream inStream = FileUtils.openInputStream(veryBigFile);
Blob blob = Hibernate.getLobCreator(session).createBlob(inStream, veryBigFile.length());
dod.setBinaryContent(blob);
} catch (IOException e) {
e.printStackTrace();
dod.setBinaryContent(null);
}
// Save a document version linked to previous document contents
DocumentVersion dov = new DocumentVersion();
dov.getOtherDocumentContents().add(dod);
documentVersionDao.saveOrUpdate(dov);
this.sessionFactory.getCurrentSession().flush();
// Clear session, then try retrieval
this.sessionFactory.getCurrentSession().clear();
DocumentVersion dbDov = documentVersionDao.findByPK(insertedId);
Assert.assertNotNull("Il document version ritornato per l'id " + insertedId + " è nullo", dbDov);
Assert.assertNotNull("Il document version recuperato non ha associato contenuti aggiuntivi", dbDov.getOtherDocumentContents());
Assert.assertEquals("Il numero di contenuti secondari non corrisponde con quello salvato", 1, dbDov.getOtherDocumentContents().size());
}
相同的代码适用于PostreSQL 9安装。正在将图像写入数据库中。调试我的代码，我已经能够发现PostgreSQL jdbc驱动程序使用缓冲输出流在数据库上写入.而 Oracle OJDBC 驱动程序尝试一次分配所有表示映像的所有。byte[]
从错误堆栈中：
java.lang.OutOfMemoryError: Java heap space
at java.util.Arrays.copyOf(Arrays.java:2786)
at java.io.ByteArrayOutputStream.toByteArray(ByteArrayOutputStream.java:133)
错误是由于此行为引起的吗？任何人都可以给我一些关于这个问题的见解吗？
谢谢大家。
使用 JConsole 进行记忆测试
感谢收到对我的问题的建议，我试图做一些简单的测试，以使用两个不同的jdbc驱动程序来显示我的代码的内存使用情况，一个用于PostgreSQL，一个用于Oracle。测试设置：
- 该测试是使用上一节中描述的 JUnit 测试进行的。
- JVM 堆大小已设置为 512MB，使用参数 -Xmx512MB
- 对于Oracle数据库，我使用了ojdbc6.jar驱动程序
- 对于Postgres数据库，我使用了9.0-801.jdbc3驱动程序（通过Maven）
第一次测试，文件约为150MB
在第一次测试中，Oracle和Postgres都通过了测试（这是个大新闻）。文件的大小为可用 JVM 堆大小的 1/3。以下是 JVM 内存消耗的图片：
测试 Oracle，512MB 堆大小，150MB 文件
测试 PostgreSQL， 512MB 堆大小， 150MB 文件
第二次测试，文件约485MB
在第二次测试中，只有Postgres通过了测试，而Oracle则没有通过测试。文件的大小非常接近可用 JVM 堆空间的大小。以下是 JVM 内存消耗的图片：
测试甲骨文， 512MB 堆大小， 485MB 文件
测试 PostgreSQL， 512MB 堆大小， 485MB 文件
测试分析：
似乎PostgreSQL驱动程序在不超过某个阈值的情况下处理内存，而Oracle驱动程序的行为则非常不同。
我无法诚实地解释为什么Oracle jdbc驱动程序在使用可用堆空间附近的文件大小时会导致我出错（相同）。java.lang.OutOfMemoryError: Java heap space
有没有人能给我更多的见解？非常感谢您的帮助:)
