背景描述
通常如果需要一次更新多條數據有兩個方式:
(1)在業務代碼中循環遍歷逐條更新。
(2)一次性更新所有數據(更準確的說是一條sql語句來更新所有數據,逐條更新的操作放到數據庫端,在業務代碼端展現的就是一次性更新所有數據)。兩種方式各有利弊,下面將會對兩種方式的利弊做簡要分析,主要介紹第二種方式在mybatis中的實現。
逐條更新
這種方式顯然是最簡單,也最不容易出錯的,即便出錯也只是影響到當條出錯的數據,而且可以對每條數據都比較可控,更新失敗或成功,從什么內容更新到什么內容,都可以在邏輯代碼中獲取。代碼可能像下面這個樣子:
updateBatch(List<MyData> datas){
? ? for(MyData data : datas){
? ? ? ? try{
? ? ? ? ? ? myDataDao.update(data);//更新一條數據,mybatis中如下面的xml文件的update
? ? ? ? }
? ? ? ? catch(Exception e){
? ? ? ? ? ? ...//如果更新失敗可以做一些其他的操作,比如說打印出錯日志等
? ? ? ? }
? ? }
}
//mybatis中update操作的實現
<update>
? ? update mydata
? ? set ? ...
? ? where ...
</update>
這種方式最大的問題就是效率問題,逐條更新,每次都會連接數據庫,然后更新,再釋放連接資源(雖然通過連接池可以將頻繁連接數據的效率大大提高,抗不住數據量大),這中損耗在數據量較大的時候便會體現出效率問題。
這也是在滿足業務需求的時候,通常會使用上述提到的第二種批量更新的實現(當然這種方式也有數據規模的限制,后面會提到)。
sql批量更新
一條sql語句來批量更新所有數據,下面直接看一下在mybatis中通常是怎么寫的(去掉mybatis語法就是原生的sql語句了,所有就沒單獨說sql是怎么寫的)。
<update id="updateBatch" parameterType="java.util.List">
? ? update mydata_table?
? ? set ?status=
? ? <foreach collection="list" item="item" index="index"?
? ? ? ? separator=" " open="case ID" close="end">
? ? ? ? when #{item.id} then #{item.status}
? ? </foreach>
? ? where id in
? ? <foreach collection="list" index="index" item="item"?
? ? ? ? separator="," open="(" close=")">
? ? ? ? #{item.id,jdbcType=BIGINT}
? ? </foreach>
?</update>
其中when...then...是sql中的"switch" 語法。這里借助mybatis的<foreach>語法來拼湊成了批量更新的sql,上面的意思就是批量更新id在updateBatch參數所傳遞List中的數據的status字段。還可以使用<trim>實現
同樣的功能,代碼如下:
<update id="updateBatch" parameterType="java.util.List">
? ? ? ? update mydata_table
? ? ? ? <trim prefix="set" suffixOverrides=",">
? ? ? ? ? ? <trim prefix="status =case" suffix="end,">
? ? ? ? ? ? ? ? <foreach collection="list" item="item" index="index">
? ? ? ? ? ? ? ? ? ? ?when id=#{item.id} then #{item.status}
? ? ? ? ? ? ? ? </foreach>
? ? ? ? ? ? </trim>
? ? ? ? </trim>
? ? ? ? where id in
? ? ? ? <foreach collection="list" index="index" item="item" separator="," open="(" close=")">
? ? ? ? ? ? #{item.id,jdbcType=BIGINT}
? ? ? ? </foreach>
? ? </update>
<trim>屬性說明
- 1.prefix,suffix 表示在trim標簽包裹的部分的前面或者后面添加內容
- 2.如果同時有prefixOverrides,suffixOverrides 表示會用prefix,suffix覆蓋Overrides中的內容。
- 3.如果只有prefixOverrides,suffixOverrides 表示刪除開頭的或結尾的xxxOverides指定的內容。
上述代碼轉化成sql如下:
? ? update mydata_table?
? ? set status =?
? ? case
? ? ? ? when id = #{item.id} then #{item.status}//此處應該是<foreach>展開值
? ? ? ? ...
? ? end
? ? where id in (...);
當然這是最簡單的批量更新實現,有時候可能需要更新多個字段,那就需要將
<trim prefix="status =case" suffix="end,">
? ? ?<foreach collection="list" item="item" index="index">
? ? ? ? ? when id=#{item.id} then #{item.status}
? ? ?</foreach>
</trim>
復制拷貝多次,更改prefix和when...then...的內容即可.而如果當需要為某個字段設置默認值的時候可以使用else
<trim prefix="status =case" suffix="end,">
? ? ?<foreach collection="list" item="item" index="index">
? ? ? ? ? when id=#{item.id} then #{item.status}
? ? ?</foreach>
? ? ?else default_value
</trim>
還有更常見的情況就是需要對要更新的數據進行判斷,只有符合條件的數據才能進行更新,這種情況可以這么做:
<trim prefix="status =case" suffix="end,">
? ? ?<foreach collection="list" item="item" index="index">
? ? ? ? ?<if test="item.status !=null and item.status != -1">
? ? ? ? ? ? ?when id=#{item.id} then #{item.status}
? ? ? ? ?</if>
? ? ?</foreach>
</trim>
這樣的話只有要更新的list中status != null && status != -1的數據才能進行status更新.其他的將使用默認值更新,而不會保持原數據不變.如果要保持原數據不變呢?即滿足條件的更新,不滿足條件的保持原數據不變,簡單的來做就是再加一個<if>,因為mybatis中沒有if...else...語法,但可以通過多個<if>實現同樣的效果,如下:
<trim prefix="status =case" suffix="end,">
? ? ?<foreach collection="list" item="item" index="index">
? ? ? ? ?<if test="item.status !=null and item.status != -1">
? ? ? ? ? ? ?when id=#{item.id} then #{item.status}
? ? ? ? ?</if>
? ? ? ? ?<if test="item.status == null or item.status == -1">
? ? ? ? ? ? ?when id=#{item.id} then mydata_table.status ? ? ?//這里就是原數據
? ? ? ? ?</if>
? ? ?</foreach>
</trim>
整體批量更新的寫法如下:
<update id="updateBatch" parameterType="java.util.List">
? ? ? ? update mydata_table
? ? ? ? <trim prefix="set" suffixOverrides=",">
? ? ? ? ? ? <trim prefix="status =case" suffix="end,">
? ? ? ? ? ? ? ? ?<foreach collection="list" item="item" index="index">
? ? ? ? ? ? ? ? ? ? ?<if test="item.status !=null and item.status != -1">
? ? ? ? ? ? ? ? ? ? ? ? ?when id=#{item.id} then #{item.status}
? ? ? ? ? ? ? ? ? ? ?</if>
? ? ? ? ? ? ? ? ? ? ?<if test="item.status == null or item.status == -1">
? ? ? ? ? ? ? ? ? ? ? ? ?when id=#{item.id} then mydata_table.status//原數據
? ? ? ? ? ? ? ? ? ? ?</if>
? ? ? ? ? ? ? ? ?</foreach>
? ? ? ? ? ? </trim>
? ? ? ? </trim>
? ? ? ? where id in
? ? ? ? <foreach collection="list" index="index" item="item" separator="," open="(" close=")">
? ? ? ? ? ? #{item.id,jdbcType=BIGINT}
? ? ? ? </foreach>
? ? </update>
這種批量跟心數據庫的方式可以在一次數據庫連接中更新所有數據,避免了頻繁數據庫建立和斷開連接的開銷,可以很大程度的提高數據更新效率。
但是這樣的問題是如果這個過程中更新出錯,將很難知道具體是哪個數據出錯,如果使用數據自身的事務保證,那么一旦出錯,所有的更新將自動回滾。
而且通常這種方式也更容易出錯。因此通常的使用的方案是進行折中,也就是一次批量更新一部分(分頁進行更新,比如說一共有1000條數據,一次更新100條)。
這樣可以分擔出錯的概率,也更容易定位到出錯的位置。
當然如果數據量確實很大的時候,這種批量更新也一樣會導致更新效率低下(比如說一次更新100條,那如果10億條數據呢,一樣要批量更新1000萬次,建立和斷開1000萬次數據庫,這個效率是無法承受的)。
這時候也許只能考慮其他方案了,比如引入緩存機制等。
以上為個人經驗,希望能給大家一個參考,也希望大家多多支持html5模板網。