Golang开发实践:把数据库数据保存到map[string]interface{}中

根据某个奇葩需求这段时间要做一个筛选数据库数据的工具，要求逐条从数据库读取数据。然后根据某几个字段筛选保存数据。这样一来某些不需要作为筛选依据的字段也要读取。 Golang读取数据库很简单，可以使用ORM也可以直接使用SQL语句。然而要处理的数据库表有几十个字段，光是定义一个四十多个字段的数据模型就让人感觉痛苦，况且并不是所有字段都要参与运算。于是就决定使用SQL语句来处理。保存到map[string]interface{},这样也方便实现导出字段可配置的需求。

保存到map[string]interface{}

看了一下Golang标准库database/sql中Rows的API文档，并没有提供获取所有字段的API接口，文档提供的实例代码调用了Scan函数并传入相关指针获取数据.

rows, err := db.Query("SELECT ...") ... defer rows.Close() for rows.Next() { var id int var name string err = rows.Scan(&id, &name) ... } err = rows.Err()

这样的处理方式明显无法完成需求，于是就想到了Golang强大的interface{}，可以将相应长度的[]interface{}作为不定长参数传入Scan函数：

type Record interface{} func (tf *DataIterator) parseRows(rows *sql.Rows, cSize int) (error) { columns, err := rows.Columns() if err != nil { return err } size := len(columns) pts := make([]interface{}, size) container := make([]interface{}, size) tf.cache = make([]Record, cSize) cursor := 0 for i := range pts { pts[i] = &container[i] } for rows.Next() { err = rows.Scan(pts...) if err != nil { return err } var r Record = make(map[string]interface{}, size) for i, column := range columns { r[column] = container[i] } tf.cache[cursor] = r cursor++ } return nil } 首先通过Rows.Columns获取数据库返回的字段声明相同长度的[]interface{}用以保存一行数据声明相同长度的[]interface{}作为容器将pts中元素的指针存入容器调用Rows.Scan()并将container作为不定长参数传入遍历Rows中的每一行数据即可保存数据库数据到map[string]interface{}

关于字符串

在实际操作中发现用这种操作方法数据库中的字符串(CHAR\VARCHAR等)类型会被作为[]uint8。遍历结果转换为string即可：

func formatRecord(r Record) { for k, v := range r { switch v.(type) { case []uint8: arr := v.([]uint8) r[k] = uiToS(arr) case nil: r[k] = "" } } }

@author: Memory_Leak