本篇文章给大家谈谈mongodbaggregate,以及mongodb aggregate sort对应的知识点,希望对各位有所帮助,不要忘了收藏本站喔。
本文目录一览:
mongodb Aggregation聚合操作之$unwind
在上一篇 mongodb Aggregation聚合操作之$project 中详细介绍了mongodb聚合操作中的$project使用以及参数细节。本篇将开始介绍Aggregation聚合操作中的unwind操作。
说明:
解析输入文档中的数组字段指历大,为每个元素输出一个文档。每个输出文档都是输入文档,数组字段的值被元素替换。如果字段值为null、缺失或数组为空,则$unwind不会输出文档。
语法:
{ $unwind: field path }
可以将文档传递给$unwind以指定各种行为选项。
{
$unwind:
{
path: field path,
includeArrayIndex: string,
preserveNullAndEmptyArrays: boolean
}
}
参数解析:
path:string类型,数组字段的字段路径。若要指定字段路径,请在字段名称前加上美元符号$并将其括在引号中。
includeArrayIndex:string类型,可选的。用于保存元素的数组索引的新字段的名称。新字段名称不能以美元符号$开头。
preserveNullAndEmptyArrays:boolean类型,可选的。如果为真,如果路径为空、丢失或数组为空,则$unwind输出文档。如果为false,如果路径为空、丢失或数组为空,则$unwind不输出文档。默认值为false。
初始化数据:
db.inventory.insertOne({ "_id" : 1, "item" : "ABC1", sizes: [ "S", "M", "L"] })
示例:按照sizes字段拆分数据
db.inventory.aggregate( [ { $unwind : "$sizes" } ] )
结果:
{ "_id" : 1, "item" : "ABC1", "sizes" : "S" }
{ "_id" : 1, "item" : "ABC1", "sizes" : "M" }
{ "_id" : 1, "item" : "ABC1", "sizes" : "L" }
初始化数据:
db.inventory2.insertMany([
{ "_id" : 1, "item" : "ABC", price: NumberDecimal("80"), "sizes": [ "S", "M", "L"] },
{ "_id" : 2, "item" : "EFG", price: NumberDecimal("120"), "sizes" : [ ] },
{ "_id" : 3, "item" : "IJK", price: NumberDecimal("160"), "sizes": "M" },
{ "_id" : 4, "item" : "LMN" , price: NumberDecimal("10") },
{ "_id" : 5, "item" : "XYZ", price: NumberDecimal("5.75"), "sizes" : null }
])
示例:
下烂指面的$unwind操作是等效的,并为size字段中的每个元素返回一个文档。如果size字段没唯竖有解析为数组,但没有丢失、null或空数组,则$unwind将非数组操作数视为单个元素数组。
db.inventory2.aggregate( [ { $unwind: "$sizes" } ] )
db.inventory2.aggregate( [ { $unwind: { path: "$sizes" } } ] )
结果:
{ "_id" : 1, "item" : "ABC", "price" : NumberDecimal("80"), "sizes" : "S" }
{ "_id" : 1, "item" : "ABC", "price" : NumberDecimal("80"), "sizes" : "M" }
{ "_id" : 1, "item" : "ABC", "price" : NumberDecimal("80"), "sizes" : "L" }
{ "_id" : 3, "item" : "IJK", "price" : NumberDecimal("160"), "sizes" : "M" }
示例:下面的$unwind操作使用includeArrayIndex选项在输出中包含数组索引。
db.inventory2.aggregate( [
{
$unwind:
{
path: "$sizes",
includeArrayIndex : "arrayIndex"
}
}])
结果:
{ "_id" : 1, "item" : "ABC", "price" : NumberDecimal("80"), "sizes" : "S", " arrayIndex " : NumberLong(0) }
{ "_id" : 1, "item" : "ABC", "price" : NumberDecimal("80"), "sizes" : "M", " arrayIndex " : NumberLong(1) }
{ "_id" : 1, "item" : "ABC", "price" : NumberDecimal("80"), "sizes" : "L", " arrayIndex " : NumberLong(2) }
{ "_id" : 3, "item" : "IJK", "price" : NumberDecimal("160"), "sizes" : "M", " arrayIndex " : null }
示例:下面的$unwind操作使用preserveNullAndEmptyArrays选项来包含size字段为null、缺失或空数组的文档。
db.inventory2.aggregate( [
{ $unwind: { path: "$sizes", preserveNullAndEmptyArrays: true } }
] )
{ "_id" : 1, "item" : "ABC", "price" : NumberDecimal("80"), "sizes" : "S" }
{ "_id" : 1, "item" : "ABC", "price" : NumberDecimal("80"), "sizes" : "M" }
{ "_id" : 1, "item" : "ABC", "price" : NumberDecimal("80"), "sizes" : "L" }
{ "_id" : 2, "item" : "EFG", "price" : NumberDecimal("120") }
{ "_id" : 3, "item" : "IJK", "price" : NumberDecimal("160"), "sizes" : "M" }
{ "_id" : 4, "item" : "LMN", "price" : NumberDecimal("10") }
{ "_id" : 5, "item" : "XYZ", "price" : NumberDecimal("5.75"), "sizes" : null }
初始化数据:
db.inventory2.insertMany([
{ "_id" : 1, "item" : "ABC", price: NumberDecimal("80"), "sizes": [ "S", "M", "L"] },
{ "_id" : 2, "item" : "EFG", price: NumberDecimal("120"), "sizes" : [ ] },
{ "_id" : 3, "item" : "IJK", price: NumberDecimal("160"), "sizes": "M" },
{ "_id" : 4, "item" : "LMN" , price: NumberDecimal("10") },
{ "_id" : 5, "item" : "XYZ", price: NumberDecimal("5.75"), "sizes" : null }
])
示例:下面的管道将展开大小数组,并将产生的文档按展开后的大小值进行分组:
db.inventory2.aggregate( [
// First Stage
{
$unwind: { path: "$sizes", preserveNullAndEmptyArrays: true }
},
// Second Stage
{
$group:
{
_id: "$sizes",
averagePrice: { $avg: "$price" }
}
},
// Third Stage
{
$sort: { "averagePrice": -1 }
}
] )
结果:
{ "_id" : "M", "averagePrice" : NumberDecimal("120") }
{ "_id" : "L", "averagePrice" : NumberDecimal("80") }
{ "_id" : "S", "averagePrice" : NumberDecimal("80") }
{ "_id" : null, "averagePrice" : NumberDecimal("45.25") }
初始化数据:
db.sales.insertMany([
{
_id: "1",
"items" : [
{
"name" : "pens",
"tags" : [ "writing", "office", "school", "stationary" ],
"price" : NumberDecimal("12.00"),
"quantity" : NumberInt("5")
},
{
"name" : "envelopes",
"tags" : [ "stationary", "office" ],
"price" : NumberDecimal("1.95"),
"quantity" : NumberInt("8")
}
]
},
{
_id: "2",
"items" : [
{
"name" : "laptop",
"tags" : [ "office", "electronics" ],
"price" : NumberDecimal("800.00"),
"quantity" : NumberInt("1")
},
{
"name" : "notepad",
"tags" : [ "stationary", "school" ],
"price" : NumberDecimal("14.95"),
"quantity" : NumberInt("3")
}
]
}
])
示例:下面的操作将按标签销售的商品分组,并计算每个标签的总销售额。
db.sales.aggregate([
// First Stage
{ $unwind: "$items" },
// Second Stage
{ $unwind: "$items.tags" },
// Third Stage
{
$group:
{
_id: "$items.tags",
totalSalesAmount:
{
$sum: { $multiply: [ "$items.price", "$items.quantity" ] }
}
}
}
])
结果:
{ "_id" : "writing", "totalSalesAmount" : NumberDecimal("60.00") }
{ "_id" : "stationary", "totalSalesAmount" : NumberDecimal("264.45") }
{ "_id" : "electronics", "totalSalesAmount" : NumberDecimal("800.00") }
{ "_id" : "school", "totalSalesAmount" : NumberDecimal("104.85") }
{ "_id" : "office", "totalSalesAmount" : NumberDecimal("1019.60") }
Mongodb Aggregation group()分组操作
Mongo的分组操作有两种方式: aggregate({$group:{}}) 和 group()
{ $group: { _id: expression, field1: { accumulator1 : expression1 }, ... } }
为必选字段,为被分组字段,可为空或null
为可选字段,其中可包含一下运算符:
1.仅分组,对issue_xjtf表中sp1,sp2进行分组
相当于sql
db.collection.group({ key, reduce, initial [, keyf] [, cond] [, finalize] })
前三个是必备参数,“[]”中是可选参数
可以放用来和态分组的字段,并且会返回其中字段(group by 后面的字段)
是在分组操作期间对文档进行操作的聚合函数。可以返回总和或计数。该函数有两个参数:当前文档;该组的聚合结果文档。
对结果中文档,字段进行初始化
对数据筛选的滑毁条件,相当于where
1. count :取xbgi表中,article_pubdate值大于2000-01-01的数据,并分组计唤让源数
2. max :取sjwd表中,ric_publication_coden为9529a8f7-3eef-431a-a0cd-e49d601417df,用article_year分组计数,取其最晚日期。
3. sum :在表total_journal_issue中以journal_id分组,并获取article_count总数
用Navicat 执行group()时,分组值超过20000,会报如下错误(未检测具体原因):
[img]MongoDB Aggregation
对数据进行聚合操作,然后将计算之后的数据返回。聚合操作将多个文档的值组合在依赖,并且可以对分组数据执行各种操作返回单个结果。
MongoDB提供三种方式来执行聚合操作:aggregation pipeline、map-reduce function、single purpose aggregation methods。
MongoDB 聚合操作是在数据处理管道的逻辑上建模的。documents可以进入一个用于处理docuemnt然后返回聚合值的多阶段管道。
底层的管道提供了filters(类似于查询的操作)和document transformations(修改document的输出形式)操作。
其他管道操作为document指定具体的属性或者多个属性进行分组和排序,以及用array内容的聚合工具一样。管道的阶段可以使用运算符执行任务。
管道使用MongoDB自带的本地操作来执行聚合操作更高效,管道是MongoDB执行聚合操作的首先。
聚合管道可以操作分片collection。聚合管道可以通过使用索引来提高性能。聚合管道内部会进行优化阶段。
可以使用db.collection.aggregate()的explain参数看到执行计划。
聚合管道来决定需要返回的字段。如果使用只需要的字段,这样可以减少数据量。
addFields + match放入到 addFields之前(如果是 project / $addFields的结果,就不能移动),减少数据量。
match: 先执行$match来减少数据量,然后在执行排序操作。
match: 如果在前面添加$match操作,可以使用索引来减少数据操作。
skip(在3.2开始可以使用):将 project操作之前,可以减少数据量。
通常情况下,在重新排序优化之后才会发生阶段合并。
limit:如果不能减少数据量,不会将这两个阶段合并。否则先进行排序,然后获取指定的数量,放入内存。如果在中间含有$skip操作,将其放入最后。
在数据量超过内存限制,这个操作需要设置 allowDiskUse=true。
从MongoDB3.6开始,删除了aggregate的选项,将结果作为一条数据的返回。
aggregate可以返回cursor或者数据结果集。在返回的结果中,每个document的大小不能超过16M(这个限制只针对返回的document)。
documents有可能会超过这个限制,db.collection.aggregate()默认返回cursor。
从MongoDB2.6开始,管道阶段的RAM限制为100M。如果超过限制,出错。如果为了处理大量的数据集,使用allowDiskUse选项开启管纤耐道阶段的聚合操作将数据写入到临时文件。
从MongoDB3.4之后, graphLookup操作会忽略这个选项。如果其他阶段有aggregate()操作,allowDiskUse=true将会影响这些阶段。
从MongoDB3.2开始,如果按照分片来匹配值,只会在这个分片内进行计算。
聚合操作在多个分片上执行操作,如果没有指定主分片,这些操作会被路由到其他分片上,来减少主分片的负载。
lookup阶段需要在主分片上执行查询。
将聚合管道拆分为顷祥两部分,这是为毁乎春了在分片上执行优化。
操作可以 参考实例
MapReduce可以在分片上执行操作,分片集合可以作为输入或者输出。
使用分片集合作为MapReduce输入源,mongos将作业并行派发到各个分片。mongos会等待所有的作业完成。
如果MapReduce的out字段有分片值,MongoDB使用_id字段作为分片的依据。
作为一个分片集合输出:
在操作的过程中,mapreduce有很多锁:
相关 练习教程
关于mongodbaggregate和mongodb aggregate sort的介绍到此就结束了,不知道你从中找到你需要的信息了吗 ?如果你还想了解更多这方面的信息,记得收藏关注本站。