在频道中使用引用是错误/坏事吗?

Posted

技术标签:

【中文标题】在频道中使用引用是错误/坏事吗?【英文标题】:Is using references in channels a mistake/bad? 【发布时间】:2020-03-12 16:20:20 【问题描述】:

假设我有一大串字符串,我想对它们进行排序,除了通常的 sort.Sort 和 sort.Slice 等,我想使用多个核心来加快速度。因此,在阅读大列表时,我将字符串添加到 2 个不同的切片中,以 a-m 和 n-z 开头的字符串(为了参数)。

同时,我已经启动了多个 go 例程来读取一个字符串切片通道,然后对它们自己的子列表进行排序。到目前为止,列表的“潜在”并行处理非常好,所以我的排序时间如果有效减半。伟大的。现在我的问题是如何将结果返回到主 goroutine?

最初每个 goroutine 有 2 个通道,一个用于传入的未排序列表,另一个用于排序列表。是的,它可以工作......但是使用了太多的内存(嘿,给我为这个测试修补的数据量,这可能不是不合理的)。但后来我突然意识到,在通道上传递一个切片实际上只是传递一个引用,所以我实际上不需要传递任何东西。不必将生成的排序列表放入返回旅程的通道中,显然对记忆的负担要少得多,但它(对我而言)闻起来很香。

这意味着我可以让其中一个 goroutine 排序,同时主 goroutine(理论上)可以操作同一个列表。只要使用纪律,这不会是一个问题,但显然仍然是一个问题。 Go 中是否存在普遍接受的最佳实践,即不应该将引用作为输入从一个 goroutine 传递到另一个......但是可以通过通道返回生成引用数据的 goroutine 是可以接受的(因为 goroutine 会停止使用引用)。

在任何人说之前,是的,我知道我不必通过渠道等传递这些信息,但这只是我正在修补并让我思考的情况。

我知道手很长。这是显示上述内容的最小代码子集。

package main

import (
    "bufio"
    "fmt"
    "os"
    "sort"
    "strings"
    "sync"
    "time"
)

var wg sync.WaitGroup

func sortWordsList(id int, ch chan []string ) 

    l := <- ch
    sort.Strings(l)
    wg.Done()


func main() 
    file, err := os.Open("big.txt")
    defer file.Close()

    if err != nil 
        fmt.Printf("BOOM %s\n", err.Error())
        panic(err)
    

    // Start reading from the file with a reader.
    reader := bufio.NewReader(file)

    inCh1 := make(chan []string, 1000)
    inCh2 := make(chan []string, 1000)

    go sortWordsList(1, inCh1)
    go sortWordsList(2, inCh2)

    wg.Add(2)

    words1 := []string
    words2 := []string

    for 
        line, err := reader.ReadString('\n')
        if err != nil 
            break
        

        sp := strings.Split(line, " ")
        for _,w := range sp 
            word := strings.ToLower(w)
            word = strings.TrimSuffix(word, "\n")
            if len(word) > 0 
                // figure out where to go.
                // arbitrary split.
                if word[0] < 'm' 
                    words1 = append(words1, word)
                 else 
                    words2 = append(words2, word)
                 
            
        
    

    inCh1 <- words1
    inCh2 <- words2

    close(inCh1)
    close(inCh2)

    wg.Wait()

    // now have sorted words1 and words2 slices.

【问题讨论】:

"在频道中使用引用是错误/坏的吗?" --- 如果它解决了你的问题:那么无论社区怎么说都是好的。根据您的需求做出决定,而不是社区认为您应该做什么。 更多的是关于是否有针对这种情况的一般最佳实践。是的,在这种人为的情况下它绝对对我有用......但下一个开发人员来维护/修改此代码可能不会意识到另一个 goroutine 正在修改同一个列表,所以 BOOM 事情就烟消云散了。就我个人而言,我会将它用于一个适合我/小组的小工具......但如果它进一步发展的可能性很小,我想尝试找到一个替代品。 这就是所谓的“文档”的好处。 ;) Godoc 相应地注释您的代码。 Go 中没有引用。所以不:你不能使用不存在的引用。 【参考方案1】:

传递指针、切片或映射没有错。只要您同步对共享变量的访问,您就可以传递一个指针并继续在发送 goroutine 中使用它。对于像数组或大型结构这样的大型对象,传递指针通常是避免昂贵副本的合乎逻辑的做法。此外,避免传递指针意味着避免传递切片和映射,或任何包含切片、映射或指向其他结构的指针。

正如您已经知道的那样,您实际上并不需要通道,只需在构建切片后启动您的 goroutine,然后直接传递切片即可。

go sortWordsList(words1)
go sortWordsList(words2)

或:

go sort.Strings(words1)
go sort.Strings(words2)

【讨论】:

感谢您的信息...是的,我知道这是一个人为的/非真实世界的示例,但它让我开始考虑一般在通道中传递引用。 如果检查的答案没有使用“参考”一词,那将是理想的:很多初学者阅读它并开始相信 go 中有 参考,而没有。

以上是关于在频道中使用引用是错误/坏事吗?的主要内容,如果未能解决你的问题,请参考以下文章

可以在安卓上使用 Webview 浏览 Youtube 频道吗?

网状。成功 bootstrap.connect 后的频道是活动频道吗?

Slackbot 可以从私人频道中提取消息并在另一个 Slack 频道中发布吗?

UCWA 活动频道适合订阅大量用户吗?

redis pub sub 会在频道中保留历史消息吗?

如何在Roku频道中传输Youtube视频? [关闭]